【AWS re:Invent2019】CMY305 – IoT big data pipeline for serverless analytics and anomaly detectionセッションを受講しました

概要

IoT big data pipeline for serverless analytics and anomaly detectionセッションを受講しました

講演者: Gabriel Ramírez
https://aws.amazon.com/jp/developer/community/heroes/gabriel-ramirez/

セッションは大きく下記2つのパートに分かれ話されていました。

  • StreamingDataProcessiong
  • アーキテクチャ
  • デモ1
    • KinesisDataPipelineを作成
    • KinesisDataGeneratorを利用してデータを流し込みS3へ保存出来ているか確認
  • デモ2
    • AWS Connected Vehicle Solutionについて実際に動いている動画の紹介
      車のエンジンをOnにして…場所や速度のデータがリアルタイムに近いかたちで飛んでくる様子
      また、GeoFencingを設定して、特定区域から出たらアラートを鳴らす等を見る事ができました。

セッションについて

StreamingDataProcessingで問題になる事

  • Retry
  • Too many requests
  • Throttling
  • ServerOutOfMemory

どのようなアーキテクチャでクリアするか

EC2 Pattern

Serverless Pattern

ReliableServerless Pattern

間にキューを挟む事により…

Streaming and Real-time data systems

ストリーミングデータをリアルタイムに処理するためには Amazon Kinesis を利用する事がベスト
Kinesisの基本的な概念であるThroughputやShard設定等について触れた上でKinesisのAnormalyDetect (RANDOM_CUT_FOREST) に関して触れられていました。

例: ストリームでデータの異常を検出する (RANDOM_CUT_FOREST 関数)
https://docs.aws.amazon.com/ja_jp/kinesisanalytics/latest/dev/app-anomaly-detection.html

AWS Connected Vehicle Solutionでの利用例

車から発信された情報が、AWS IoT経由で入ってきてその後、どのようにデータベースに保管されるか(リアルタイムで異常検知を実施した上で)
という事が記載されています。

デモ動画が面白かったのですが、見つけられず…

詳細は下記リンク先に詳しく記載されていました
https://docs.aws.amazon.com/solutions/latest/connected-vehicle-solution/architecture.html

投稿者プロフィール

takashi
開発会社での ASP型WEBサービス企画 / 開発 / サーバ運用 を経て
2010年よりスカイアーチネットワークスに在籍しております

機械化/効率化/システム構築を軸に人に喜んで頂ける物作りが大好きです。
個人ブログではRaspberryPiを利用したシステムやロボット作成も
実施しております。

スカイアーチネットワークスで一緒に働きましょう!

ABOUTこの記事をかいた人

開発会社での ASP型WEBサービス企画 / 開発 / サーバ運用 を経て 2010年よりスカイアーチネットワークスに在籍しております 機械化/効率化/システム構築を軸に人に喜んで頂ける物作りが大好きです。 個人ブログではRaspberryPiを利用したシステムやロボット作成も 実施しております。 スカイアーチネットワークスで一緒に働きましょう!