【AWS re:Invent2019】CMY305 – IoT big data pipeline for serverless analytics and anomaly detectionセッションを受講しました

• 概要
• 参考リンク
• セッションについて

概要

IoT big data pipeline for serverless analytics and anomaly detectionセッションを受講しました

講演者: Gabriel Ramírez
https://aws.amazon.com/jp/developer/community/heroes/gabriel-ramirez/

セッションは大きく下記2つのパートに分かれ話されていました。

• StreamingDataProcessiong
• アーキテクチャ
• デモ1
  • KinesisDataPipelineを作成
  • KinesisDataGeneratorを利用してデータを流し込みS3へ保存出来ているか確認
• デモ2
  • AWS Connected Vehicle Solutionについて実際に動いている動画の紹介
    車のエンジンをOnにして…場所や速度のデータがリアルタイムに近いかたちで飛んでくる様子
    また、GeoFencingを設定して、特定区域から出たらアラートを鳴らす等を見る事ができました。

参考リンク

• KinesisDataGeneratorの利用方法
  https://aws.amazon.com/jp/blogs/news/test-your-streaming-data-solution-with-the-new-amazon-kinesis-data-generator/
• AWS Connected Vehicle Solution
  https://docs.aws.amazon.com/ja_jp/solutions/latest/connected-vehicle-solution/overview.html

セッションについて

StreamingDataProcessingで問題になる事

• Retry
• Too many requests
• Throttling
• ServerOutOfMemory

どのようなアーキテクチャでクリアするか

EC2 Pattern

Serverless Pattern

ReliableServerless Pattern

間にキューを挟む事により…

Streaming and Real-time data systems

ストリーミングデータをリアルタイムに処理するためには Amazon Kinesis を利用する事がベスト
Kinesisの基本的な概念であるThroughputやShard設定等について触れた上でKinesisのAnormalyDetect (RANDOM_CUT_FOREST) に関して触れられていました。

例: ストリームでデータの異常を検出する (RANDOM_CUT_FOREST 関数)
https://docs.aws.amazon.com/ja_jp/kinesisanalytics/latest/dev/app-anomaly-detection.html

AWS Connected Vehicle Solutionでの利用例

車から発信された情報が、AWS IoT経由で入ってきてその後、どのようにデータベースに保管されるか（リアルタイムで異常検知を実施した上で）
という事が記載されています。

デモ動画が面白かったのですが、見つけられず…

詳細は下記リンク先に詳しく記載されていました
https://docs.aws.amazon.com/solutions/latest/connected-vehicle-solution/architecture.html