【AWS re:Invent 2016】 Amazon Kinesis ストリームの実事例セッションに参加しました

この記事は公開されてから半年以上経過しています。情報が古い可能性がありますので、ご注意ください。

3年ぶり2回目のAWS最大級のイベントAWS re:Invent 2016にやってきました!

s-img_20161130_001922-1

日本では使えない?Amazon Echo dotを頂いた事や
会場も3年前は1箇所だったのに2箇所に増えている!といった規模の拡大に驚きつつ、睡眠不足ですが楽しんでおります!!

s-img_20161129_123127

2箇所目の会場、メイン会場対面のMIRAGEホテル
本日は既に3個セッションに参加出来たのですが、少し前から弊社でもIoT等で利用しているKinesisに関して
Amazon Kinesis Streamsを利用した実例紹介セッションに参加しました。

ストリームデータとしての定義は “継続的にキャプチャし、低レイテンシで処理するデータ” との事で
リクエスト数がかなりの数のデータ処理を例に発表されていました。

技術的に込み入った部分のテクニックについては、英語力が追いつかずでメモを取れませんでしたが
基本的な部分を含みますが、自分でも検討・実施しなければ!と思った部分です。

Tips

  • 前段にELBを挟んでいるならば、ELBLogを利用しリクエストのリプレイが出来る

  • KCLアプリケーションはAutoScalingGroupに組みこみスケーラビリティを確保

  • Cloudwatchでの監視 / 運用
    Cloudwatchにて利用状況を見定める
    http://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/monitoring/ak-metricscollected.html

  • Kinesis StreamsのりシャーディングをAPIにて適宜実施する
    事例では時間帯によりシャード数を変えてコスト最適化を実施していました
    http://dev.classmethod.jp/cloud/scale-your-amazon-kinesis-stream-capacity-with-updateshardcount/
    ※API利用方法、注意点について素晴らしい記事があったためリンクさせて頂きます。

検討

  • Streams vs Firehose
    Firehoseだと自由度が下がり対応できないケースがあったため、Streamsを採用した

  • EC2 vs Lambda
    紹介事例ではLambdaを利用したが、SpotinstanceのEC2を利用したほうがコストメリットがあった

  • Kinesis Streams vs Apache Kafka
    紹介事例ではマネージドサービスである事、スケーラビリティの観点からKinesisを利用

先人のノウハウを効率よく学ぶ事の出来る素晴らしいイベントです!
引き続き楽しんできます!

投稿者プロフィール

takashi
開発会社での ASP型WEBサービス企画 / 開発 / サーバ運用 を経て
2010年よりスカイアーチネットワークスに在籍しております

機械化/効率化/システム構築を軸に人に喜んで頂ける物作りが大好きです。
個人ブログではRaspberryPiを利用したシステムやロボット作成も
実施しております。

スカイアーチネットワークスで一緒に働きましょう!

コメントを残す

メールアドレスが公開されることはありません。

Time limit is exhausted. Please reload CAPTCHA.

ABOUTこの記事をかいた人

開発会社での ASP型WEBサービス企画 / 開発 / サーバ運用 を経て 2010年よりスカイアーチネットワークスに在籍しております 機械化/効率化/システム構築を軸に人に喜んで頂ける物作りが大好きです。 個人ブログではRaspberryPiを利用したシステムやロボット作成も 実施しております。 スカイアーチネットワークスで一緒に働きましょう!