AWS IoT Analytics

解決する課題

• IoTデバイスから上がる大量で不揃いな生データを、欠損や外れ値を含んだまま分析するのが難しい
• データの前処理（フィルタ・補完・変換）のパイプラインを、ETL基盤を自前で構築せずに用意したい
• センサーデータを時系列に蓄積し、SQLやノートブックで分析・可視化できる状態にしたい

主要概念と用語

• チャネル（Channel）: 生データを受け取って未加工のまま貯める入り口。IoT Coreのルールや直接送信でメッセージを取り込む
• パイプライン（Pipeline）: チャネルのデータに前処理を順に適用する処理の連なり。フィルタ、属性の追加・削除、Lambda呼び出し、メッセージの補完などのアクティビティを並べる
• データストア（Data Store）: パイプラインを通った処理済みデータを蓄積する保存先。ここに溜まったデータがクエリの対象になる
• データセット（Data Set）: データストアに対するクエリ結果。SQLで抽出するSQLデータセットと、コンテナで処理するコンテナデータセットがある
• アクティビティ（Activity）: パイプライン内の個々の処理ステップ。メッセージの選別や項目の変換、外部ロジックの呼び出しを担う
• メッセージの補完（Enrichment）: デバイスレジストリの属性などを参照し、メッセージに文脈情報を付け足す処理

仕様・制限・クォータ

• フルマネージドで提供され、データの取り込み・前処理・蓄積をサービス側が実行する。利用者はサーバーやクラスタを管理しない
• データの流れはチャネル → パイプライン → データストア → データセットという一方向の構成になる
• 入力はIoT CoreのルールアクションやAPIによる直接送信から受け取れる
• データストアのデータは時系列に保持され、保持期間（リテンション）を設定できる
• チャネル数、パイプライン内のアクティビティ数、データセットの実行頻度などには上限がある。具体的な数値は変動するため、最新値は公式ドキュメントで確認する

内部の仕組み

AWS IoT Analytics は、IoTデータを分析可能な状態へ整えるための一連のデータパイプラインを提供します。まずチャネルが生データをそのまま受け取り、未加工の状態で保持します。次にパイプラインが、チャネルから取り出したメッセージに対してアクティビティを順番に適用します。アクティビティには、条件に合うメッセージだけを残すフィルタ、不要な属性の削除、計算による属性の追加、Lambdaを使ったカスタム変換、そしてデバイスレジストリなどを参照してメッセージに文脈を付け足す補完などがあります。

パイプラインを通った処理済みデータはデータストアに蓄積され、時系列のデータとして保持されます。蓄積したデータから分析結果を取り出す単位がデータセットです。SQLデータセットは、指定したSQLクエリをスケジュールや手動で実行し、その結果をスナップショットとして生成します。コンテナデータセットは、用意したコンテナイメージで統計処理や機械学習などのカスタム分析を実行します。生成されたデータセットの結果は、QuickSightでの可視化や、ノートブックでの探索的分析の入力として使えます。

設計パターン / ベストプラクティス

• 取り込みはIoT Coreのルールを前段に置き、必要なメッセージだけをチャネルへ流して無駄な処理を減らす
• パイプラインのフィルタを早い段階に置き、後続のアクティビティが扱うデータ量を絞る
• デバイスIDや設置場所などの文脈は補完アクティビティで付与し、分析時に結合せず済むようにする
• 重い統計処理や機械学習はコンテナデータセットに任せ、SQLデータセットは抽出と集計に絞る
• データストアの保持期間を用途に合わせて設定し、不要に古いデータを溜め込まないようにする

運用・監視

• CloudWatch で取り込み量やパイプラインの処理、データセット実行のエラーやスロットリングを監視する
• データセットの実行はスケジュールで定期化でき、生成結果の鮮度を一定に保つ
• パイプラインを変更したときは、チャネルに残る生データから再処理して結果を検証する
• データセット実行の失敗時は、SQLの誤りやコンテナの実行権限、参照先データの有無を切り分けて確認する

コスト

• 主なコストは処理したデータ量とデータストアに蓄積したデータ量に応じた従量課金で構成される
• IoT Coreのルールで必要なメッセージだけを転送し、処理対象を絞ることでコストを抑えられる
• データストアの保持期間を短く設定すると、長期に溜まる蓄積データのコストを抑えられる
• コンテナデータセットで使う計算リソースや、QuickSightなど連携サービスの料金は別途かかる
• 料金は変動するため、最新の単価は公式の料金ページで確認する

セキュリティ

• アクセス制御は IAM で行い、最小権限の原則に従ってチャネルやデータストアへの操作権限を付与する
• パイプラインのLambdaアクティビティやコンテナデータセットには実行ロールを設定し、必要な権限だけに絞る
• 通信は TLS で保護され、保存データは暗号化される。暗号化キーは管理方針に応じて選べる
• 操作の監査には CloudTrail を利用し、チャネルやパイプラインの変更などを記録する

関連サービス・比較

ハンズオン / CLI例

# チャネルを作成（生データの入り口）
aws iotanalytics create-channel \
  --channel-name "sensor_channel"

# データストアを作成（処理済みデータの蓄積先）
aws iotanalytics create-datastore \
  --datastore-name "sensor_datastore"

# データセットの一覧を確認
aws iotanalytics list-datasets

# 特定のデータセットの内容を取得
aws iotanalytics describe-dataset \
  --dataset-name "sensor_summary"