Amazon SageMaker Ground Truth

解決する課題

機械学習モデルの精度は教師データの質と量に大きく左右されますが、大量のデータに正確なラベルを付ける作業は手間がかかり、品質を一定に保つのも難しい工程です。Amazon SageMaker Ground Truth は、このデータラベリングをマネージドな仕組みとして提供します。

• 画像のバウンディングボックスやテキストの分類など、用途別のラベリング作業画面が用意されている
• 自社チーム・外部ベンダー・クラウドソーシングといったワーカーの調達手段を選べる
• 自動ラベリングで人手作業を減らし、コストと所要時間を抑えられる

教師データ作成という ML の前段の工程を、専用ツールの自作なしに進められる点が中心的な価値です。

主要概念と用語

• ラベリングジョブ: ラベルを付与する対象データ・作業画面・ワーカーをまとめて定義する作業単位
• データセットオブジェクト: ラベル付けの対象となる個々のデータ（画像・テキスト・動画フレームなど）
• ワーカー（労働力）: 実際にラベルを付ける人。プライベート・ベンダー・パブリックの三形態がある
• プライベートワークフォース: 自社の従業員などで構成する、自前のラベリングチーム
• ベンダーワークフォース: マーケットプレイス経由で利用する、ラベリングを請け負う外部ベンダー
• パブリックワークフォース: クラウドソーシングを通じて多数の作業者に依頼する形態
• ワーカーテンプレート（タスク UI）: 作業者に提示する作業画面の定義。画像分類や物体検出など用途別のテンプレートがある
• 自動ラベリング（アクティブラーニング）: 一部の人手ラベルからモデルを学習し、確信度の高いデータを自動でラベル付けする機能
• 拡張マニフェスト: 入力データの場所と既存ラベルなどを記述する、ジョブの入出力フォーマット
• ヒューマンレビュー（A2I）: 推論結果のうち確信度が低いものを人手で確認する仕組み（Amazon Augmented AI）

仕様・制限・クォータ

• ラベリングの対象タイプは、画像分類・物体検出（バウンディングボックス）・セマンティックセグメンテーション・テキスト分類・固有表現抽出・動画などをビルトインで扱える
• 入力データは原則 S3 に置き、ラベル付けの結果（出力マニフェスト）も S3 に出力する
• ワーカーへの作業配信、結果の集約、複数人の判定をまとめる統合ロジックはサービス側が担う
• 同時に実行できるラベリングジョブ数やデータセットサイズなどにアカウント単位のクォータがあり、引き上げ申請が可能
• 自動ラベリング（アクティブラーニング）は、ある程度の規模のデータセットで人手とモデル推論を併用する用途に向く

対応する作業タイプの種類や具体的な上限値は更新されるため、最新の公式ドキュメントで確認してください。

内部の仕組み

利用者は「ラベル付けする S3 上のデータ」「使う作業画面（テンプレート）」「依頼するワーカー」を指定するだけで、作業の配信から結果の集約までをサービスが担います。

• 作業配信: 入力データの各オブジェクトをタスクとしてワーカーに配り、ブラウザ上の作業画面でラベルを付けてもらう
• 結果の統合: 同じデータを複数人に割り当てた場合、各人の判定をまとめて一つのラベルに統合する（アノテーション統合）
• 自動ラベリング: まず一部を人手でラベル付けしてモデルを学習させ、そのモデルが確信度高く判定できたデータは自動でラベルを確定し、確信度が低いものだけを人手に回す
• 出力は、入力データの場所と確定したラベルを対応づけたマニフェストファイルとして S3 に書き出され、そのまま SageMaker の学習ジョブの入力に使える

データの保管に S3、結果通知に SNS や EventBridge を利用するなど、他の AWS サービスと組み合わせて動作します。

設計パターン / ベストプラクティス

• テンプレートを先に検証する: 少量データで作業画面と指示文（インストラクション）を試し、作業者が迷わない設計にしてから本番規模に広げる
• 品質を担保する仕組みを入れる: 同一データを複数人に割り当てて統合する、ゴールデンデータ（正解既知の検査用データ）を混ぜるなどで品質を測る
• 自動ラベリングで規模を稼ぐ: 大規模データセットでは自動ラベリングを併用し、人手は確信度の低いデータに集中させてコストを下げる
• 学習パイプラインに直結する: 出力マニフェストを SageMaker の学習入力にそのまま渡し、ラベリングから学習までを一連のワークフローにする

運用・監視

• ラベリングジョブの進捗・完了・失敗の状態は CloudWatch のメトリクス・ログで監視する
• ジョブの状態変化や完了通知を SNS や EventBridge で受け取り、後続の学習ジョブ起動などを自動化する
• API 操作の監査証跡は CloudTrail に記録される
• 出力マニフェストのラベル品質を継続的に確認し、ばらつきが大きいデータや作業者は指示文の見直しや再ラベリングで補正する

コスト

• 課金は基本的にラベル付けしたデータオブジェクト数に対する従量制で、ワーカー形態（プライベート・ベンダー・パブリック）によって費用の構成が変わる
• パブリックワークフォースを使う場合は、サービス料金に加えてクラウドソーシングの作業者への支払いが伴う
• 自動ラベリングを併用すると人手で処理するオブジェクト数が減り、全体コストを下げられる場合がある
• 自動ラベリングのモデル学習・推論には別途の計算費用が発生しうる

具体的な単価は変動するため、料金は公式の料金ページで確認し、小規模に試してから本番のボリュームを見積もるのが安全です。

セキュリティ

• アクセス制御は IAM で行い、ジョブ用ロールには入出力に使う S3 バケットへの最小権限のみを付与する
• 保存データは S3 側の暗号化（KMS 管理鍵を含む）、転送は TLS で保護する
• 機密データを扱う場合は、信頼できる自社作業者で構成するプライベートワークフォースを選び、不特定多数のパブリックワークフォースを避ける
• 入出力バケットのアクセスポリシーを限定し、作業者がアクセスできる範囲を必要最小限にする

関連サービス・比較

ラベル付けで作った教師データを使ってモデルを学習・デプロイするのが Amazon SageMaker 本体です。Ground Truth は学習の前段（教師データ作成）を担う位置づけのため、SageMaker と比較します。

ハンズオン / CLI例

# S3 上のデータに対してラベリングジョブを作成する
aws sagemaker create-labeling-job \
  --labeling-job-name demo-image-classification \
  --label-attribute-name category \
  --role-arn arn:aws:iam::123456789012:role/GroundTruthExecutionRole \
  --input-config '{"DataSource":{"S3DataSource":{"ManifestS3Uri":"s3://my-bucket/input/manifest.json"}}}' \
  --output-config S3OutputPath=s3://my-bucket/output/ \
  --human-task-config file://human-task-config.json

# ラベリングジョブの状態と出力先を確認する
aws sagemaker describe-labeling-job \
  --labeling-job-name demo-image-classification \
  --query "{Status:LabelingJobStatus,Output:LabelingJobOutput.OutputDatasetS3Uri}"