Amazon Mechanical Turk

解決する課題

画像に写る物体のラベル付け、回答の妥当性チェック、アンケート収集、コンテンツの目視確認などは、現時点ではプログラムだけで高精度に処理しきれず、最終的に人間の判断が必要になります。これらを自社の従業員だけで大量にこなそうとすると、採用・教育・スケジュール調整に大きなコストがかかります。

Amazon Mechanical Turk（MTurk）は、こうした「人手による判断が要る小さな作業」を、世界中の不特定多数のワーカーに少額報酬で委託できるクラウドソーシング型のマーケットプレイスです。

• 機械学習の教師データとして画像・テキストにラベルを付与する
• 同じ作業を複数人に依頼し、多数決などで品質を担保する
• 必要なときに必要な分だけ発注し、人手の調達を弾力的にスケールさせる

人材の確保とタスク配信の仕組みを自前で持たずに、API 経由で人の労力を「サービス」として呼び出せる点が中心的な価値です。他クラウドの相当サービスとしては、ラベリング作業を人手に委託する仕組みという観点で SageMaker Ground Truth の人手ラベリングとも関連します。

主要概念と用語

• クラウドソーシング: 不特定多数の人々に作業を分散して委託する手法。MTurk の中核となる考え方
• HIT（Human Intelligence Task）: 人間が処理する1単位の作業。1つの画像へのラベル付けや1問のアンケートなどが該当する
• リクエスター（Requester）: HIT を登録して作業を依頼する発注者。報酬を支払う側
• ワーカー（Worker）: HIT を選んで実際に作業し、報酬を受け取る人
• アサインメント（Assignment）: 1つの HIT を特定のワーカーが請け負った割り当て。同じ HIT を複数人に割り当てることもできる
• 報酬（Reward）: HIT 完了時にワーカーへ支払う金額。少額の従量制が一般的
• 承認・却下（Approve / Reject）: 提出された回答をリクエスターが確認し、報酬支払いの可否を判断する操作
• クオリフィケーション（Qualification）: ワーカーに求める資格条件。承認率や所在地、独自テストの合格などで作業者を絞り込める
• ボーナス: 報酬とは別に、優れた回答に対して任意で追加支払いする仕組み
• サンドボックス: 本番とは別の検証用環境。実際の支払いを伴わずに HIT 設計や API 連携を試せる

仕様・制限・クォータ

• HIT には有効期限や、1人のワーカーが作業できる割り当て数を設定でき、複数人に同じ作業を依頼して品質を比較できる
• 回答の質はクオリフィケーション（承認率・所在地・独自テストなど）で事前に絞り込みできる
• 本番環境とサンドボックス環境が分かれており、開発時はサンドボックスで支払いなしに検証する
• 報酬に加えて、AWS への手数料がリクエスター側に発生する
• API は HIT の作成・取得・承認・却下、ワーカーへのボーナス付与などの操作を提供する
• アカウント単位で同時に扱える HIT 数などに上限が設けられる場合がある

具体的な手数料率・各種上限・利用可能地域は変動するため、最新の公式情報で確認してください。

内部の仕組み

MTurk は「作業を出したいリクエスター」と「作業をしたいワーカー」を仲介するマーケットプレイスです。リクエスターから見た流れは次のようになります。

• HIT の登録: 作業内容（質問・選択肢・画像など）と報酬、必要なクオリフィケーションを指定して HIT を作成する
• 配信とマッチング: 登録された HIT はワーカー向けのマーケットプレイスに公開され、条件に合うワーカーが選んで作業する
• 回答の収集: ワーカーが提出した回答がアサインメント単位でリクエスターに集まる
• 承認・却下と支払い: リクエスターが回答を確認し、承認すれば報酬が支払われ、内容が不十分なら却下できる
• 集約: 同じ HIT を複数人に割り当てた場合、多数決や合議で最終結果をまとめる処理はリクエスター側で実装する

ワーカーの募集・配信・支払い処理といった仲介基盤は AWS 側が担い、リクエスターは API とデータ設計に集中できます。

設計パターン / ベストプラクティス

• 冗長割り当てで品質担保: 1つの HIT を複数ワーカーに割り当て、多数決や一致率で信頼できる回答を採用する
• クオリフィケーションで事前選別: 高い承認率や独自テスト合格を条件にし、質の低い回答が混ざる前に作業者を絞る
• 明確で簡潔な指示: HIT の説明文と例示を丁寧に用意し、判断のブレや誤回答を減らす
• 黄金データで検証: 正解が分かっている設問（ゴールデンセット）を紛れ込ませ、ワーカーの精度を継続的に測る
• 機械と人の役割分担: 機械で自動処理できる部分は自動化し、判断が難しいものだけを MTurk に回して費用と時間を抑える

運用・監視

• 提出されたアサインメントを定期的に取得し、承認・却下を運用フローに組み込む
• 回答の一致率や却下率を継続的に観測し、設問の不備やワーカーの質を早期に検知する
• 優れたワーカーにはボーナスやクオリフィケーション付与で良質な作業者を囲い込む
• 大量発注は HIT の作成・回収を自動化し、人手の確認は例外時に絞る
• API 操作や請求は AWS の請求・利用状況から確認し、想定外の発注増を監視する

コスト

• 課金は基本的に、ワーカーへ支払う報酬と、それに対する AWS への手数料の合計で、従量制です
• 1つの HIT を複数人に割り当てると、その人数分の報酬と手数料がかかる
• ボーナスを付与した場合は、その金額にも手数料が伴うことがある
• サーバーの常時起動費用は不要で、発注した作業量に応じてのみ費用が発生する

報酬は作業の難易度や所要時間に見合う水準に設定し、冗長割り当ての人数は品質要件とコストのバランスで決めます。具体的な手数料率は変動するため、料金は公式情報で確認してください。

セキュリティ

• アクセス制御は IAM で行い、HIT の作成・承認・支払いなどの操作権限を最小限に絞る
• ワーカーは不特定多数のため、個人情報や機密データを含む作業内容は避けるか、匿名化してから委託する
• 入力データや回答を S3 などに保存する場合は、保存時の暗号化と転送時の TLS で保護する
• API 操作の監査は AWS の監査証跡を通じて確認する

関連サービス・比較

機械学習の教師データ作成という用途では、データラベリングを支援する Amazon SageMaker Ground Truth とよく比較されます。Ground Truth は人手ラベリングの依頼先として MTurk のワーカーを利用することもできます。

ハンズオン / CLI例

# 残高を確認（サンドボックスのエンドポイントを指定）
aws mturk get-account-balance \
  --endpoint-url https://mturk-requester-sandbox.us-east-1.amazonaws.com

# 登録済みの HIT を一覧表示
aws mturk list-hits \
  --endpoint-url https://mturk-requester-sandbox.us-east-1.amazonaws.com \
  --query "HITs[].[HITId,Title,HITStatus]"