2008年創業のGumGumは、Webページ内の動画や音声、画像、テキストを自動的にスキャンし、重要な要素を特定して抽出する。次に、そのコンテキスト（文脈）データを使用して、広告主がWebページに関連した広告を配置するのを支援する。

　コンピュータビジョンとNLPの機械学習モデルを強化するために、GumGumは多くの教師データを必要とする。データのニーズを満たすため、同社は機械学習用アノテーション（データに関する情報の付与）のクラウドソーシングベンダーであるFigure Eightのサービスを採用した。

　2019年4月、機械学習用アノテーションを手掛ける別のクラウドソーシングベンダーであるAppenが買収したFigure Eightは、同様のさまざまなベンダーにトレーニングデータを提供している。Figure Eightは、「コントリビューター」と呼ばれる作業者の大規模なネットワークを活用して、膨大な量のデータにタグを付ける。コントリビューターは訓練されているが、その多くはデータサイエンティストではない。

　GumGumのデータキュレーターである西村 恵里香氏によると、Figure Eightを採用する前は、GumGumは機械学習用のアノテーションにフルタイムのスタッフを雇用していた。これはうまくいったが、高コストであり、速度も遅いことがあったという。大量のデータがある場合、適切な教師データを取得するには数カ月かかることもある。その上、GumGumがアノテーションを委託した会社の作業者は英語でしか作業ができなかったが、同社のクライアントは世界中にいる。

　Figure Eightはコントリビューターのネットワークを活用して教師データを提供する。同社が処理対象にする言語は多岐にわたる。西村氏は、Figure Eightが当時、日本語を処理する数少ない企業の一社だったと述べる。GumGumには日本語部門があるため、処理対象言語はFigure Eightを選択した主な理由の一つだった。

　GumGumのプロダクトマネジャーであるレーン・シェクター氏は、同社がFigure Eightを選んだもう一つの理由はスケーラビリティだったという。

　シェクター氏によれば、Figure Eightを採用したことでGumGumのアノテーション効率は10倍以上増加した。これまで適切な機械学習用アノテーションを取得するために数カ月かかっていた作業の中には、約1週間でできるようになったものもある。

最大の課題は「直接対話」の難しさ

　だからといって、Figure Eightとの作業に問題がなかったわけではない。最大の課題の一つは、コントリビューターと直接やりとりすることだったと西村氏は言う。

　コントリビューターは、GumGumが何を望んでいるかを正確に理解するのに苦労することが時々あった。だがコントリビューターと直接対話する方法がないため、彼らが問題を抱えているかどうか、問題があったとして、それが何であるかを知るのは難しい。

　GumGumにできる最善のことはメッセージを送信することだ。ただし西村氏は、全てのコントリビューターにメッセージを知らせる方法はないと打ち明ける。メッセージを送信しても、会話をするのと同じ結果は得られないと同氏は付け加える。

　他社であればコントリビューターとコミュニケーションするのにより良い方法があるかどうかは分からない。だが同様に機械学習アノテーションを提供する一部のクラウドソーシングベンダーは独自のチェッカーを持っており、完成したアノテーションのスポットチェックをしていると西村氏は言う。

　「これは品質を確保するための追加のステップだ。だが、それを使うとなれば、サービスの料金は一般にFigure Eightの料金よりも高くなる」（西村氏）