アノテーションは、AIに学習させるために、データへ「どれが何なのか」の目印や名前を付ける作業です。この作業を外部へ依頼するとき、気になるのは複数人で作業しても品質を保てるのかという点です。
来栖川電算でも、この作業は複数人で担当しています。作業のルールをまとめた指示書は用意しますが、人が判断する作業のため、同じ指示書を読んでいても結果が分かれることがあります。
そのため来栖川電算では、案件に応じて検査、相談と共有、指示書の整備を組み合わせ、判断のばらつきや見落としを減らしています。
品質管理を担うのは、主に次の2者です。
- アノテータ：データに目印や名前を付け、他のアノテータが付けた結果を検査する
- 管理者：指示書を作り、質問や例外に対応しながら作業の期間と品質を管理する
前提知識の差は、データの見え方を共有して埋める
来栖川電算のアノテータは北海道から九州まで各地に住み、リモートで作業しています。そのため、居住地や生活環境によってデータを見たときの前提知識が異なります。
たとえば道路の画像には、雪が多い地域特有の道路構造や道路設備が写ることがあります。地域限定のチェーン店の看板も、見慣れていなければ何の店か分かりません。「画像内のコンビニエンスストアの看板をすべて囲む」という作業では、その店舗を見たことがないアノテータは看板をコンビニエンスストアのものと認識できません。結果として、対象を見落とします。
そこでアノテータと管理者でこうした見え方の違いを共有し、対象の見落としを減らしています。
検査で判断のばらつきや見落としを減らす
アノテーションの確認方法は、案件の条件に応じて決めます。アノテータが付けたアノテーションを、別のアノテータが検査する方法もその1つです。同じデータでも、検査するアノテータは作業したアノテータと違う判断をすることがあり、そこで人による判断のばらつきが見えます。作業した本人では気づきにくい見落としも、別の目で見ることで見つかります。
検査を担当したアノテータは、修正が必要なものを差し戻します。判断の違いが見つかった場合は、相談して基準を確認します。
相談は管理者を介し、図解で認識をそろえる
同じ指示書を読んでも、細かなニュアンスの受け取り方は人によって変わります。とくに指示書が十分に整っていないプロジェクトの序盤で起こりやすくなります。
アノテータ同士で相談すれば個人間の認識はそろっていきますが、その相談だけで完結すると、決まった内容がチーム全体へ届きません。すると、指示書の意図とは異なる解釈が、一部のアノテータの間で正しいものとして定着します。管理者はその状態に気づけません。
そのため、ルールに関わる判断はアノテータ同士で完結させず、管理者を介して決めます。決まった内容はアノテータ全員へ共有し、認識をそろえます。あわせて指示書では文章だけに頼らず、実際の画像や図解を使います。アノテータが「何を対象とするか」「どこまでを含めるか」を目で確認できるようにするためです。
曖昧な判断は、基準を具体化してルールに残す
指示書やチーム運営を整えても、判断が分かれるケースは残ります。たとえば「対象物が一定以上に見えないときは対象外とする」という指示を考えます。何を一定以上とみなすかは主観に委ねられ、人によって結果がばらつきます。
こうしたケースは、案件の目的や対象に合わせて、数値、見た目の例、判断の優先順位などで基準を具体化します。本作業の前に少量のデータで試しながら基準を決めることもあります。
来栖川電算では、判断に迷ったアノテータはまず管理者へ確認します。管理者が判断できない場合は、実際にデータを使ってAIを開発する担当者に確認して決めます。
判断がばらつきやすい作業では次の取り決めを用意します。
- アノテーション担当と検査担当のどちらの判断を優先するか
- 「迷ったらこちらに寄せる」という基準
重要な判断は、必要に応じて指示書へ追記します。同じケースが再び発生したときに個人の解釈へ戻らないようにするためです。
例：「膝の高さ以上のものを対象とする」と基準を具体化した場合。膝より低いものは対象外になる。
品質は個人の注意力ではなく、検査、相談と共有、指示書で保つ
アノテーションの品質は、アノテータの注意力や経験だけでは決まりません。前提知識の差や指示書の受け取り方の違いが、複数人の判断に影響します。
来栖川電算では、これらの差が出ることを前提に、案件に応じて検査、相談と共有、指示書の整備を組み合わせます。別のアノテータの検査で判断のばらつきや見落としを見つけ、判断が分かれたときは個人で決めず管理者へ確認します。決まった内容はアノテータ全員へ共有し、必要に応じて具体例や図解とともに指示書へ残します。
複数人で作業しても品質を保てるのは、判断のばらつきに気づき、そろえ、次も同じ判断ができる形で残しているからです。
アノテーションを相談する前に整理できること
アノテーションの外部委託を検討するときは、次の項目をわかる範囲で整理しておくと、依頼内容を具体化しやすくなります。
| 項目 | 整理する内容 |
|---|---|
| 対象データ | データの種類、量、状態、取り扱い上の条件 |
| ラベル定義 | 付ける名前（ラベル）の種類、対象・非対象の基準、例外 |
| 品質確認 | 確認したい観点、検収時に重視する条件 |
| 納品物 | 利用する後工程、必要な内容・形式 |
| 判断が難しい例 | 想定している曖昧なケースや判断の例 |
来栖川電算では、決まっていない項目があってもご相談を受け付けています。対象の定義や検査の進め方は、作業を始める前のすり合わせで具体化します。
扱うデータは画像に限りません。動画、3次元の点群、テキストなどのアノテーションにも対応しています。
関連ページ
- 人と生成AIで進めるデータ整備支援
実データだけでは必要なケースが足りないとき、生成AIでデータを作り、人が確認・修正して使える品質に整えます