政治戦略と健康対策の意外なつながり
コンテンツのモデレーションは、安全で敬意のあるオンライン環境を維持する上で極めて重要な役割を果たしていますが、それには間違いなく多大な人的コストが伴います。世界中で約10万人が商業コンテンツモデレーターとして働いていると推定されており、これらの専門家は、不快で有害なユーザー生成コンテンツ（UGC）を精査する中で、大きな心理的および感情的な課題に直面することがよくあります。
彼らの業務は、ソーシャルメディアプラットフォームの利用規約およびコミュニティガイドラインの遵守を確保することであり、膨大な量のコンテンツを分類する作業が含まれます。このコンテンツの多くは問題のないものですが、不適切なコンテンツ（露骨なテキスト、画像、音声、動画など）の量が膨大であるため、彼らの健康に深刻な悪影響を及ぼす可能性があります。
デートアプリのモデレーターが業務中に直面する課題について興味がありますか？ギャラリーをクリックして詳細をご覧ください。
テクノロジー企業は、オンライン上の過激主義や暴力に対抗しようとしています。例えば、Googleは1年間でDrive、Photos、Bloggerなどのプラットフォームから16万件の有害なコンテンツを削除しました。同様に、Facebook は2024年第1 四半期に約350万件の暴力的なコンテンツに対して措置を講じました。
準拠していないオンラインコンテンツには著作権侵害、地域ごとの表現規制の違反、冒涜や猥褻などのわいせつ法違反など、さまざまな形態があります。
コンテンツモデレーションポリシーは文脈に依存しているため、普遍化や厳格な階層化には適しません。地域の文化、言語、国内法、および個々のプラットフォームが遵守する独自の規範がこういったポリシーの策定と実施方法に影響を与えます。
機械学習は問題のあるコンテンツの検出に有望ですが、人間の監視は依然として不可欠です。高い精度とエラーの最小化が必要とされる一方で、モデレーションポリシーや問題となるコンテンツの主観的で変化しやすい性質のため、自動化システムを補完する人間の判断が求められています。
世界中で10万人を超える有料コンテンツモデレーターが雇用されていると推定されています。この多様な人材には社内レビュー担当者、第三者企業からの契約社員、および外部委託のオンライン労働者が含まれ、より安全なデジタル環境を維持するための課題に対処するために協力しています。
コンテンツのモデレーションは本質的に困難ですが、その心理的な負担がますます認識されるようになってきています。ストレスの多いコンテンツに継続的にさらされることと、職場でのサポートが不十分なことが相まって、人間のモデレーターのメンタルヘルスに深刻な影響を与える可能性があります。
Bumbleの元フリーランスモデレーターであるゲールは、ブラジルの自宅から夜勤で働くことが多かったのです。彼は午後9時か10時頃に仕事を始め、最大6時間ほど仕事に専念し、早朝に仕事を終えていました。
Bumbleのシステムにログインした後、ゲールは複数の言語にわたる報告の数々を確認し始めます。この作業では、コンテンツのモデレーションにおける言語や文化の多様性が浮き彫りになります。
ゲールによると、Bumbleのプラットフォームはさまざまなルール違反に直面しているということです。これには未成年ユーザー、さまざまな形態の虐待的または攻撃的なコンテンツ、およびプラットフォームの主要な課題の一つであるセクシャルハラスメントの著しい蔓延が含まれます。
ゲールによると、差別や有害な男性的行動はBumbleで繰り返し発生している問題のひとつです。
さらに、このプラットフォームは詐欺や合法的な事業宣伝を通じて収益を得ようとするプロフィールなど、商業上の不正行為にも対処しています。
報告が確認されると、モデレーターは報告された行為がBumbleのガイドラインに違反しているかどうかを判断します。ルール違反が確認された場合、適切な措置を決定します。その措置には、違反したユーザーをプラットフォームから排除することが含まれる場合があります。
「誰かが他者に同意のないわいせつな写真を送信した場合、そのユーザーは即座にブロックされます」とゲールは説明しました。ユーザーが人種差別的な発言をした場合、「そのユーザーは即刻ブロックされます」ということです。
ゲールは「さらに、例えば小児性愛のような、より過激な状況もあります。そのようなものは、調査が必要な状況であるため、より高いカテゴリーのブロックに分類されます」 と付け加えました。
違法行為が関与する状況では、ゲールは報告をより上位の社内チームにエスカレートします。この専門チームは最も重大な違反事案に対応し、プラットフォーム上の違法行為に対して適切な措置が講じられるよう努めています。
Bumbleにおける不正利用の報告は、主に次の2つのソースから寄せられます。ユーザーからの報告と自動検出です。ゲールによると、このプラットフォームの機械学習ソフトウェアは潜在的な違反を示す特定の単語、フレーズ、または画像を識別し、システムにコンテンツをフラグを立ててさらに審査するよう指示します。
ゲールによると、モデレーターは1時間あたり100件の報告を処理することが求められており、これは平均して36秒に1件のペースです。ただし、これらの目標は割り当てられた業務の内容によって異なっていました。
ゲールは通常、1時間あたり100件の報告を処理するという厳しい目標を達成することができていましたが、その負担は大きいと述べています。「5時間経つと、600件もの虐待行為の報告を処理することになり、エージェントにとっては本当に洗脳のようなものです」と言います。
ゲールが遭遇した最も深刻なケースは、彼に強い印象を残しました。こうした困難な状況は、苦痛やトラウマ的なコンテンツを扱う際に、モデレーション業務が感情的および心理的に与える負担の大きさを浮き彫りにしました。
ゲールは、モデレーターとしての業務で遭遇した2つの特に問題のある事例について述べました。1つは非常に若い少女と年配の男性を暗示する露骨な画像が含まれており、もう1つは服を着ていない少年を撮影した露骨な写真が含まれていました。
Bumbleは社員に対してメンタルヘルスサポートを提供していますが、ゲールのようなフリーランサーはこれらの福利厚生の対象外でした。この格差は、契約労働者が自身の福祉のために必要な資源にアクセスする際に直面するという課題を示しています。
ゲールは、非常に苦痛を伴うコンテンツに対処するための研修が不足していることに不満を述べました。「彼らは、私たちにこの状況に対処するための十分な知性と機敏さを期待しているようです」と彼は語りました。
ゲールはモデレーターに対するサポートの不足を批判し、Bumbleがユーザーの安全を強調する一方で、その安全を確保する役割を担う人々の福祉を無視しているという皮肉な事実を指摘しました。
Bumbleは、フリーランスのコンテンツモデレーターは、担当するタスクを柔軟に選択し、日々の作業量を自分で管理できると述べています。同社はまた、安全への取り組みを強調し、2021年以降、安全投資を2倍に増額したことを強調しました。
Bumbleはまた、モデレーターはさまざまな種類の不正利用の疑いに対処するための詳細な実施ガイドラインと標準化された報告手順を受け取っているとも述べています。（写真はBumble CEOのリディアン・ジョーンズ）
ゲールは、フリーランスのモデレーターとして1時間あたり10ユーロ（約11.09米ドル）の報酬を得ていました。ブラジルレアルに換算すると、この報酬は非常に良いと評価しており、この仕事の厳しい性質と引き換えに、経済的な安定を得ることができました。
魅力的な給与にもかかわらず、ゲールはモデレーター業務が自身の健康に大きな負担をかけていることに気づきました。「退職して現在の仕事に転職してから1、2週間後には心がとても軽くなったと感じました」と彼は語りました。
ゲールはコンテンツモデレーターとしての経験を振り返り「大変だったが貴重な経験」と表現しました。それにも関わらず彼は「もう二度とやりたくない」と認め、その役割に伴う困難や感情的な負担を強調しました。
出典:(The New Yorker)(The Bureau of Investigative Journalism)(Crowd Intelligence Lab)
デートアプリモデレーターが抱える隠れた苦労
毒性、トラウマ、緊張
ライフスタイル テクノロジー
コンテンツのモデレーションは、安全で敬意のあるオンライン環境を維持する上で極めて重要な役割を果たしていますが、それには間違いなく多大な人的コストが伴います。世界中で約10万人が商業コンテンツモデレーターとして働いていると推定されており、これらの専門家は、不快で有害なユーザー生成コンテンツ（UGC）を精査する中で、大きな心理的および感情的な課題に直面することがよくあります。
彼らの業務は、ソーシャルメディアプラットフォームの利用規約およびコミュニティガイドラインの遵守を確保することであり、膨大な量のコンテンツを分類する作業が含まれます。このコンテンツの多くは問題のないものですが、不適切なコンテンツ（露骨なテキスト、画像、音声、動画など）の量が膨大であるため、彼らの健康に深刻な悪影響を及ぼす可能性があります。
デートアプリのモデレーターが業務中に直面する課題について興味がありますか？ギャラリーをクリックして詳細をご覧ください。