コンテンツへスキップ

問題のあるコンテンツの検出

問題のあるコンテンツは、abuseセクションに記録されます。

このセクションは、以下の場合に表示されます。

  1. 問題のあるタイプのコンテンツが発見され、かつ
  2. abuse設定がtrueに設定(または省略)されている。

abuse配列のメンバーには以下が含まれます。

  • ロケーションデータ
    • offset - フラグメントが始まるゼロベースの位置
    • length - フラグメントの長さ
    • sentence_index - フラグメントがある文章
  • type - 問題のあるコンテンツのタイプ
  • severity - 検出されたインスタンスの優先順位付けに使用できる問題の重大度
  • explanation - コンテンツに問題があるとシステムが考える理由を、人間が読める形で説明したもの。(explain設定がtrueに設定されている場合)
  • text - 問題のあるフラグメント。snippets設定がtrueに設定されている場合のみ表示される。

abuseセクションに記載されたすべての種類の項目を区別なく扱わない。

フラグが付けられたコンテンツがコミュニティのコンテキストにおいて本当に問題があるかどうかを判断するのは、モデレーターやポリシー作成者の責任です。例:出会い系アプリで性的な誘いを制限すること、広く受け入れられるコミュニティで暴言を検閲すること、または外部との接触が許されている場合にそれを制限することは適切ではないかもしれません。

問題のあるコンテンツの種類によって、必要な措置は異なります。例えば、自殺行為を検出した場合、そのユーザーを利用停止にするべきではありません。

調査スイートのようなアプリケーションの場合、これは別のタイプの抽出された情報です。それでも、ユーザビリティのためには、実際のニーズを考慮し、ユーザーが必要としないデータだらけにならないようにすることが推奨されます。

問題のあるコンテンツの種類については、問題のあるコンテンツを参照してください。

問題のあるコンテンツを検出したくない場合

問題のあるコンテンツに関連がない場合、明示的に不正使用設定をfalseに設定するか、単にそのセクションを無視します。

テキストから適切なフラグメントを探し出す

悪用されたコンテンツを含む正確なテキストフラグメントを抽出するには、レスポンスで提供されたロケーションデータを使用します。

詳しくは、ロケーションデータに基づいてスニペットの場所を特定するにはを参照してください。

テキストフラグメント自体が必要な場合は、設定オブジェクトに "snippets":trueを追加し、個々の不正使用オブジェクトのレベルでtext属性を使用します。

不正なコンテンツの検出はセンチメント分析と同じか?

不正なコンテンツとセンチメント分析は異なるものです。

実際、不正かつ問題のあるコンテンツは、否定的な感情と重なることが多くあります。しかし、必ずしもそうとは限りません。例えば、誰かが「高品質のコカイン」を宣伝しているとき、センチメントは明らかに肯定的ですが、これは犯罪行為であり、不正使用としてタグ付けされなければなりません。

誰かが連絡先の詳細を交換している場合、そのセンチメントは中立ではありますが、外部的な_接触としてマークされます。人種差別的な中傷は、肯定的なセンチメントを込めた発言でも簡単に使われることがあります。

逆に言うと、「非常に否定的なセンチメント」は必ずしもネットいじめやヘイトスピーチを意味するものではありません。「私は彼が嫌いだ」というような発言も、現在の会話に参加している誰かに向けられたものではなければ、個人攻撃にはなりません。 参考:個人攻撃