Перейти к содержимому

Обнаружение проблемного контента

Случаи проблемного контента регистрируются в разделе abuse.

Этот раздел появляется, если:

  1. Обнаружены проблемные типы контента;
  2. Для настройки abuse установлено значение true (или она пропущена).

Элемент массива abuse содержит:

  • данные о местоположении
    • offset — позиция, отсчитываемая от нуля, где начинается фрагмент
    • length — длина фрагмента
    • sentence_index — предложение, в котором находится фрагмент
  • type — тип проблемного контента
  • severity — серьезность проблемы, которую можно использовать для определения приоритетности обнаруженных случаев
  • explanation — понятное человеку объяснение, почему система считает контент проблемным. (Если для настройки explain установлено значение true)
  • text — проблемный фрагмент. (Если для настройки snippets установлено значение true)

**Не реагируйте на все типы записей ** в разделе abuse без разбора.

Модераторы или создатели политики обязаны решить, действительно ли отмеченный контент является проблемным в контексте сообщества. Например: Возможно, нецелесообразно ограничивать сексуальные домогательства в приложении для знакомств или цензурировать ненормативную лексику в сообществах, где она является общепринятой.

Различные типы проблемного контента требуют различных действий. Например, обнаруженное суицидальное поведение, безусловно, не должно приводить к блокировке пользователя.

Для таких приложений, как исследовательские пакеты, это еще один тип извлекаемой информации. Однако в целях удобства использования рекомендуется учитывать реальные потребности и не перегружать пользователей данными, которые им могут не понадобиться.

Информацию о типах проблемного контента см. в следующих источниках: Проблемный контент .

Если вы не хотите, чтобы обнаруживался проблемный контент

Если проблемный контент неважен, либо явно укажите для настройки abuse значение false или просто проигнорируйте этот раздел.

Поиск соответствующего фрагмента в тексте

Чтобы извлечь точный фрагмент текста, содержащий оскорбительный контент, используйте данные о местоположении, предоставленные в ответе.

См. подробнее в статье: Как найти фрагмент на основе данных о местоположении

Если вам нужен только сам фрагмент текста, просто добавьте "snippets":true в объект settings и используйте атрибут text на уровне отдельного объекта abuse.

Является ли обнаружение оскорбительного контента тем же самым, что и анализ настроений?

Оскорбительный контент и анализ настроений — это две разные вещи.

Действительно, оскорбительный и проблемный контент часто переплетается с негативными настроениями. Но это не всегда так. Например, когда кто-то рекламирует «высококачественный кокаин», это явно позитивное отношение, но это преступная деятельность, которую необходимо пометить как abuse.

Когда кто-то обменивается контактными данными, отношение нейтральное; однако его все равно можно обозначить как external_contact. Расовые оскорбления также могут легко использоваться в высказываниях с положительным настроем.

С другой стороны, «крайне негативные настроения» не обязательно означают кибербуллинг или разжигание ненависти. Даже высказывания вроде «Я его ненавижу» не являются личными оскорблениями, поскольку они не направлены на кого-то из участников текущего разговора. Рекомендуем ознакомиться: Личные нападки