270 чтения

Как разобраться в сложности обнаружения ненавистных мемов

к Memeology: Leading Authority on the Study of Memes2m2024/04/26

Слишком долго; Читать

Изучите различные методологии обнаружения мемов ненависти, включая тонкую настройку PVLM, ансамбль моделей и использование предварительно обученных моделей, таких как BERT и CLIP. Узнайте, как подход к созданию субтитров на основе зондирования улучшает понимание контекста и помогает лучше обнаруживать ненавистнический контент в мемах.

featured image - Как разобраться в сложности обнаружения ненавистных мемов

‘a collage of images’ Image created by HackerNoon AI Image Generator

Авторы:

(1) Руй Цао, Сингапурский университет менеджмента;

(2) Мин Шань Хи, Сингапурский университет дизайна и технологий;

(3) Адриэль Куек, Национальные лаборатории DSO;

(4) Вен-Хо Чонг, Сингапурский университет менеджмента;

(5) Рой Ка-Вэй Ли, Сингапурский университет дизайна и технологий

(6) Цзин Цзян, Сингапурский университет менеджмента.

Таблица ссылок

2 СВЯЗАННЫЕ РАБОТЫ

Мемы , обычно предназначенные для юмористического или саркастического характера, все чаще используются для распространения разжигающего ненависть контента, что приводит к сложной задаче обнаружения мемов, разжигающих ненависть, в Интернете [5, 12, 27]. Одно из направлений работы по борьбе с распространением ненавистнических мемов рассматривает обнаружение ненавистнических мемов как задачу мультимодальной классификации. Исследователи применили предварительно обученные модели языка видения (PVLM) и настроили их на основе данных обнаружения мемов [20, 26, 34, 37]. Чтобы улучшить производительность, некоторые попробовали ансамбль моделей [20, 26, 34]. Другое направление работы рассматривает объединение предварительно обученных моделей (например, BERT [4] и CLIP [29]) с архитектурами моделей для конкретных задач и их сквозную настройку [13, 14, 28]. Недавно авторы [2] попытались преобразовать всю мемную информацию в текст и побудить языковые модели лучше использовать контекстуальные фоновые знания, присутствующие в языковых моделях. Этот подход позволяет достичь самых современных результатов в двух тестах по обнаружению мемов ненависти. Однако он использует общий метод описания изображения посредством подписей к изображениям, часто игнорируя важные факторы, необходимые для обнаружения ненавистнических мемов. В этой работе мы пытаемся решить эту проблему с помощью субтитров на основе проб, задавая заранее обученным моделям языка видения ненавистные, ориентированные на контент вопросы, в манере нулевого VQA.