Pro-Cap: Tận dụng mô hình ngôn ngữ tầm nhìn đông lạnh để phát hiện meme đáng ghét

Bảng liên kết

Tóm tắt và giới thiệu

Công việc có liên quan

Sơ bộ

Phương án đề xuất

Cuộc thí nghiệm

Kết luận và tài liệu tham khảo

ruột thừa

TRỪU TƯỢNG

Phát hiện meme đáng ghét là một nhiệm vụ đa phương thức đầy thách thức, đòi hỏi sự hiểu biết về cả tầm nhìn và ngôn ngữ cũng như các tương tác đa phương thức. Các nghiên cứu gần đây đã cố gắng tinh chỉnh các mô hình ngôn ngữ thị giác được đào tạo trước (PVLM) cho nhiệm vụ này. Tuy nhiên, với việc tăng kích thước mô hình, điều quan trọng là tận dụng các PVLM mạnh mẽ một cách hiệu quả hơn thay vì chỉ tinh chỉnh chúng. Gần đây, các nhà nghiên cứu đã cố gắng chuyển đổi hình ảnh meme thành chú thích văn bản và mô hình ngôn ngữ gợi ý để dự đoán. Cách tiếp cận này đã cho thấy hiệu suất tốt nhưng lại có chú thích hình ảnh không mang tính thông tin. Xem xét hai yếu tố được đề cập ở trên, chúng tôi đề xuất cách tiếp cận phụ đề dựa trên thăm dò để tận dụng PVLM theo cách trả lời câu hỏi trực quan (VQA). Cụ thể, chúng tôi nhắc nhở PVLM bị đóng băng bằng cách đặt các câu hỏi liên quan đến nội dung thù địch và sử dụng câu trả lời làm chú thích hình ảnh (mà chúng tôi gọi là Pro-Cap) để chú thích chứa thông tin quan trọng nhằm phát hiện nội dung thù địch. Hiệu suất tốt của các mô hình có Pro-Cap trên ba điểm chuẩn xác nhận tính hiệu quả và tính tổng quát của phương pháp được đề xuất.[1]

Ý TƯỞNG CCS

• Phương pháp tính toán → Xử lý ngôn ngữ tự nhiên; Biểu diễn thị giác máy tính.

TỪ KHÓA

memes, đa phương thức, trích xuất ngữ nghĩa

Định dạng tham chiếu ACM:

Rui Cao, Ming Shan Hee, Adriel Kuek, Wen-Haw Chong, Roy Ka-Wei Lee và Jing Jiang. 2023. Pro Cap: Tận dụng Mô hình ngôn ngữ tầm nhìn đông lạnh để phát hiện Meme đáng ghét. Trong Kỷ yếu của Hội nghị Quốc tế ACM về Đa phương tiện lần thứ 31 (MM '23), ngày 29 tháng 10 đến ngày 3 tháng 11 năm 2023, Ottawa, ON, Canada. ACM, New York, NY, Mỹ, 11 trang. https://doi.org/10.1145/3581783.3612498

Tuyên bố từ chối trách nhiệm: Bài viết này chứa nội dung bạo lực và phân biệt đối xử có thể gây khó chịu cho một số độc giả.

1. GIỚI THIỆU

Memes, kết hợp hình ảnh với văn bản ngắn, là một hình thức giao tiếp phổ biến trên mạng xã hội trực tuyến. Các meme trên Internet thường nhằm mục đích thể hiện sự hài hước hoặc châm biếm. Tuy nhiên, chúng ngày càng bị lợi dụng để phát tán nội dung thù địch trên các nền tảng trực tuyến. Các meme đáng ghét tấn công các cá nhân hoặc cộng đồng dựa trên danh tính của họ như chủng tộc, giới tính hoặc tôn giáo [5, 8, 12, 27]. Việc lan truyền các meme thù hận có thể dẫn đến bất hòa trên mạng và có thể dẫn đến tội ác căm thù. Vì vậy, việc phát triển các phương pháp phát hiện meme đáng ghét chính xác là điều cấp thiết.

Nhiệm vụ phát hiện meme đáng ghét đang gặp nhiều thách thức do tính chất đa phương thức của meme. Việc phát hiện không chỉ liên quan đến việc hiểu cả hình ảnh và văn bản mà còn phải hiểu cách hai phương thức này tương tác với nhau. Công việc trước đây [14, 28, 35, 36] tìm hiểu các tương tác đa phương thức từ đầu bằng cách sử dụng bộ dữ liệu phát hiện meme đáng ghét. Tuy nhiên, các mô hình có thể gặp khó khăn trong việc tìm hiểu các tương tác đa phương thức phức tạp với lượng dữ liệu hạn chế có sẵn từ các bộ dữ liệu này. Với sự phát triển của các Mô hình ngôn ngữ thị giác được huấn luyện trước (PVLM) như VisualBERT [18] và ViLBERT [23], công việc gần đây tận dụng các PVLM mạnh mẽ này để tạo điều kiện thuận lợi cho nhiệm vụ phát hiện meme đáng ghét. Một cách tiếp cận phổ biến là tinh chỉnh PVLM với dữ liệu dành riêng cho nhiệm vụ [9, 20, 26, 34, 37]. Tuy nhiên, việc tinh chỉnh các mô hình lớn hơn như BLIP-2 [15] và Flamingo [1] về phát hiện meme là ít khả thi hơn vì có hàng tỷ tham số có thể huấn luyện được. Do đó, cần có các giải pháp khả thi về mặt tính toán ngoài tinh chỉnh trực tiếp để tận dụng các PVLM lớn trong việc hỗ trợ phát hiện meme đáng ghét.

Khác với cách tiếp cận sử dụng PVLM ở trên, NhắcHate[2] là một mô hình được đề xuất gần đây nhằm chuyển đổi nhiệm vụ phát hiện meme đa phương thức thành nhiệm vụ mô hình hóa ngôn ngữ đeo mặt nạ đơn phương thức. Đầu tiên, nó tạo chú thích cho hình ảnh meme bằng một trình tạo chú thích hình ảnh sẵn có, ClipCap [25]. Bằng cách chuyển đổi tất cả thông tin đầu vào thành văn bản, nó có thể nhắc nhở một mô hình ngôn ngữ được đào tạo trước cùng với hai ví dụ minh họa để dự đoán liệu đầu vào có gây khó chịu hay không bằng cách tận dụng kiến thức nền tảng phong phú trong mô hình ngôn ngữ. Mặc dù NhắcHate đạt được hiệu suất tiên tiến nhưng nó bị ảnh hưởng đáng kể bởi chất lượng của chú thích hình ảnh, như trong Bảng 1. Chú thích hình ảnh chỉ mang tính mô tả chung chung về hình ảnh có thể bỏ sót các chi tiết quan trọng [14, 37], chẳng hạn như chủng tộc và giới tính của mọi người, những yếu tố cần thiết để phát hiện nội dung kích động thù địch. Nhưng với các thẻ hình ảnh bổ sung, chẳng hạn như các thực thể được tìm thấy trong hình ảnh và thông tin nhân khẩu học về những người trong ảnh, mô hình tương tự có thể được cải thiện đáng kể, như được trình bày trong Bảng 1. Tuy nhiên, việc tạo ra các thẻ hình ảnh bổ sung này tốn nhiều công sức và tốn kém. Ví dụ: việc trích xuất thực thể thường được thực hiện bằng API phát hiện thực thể Web của Google Vision [2], đây là một dịch vụ trả phí. Lý tưởng nhất là chúng tôi muốn tìm một cách hợp lý hơn để lấy thông tin về thực thể và nhân khẩu học từ những hình ảnh quan trọng cho việc phát hiện nội dung thù địch.

Cả hai cách tiếp cận nêu trên (tức là một cách sử dụng PVLM và cách kia chuyển đổi nhiệm vụ thành một nhiệm vụ đơn phương thức) đều có những ưu và nhược điểm. Trong bài báo này, chúng tôi kết hợp các ý tưởng từ hai cách tiếp cận này và thiết kế một phương pháp phát hiện meme đáng ghét nhằm tận dụng sức mạnh của PVLM bị đóng băng để bổ sung cho cách tiếp cận đơn phương thức của NhắcHate. Cụ thể, chúng tôi sử dụng một bộ câu hỏi “thăm dò” để truy vấn PVLM (BLIP-2 [15] trong các thử nghiệm của chúng tôi) để biết thông tin liên quan đến các mục tiêu dễ bị tổn thương phổ biến trong nội dung thù địch. Các câu trả lời thu được từ các câu hỏi thăm dò sẽ được coi là chú thích hình ảnh (ký hiệu là Pro-Cap) và được dùng làm đầu vào cho mô hình phát hiện meme đáng ghét có thể huấn luyện được. Hình 1 minh họa quy trình làm việc tổng thể của phương pháp. Chúng tôi gọi bước sử dụng câu hỏi thăm dò để tạo chú thích là chú thích dựa trên thăm dò.

Phương pháp đề xuất của chúng tôi lấp đầy những khoảng trống nghiên cứu hiện có bằng cách: 1) Tận dụng PVLM mà không cần bất kỳ sự điều chỉnh hoặc tinh chỉnh nào, do đó giảm chi phí tính toán; 2) Thay vì thu thập các thẻ hình ảnh bổ sung một cách rõ ràng bằng các API tốn kém, chúng tôi sử dụng PVLM bị đóng băng để tạo chú thích chứa thông tin hữu ích cho việc phát hiện meme thù địch. Theo hiểu biết tốt nhất của chúng tôi, đây là công việc đầu tiên tận dụng PVLM một cách dễ dàng thông qua việc trả lời câu hỏi để hỗ trợ nhiệm vụ phát hiện meme đáng ghét. Để xác thực thêm phương pháp của chúng tôi, chúng tôi kiểm tra tác động của Pro-Cap được tạo trên cả mô hình phát hiện meme đáng ghét [2] và dựa trên BERT [4].

Dựa trên kết quả thử nghiệm, chúng tôi quan sát thấy rằng NhắcHate với Pro-Cap (ký hiệu là Pro-CapPromptHate) vượt trội đáng kể so với NhắcHate ban đầu mà không cần thêm thẻ hình ảnh (tức là cải thiện hiệu suất tuyệt đối khoảng 4, 6 và 3 điểm phần trăm trên FHM [12 ], MAMI [5], và HarM [28] tương ứng). ProCapPromptHate cũng đạt được kết quả tương đương với NhắcHate với các thẻ hình ảnh bổ sung, cho thấy rằng chú thích dựa trên thăm dò có thể là một cách hợp lý hơn để thu thập các thực thể hình ảnh hoặc thông tin nhân khẩu học. Các nghiên cứu điển hình còn cho thấy Pro-Cap cung cấp các chi tiết hình ảnh cần thiết để phát hiện nội dung kích động thù địch, nâng cao khả năng giải thích của mô hình ở một mức độ nào đó. Trong khi đó, ProCapBERT rõ ràng vượt qua các mô hình dựa trên BERT đa phương thức có kích thước tương tự (tức là cải thiện tuyệt đối khoảng 7 điểm phần trăm với VisualBERT trên FHM [12]), chứng tỏ tính khái quát của phương pháp phụ đề dựa trên thăm dò.

[1] Mã có sẵn tại: https://github.com/Social-AI-Studio/Pro-Cap

[2] https://cloud.google.com/vision/docs/Detecting-web