VEATIC: Theo dõi cảm xúc và tác động dựa trên video trong bộ dữ liệu ngữ cảnh: Thử nghiệm

Bảng liên kết

• Tóm tắt và giới thiệu
• Chảo liên quan
• Bộ dữ liệu VEATIC
• Thí nghiệm
• Cuộc thảo luận
• Phần kết luận
• Thông tin thêm về kích thích
• Chi tiết chú thích
• Xử lý ngoại lệ
• Thỏa thuận chủ đề trên các video
• Đánh giá và tài liệu tham khảo về sự quen thuộc và thích thú

4. Thí nghiệm

Trong nghiên cứu này, chúng tôi đề xuất một phương pháp nhận dạng cảm xúc mới trong nhiệm vụ ngữ cảnh, tức là suy ra hóa trị và sự kích thích của nhân vật được chọn thông qua cả bối cảnh và thông tin nhân vật trong mỗi khung hình video. Ở đây, chúng tôi đề xuất một mô hình cơ sở đơn giản để đánh giá khả năng nhận dạng cảm xúc mới trong nhiệm vụ ngữ cảnh. Đường dẫn của mô hình được hiển thị trong Hình 8. Chúng tôi đã áp dụng hai mô-đun con đơn giản: mô-đun mạng thần kinh tích chập (CNN) để trích xuất tính năng và mô-đun biến áp trực quan để xử lý thông tin theo thời gian. Cấu trúc mô-đun CNN được áp dụng từ Resnet50 [21]. Không giống như CAER [33] và EMOIC [32], trong đó các đặc điểm khuôn mặt/nhân vật và bối cảnh được trích xuất riêng biệt và hợp nhất sau đó, chúng tôi mã hóa trực tiếp khung hình đầy đủ thông tin. Đối với một dự đoán duy nhất, N khung hình video liên tiếp được mã hóa độc lập. Sau đó, các vectơ đặc trưng của các khung liên tiếp được nhúng vào vị trí đầu tiên và đưa vào bộ mã hóa biến áp chứa L bộ mô-đun chú ý. Cuối cùng, việc dự đoán mức độ kích thích và hóa trị được thực hiện bằng đầu nhận cảm đa lớp (MLP).

4.1. Mất chức năng và thiết lập đào tạo

Hàm tổn thất của mô hình cơ sở của chúng tôi là sự kết hợp có trọng số của hai tổn thất riêng biệt. Sự mất mát MSE điều chỉnh sự liên kết cục bộ của tính xác thực cơ bản của xếp hạng và các dự đoán của mô hình. Để đảm bảo sự liên kết của xếp hạng và dự đoán ở quy mô lớn hơn, chẳng hạn như tìm hiểu số liệu thống kê tạm thời của xếp hạng cảm xúc, chúng tôi cũng sử dụng hệ số tương quan phù hợp (CCC) làm chính quy. Hệ số này được định nghĩa như sau,

4.2. Số liệu đánh giá

SAGR đo mức độ trùng khớp của dấu của các giá trị riêng lẻ của hai vectơ X và Y. Nó nhận các giá trị trong [0, 1], trong đó 1 thể hiện sự đồng ý hoàn toàn và 0 thể hiện sự mâu thuẫn hoàn toàn. Chỉ số SAGR có thể thu thập thông tin hiệu suất bổ sung hơn các thông tin khác. Ví dụ: với giá trị chân lý hóa trị là 0,2, dự đoán là 0,7 và -0,3 sẽ dẫn đến cùng giá trị RMSE. Nhưng rõ ràng, 0,7 phù hợp hơn vì nó là giá trị dương.

4.3. Kết quả điểm chuẩn

Chúng tôi đánh giá khả năng nhận dạng cảm xúc mới trong tác vụ ngữ cảnh bằng cách sử dụng 4 số liệu đã nói ở trên là CCC, PCC, RMSE và SAGR. Kết quả được trình bày trong Bảng 3. So với các bộ dữ liệu khác, phương pháp đơn giản được đề xuất của chúng tôi ngang bằng với các phương pháp tiên tiến trên bộ dữ liệu của họ.

Chúng tôi cũng điều tra tầm quan trọng của thông tin bối cảnh và ký tự trong các nhiệm vụ nhận dạng cảm xúc bằng cách đưa các khung chỉ có ngữ cảnh và chỉ có ký tự vào mô hình được đào tạo trước trên các khung có đầy đủ thông tin. Để có được sự so sánh công bằng và loại trừ ảnh hưởng của sự khác biệt về phân bổ pixel khung hình, chúng tôi cũng tinh chỉnh mô hình được huấn luyện trước trên các khung chỉ ngữ cảnh và chỉ ký tự. Các kết quả tương ứng cũng được thể hiện ở Bảng 3. Nếu không có thông tin đầy đủ, hiệu suất của mô hình sẽ giảm đối với cả điều kiện chỉ theo ngữ cảnh và chỉ ký tự.

Để thể hiện tính hiệu quả của tập dữ liệu VEATIC, chúng tôi đã sử dụng mô hình được đào tạo trước trên VEATIC, tinh chỉnh nó trên các tập dữ liệu khác và kiểm tra hiệu suất của nó. Chúng tôi chỉ thử nghiệm EMOTIC [32] và CAER-S [33] vì tính đơn giản của mô hình của chúng tôi và sự giống nhau của mô hình của chúng tôi với các mô hình được đề xuất trong các tài liệu tập dữ liệu khác. Kết quả được thể hiện trong Bảng 4. Mô hình tiền huấn luyện của chúng tôi hoạt động ngang bằng với các phương pháp được đề xuất trong EMOIC [32] và CAERS [33]. Vì vậy, nó cho thấy tính hiệu quả của bộ dữ liệu VEATIC được đề xuất của chúng tôi.