"Kurosawa": Trợ lý biên kịch: Thử nghiệm và đánh giá

từ tác giả Teleplay Technology 2m2024/05/23

dài quá đọc không nổi

Trong bài viết này, các nhà nghiên cứu giới thiệu KUROSAWA, một bàn làm việc viết kịch bản AI để tạo cốt truyện và kịch bản, giải quyết vấn đề tự động hóa trong phương tiện giải trí.

featured image - "Kurosawa": Trợ lý biên kịch: Thử nghiệm và đánh giá

tác giả:

(1) Prerak Gandhi, Khoa Khoa học và Kỹ thuật Máy tính, Viện Công nghệ Ấn Độ Bombay, Mumbai, [email protected], và các tác giả này đã đóng góp như nhau cho công việc này;

(2) Vishal Pramanik, Khoa Khoa học và Kỹ thuật Máy tính, Viện Công nghệ Ấn Độ Bombay, Mumbai, vishalpramanik,[email protected], và các tác giả này đã đóng góp như nhau cho công việc này;

(3) Pushpak Bhattacharyya, Khoa Khoa học và Kỹ thuật Máy tính, Viện Công nghệ Ấn Độ Bombay, Mumbai.

Bảng liên kết

5. Thí nghiệm và đánh giá

Chúng tôi tinh chỉnh GPT3 bằng bộ dữ liệu của mình (tham khảo phụ lục A.6 ).

5.1. Tạo cốt truyện

Chúng tôi đã tạo 5 mô hình bằng cách tinh chỉnh GPT-3 với tập dữ liệu cốt truyện phim của chúng tôi theo cách sau, (i) bản gốc (không có chú thích) ( O ): đầu vào- cốt truyện ngắn, đầu ra- cốt truyện không có bất kỳ chú thích nào, (ii) chú thích và đầu vào ngắn (AS) : đầu vào- cốt truyện ngắn, đầu ra- cốt truyện được chú thích bằng cấu trúc 4 màn, (iii) chú thích và đầu vào dài ( AL ): đầu vào dài, cốt truyện mang tính mô tả nhiều hơn, đầu ra- cốt truyện được chú thích bằng cấu trúc 4 màn, (iv) chú thích và đầu vào ngắn với các thể loại được bao gồm ( ASG ): đầu vào cốt truyện ngắn và thể loại, đầu ra- cốt truyện được chú thích với cấu trúc 4 màn, (v) chú thích và đầu vào dài với các thể loại được bao gồm ( ALG ): đầu vào dài và mang tính mô tả hơn cốt truyện cùng với thể loại, đầu ra - cốt truyện được chú thích theo cấu trúc 4 hồi.

Để đánh giá tự động, chúng tôi sử dụng BLEU (Papineni và cộng sự, 2002), Perplexity (Jelinek và cộng sự, 1977), ROUGE (Lin, 2004). Chúng tôi cũng sử dụng đánh giá của con người dưới dạng Thang đo Likert năm điểm (Likert, 1932). Hệ thống đánh giá có 1-> Rất không đồng ý, 2-> Không đồng ý, 3-> Trung lập, 4-> Đồng ý, 5-> Rất đồng ý. Những câu chuyện do con người viết ra được cho là có điểm 5 cho mỗi đặc điểm trong số 5 đặc điểm sau: (1) Lưu loát : đúng ngữ pháp; (2) Tính mạch lạc : trật tự hợp lý của câu và đoạn văn; (3) Mức độ liên quan : Liệu các điểm chính trong lời nhắc đã được đánh dấu trong đầu ra hay chưa; (4) Khả năng thích : Thước đo mức độ thú vị của câu chuyện; (5) Tính sáng tạo : Nếu đầu ra giới thiệu bất kỳ sự kiện, hồ sơ nhân vật hoặc mối quan hệ mới nào.

Để tạo sơ đồ, chúng tôi tạo 50 sơ đồ từ 50 lời nhắc kiểm tra. Chúng tôi chia các câu chuyện thành năm nhóm, mỗi nhóm 10 người và chỉ định ba người đánh giá cho mỗi nhóm.

Để tạo cảnh, chúng tôi tạo 10 cảnh từ 10 lời nhắc kiểm tra. Chúng tôi chỉ định năm người đánh giá để đánh giá mười câu chuyện này.