AIR-Bench Foundation: Mahigit sa 19k Mga Sample ng Data para sa Comprehensive Audio Evaluation

Talaan ng mga Link

Abstrak at 1. Panimula

2 Kaugnay na Gawain

3 AIR-Bench at 3.1 Pangkalahatang-ideya

3.2 Foundation Benchmark

3.3 Benchmark ng Chat

3.4 Estratehiya sa Pagsusuri

4 Mga Eksperimento

4.1 Mga Modelo

4.2 Pangunahing Resulta

4.3 Pagsusuri ng Tao at 4.4 Pag-aaral ng Ablation ng Posisyonal na Pagkiling

5 Konklusyon at Sanggunian

Isang Detalyadong Resulta ng Foundation Benchmark

3.2 Foundation Benchmark

Pinagmulan ng Data. Nakakolekta kami ng mahigit 19k na sample ng data para sa dimensyon ng pundasyon, na sumasaklaw sa 19 na magkakaibang subtask. Ang data source at statistics

ay ibinigay sa Talahanayan 1. Upang matiyak ang isang patas at komprehensibong pagsusuri ng bawat kakayahan, nilalayon namin ang pantay na pamamahagi ng mga problemang nauugnay sa iba't ibang kakayahan sa panahon ng proseso ng pangongolekta ng data. Nakuha ang lahat ng audio source mula sa orihinal na dev o mga subset ng pagsubok upang maiwasan ang pagtagas ng data.

Single-choice na Query at Sanggunian. Ang query Q ay nabuo sa pamamagitan ng pagsasama-sama ng isang tanong q at mga pagpipilian ng kandidato C. Para sa tanong na q, pangunahing bumubuo kami ng mga tanong sa pamamagitan ng GPT-4 (OpenAI, 2023), maliban sa mga gawain sa QA dahil ang mga dataset ay likas na naglalaman ng mga tanong at maaari naming direktang muling- gamitin ang mga ito. Sa partikular, idinisenyo namin ang prompt para sa natatanging gawain at nagbibigay ng tatlong tanong bilang mga demonstrasyon. Kasunod nito, ang GPT-4 ay bumubuo ng mga karagdagang magkakaibang tanong batay sa mga input na ito. Ang mga nabuong tanong ay manu-manong sinusuri, at 50 iba't ibang tanong ang pinipili para sa bawat gawain. Ang pagkakaiba-iba sa format ng tanong ay naglalayong suriin ang kakayahan ng modelo na sundin ang mga tagubilin sa halip na maging labis na umaasa sa mga partikular na template. Para sa bawat tanong, bubuo pa kami ng mga pagpipilian ng kandidato C mula sa iba't ibang mapagkukunan: 1) Para sa mga gawaing may mga pagpipilian sa orihinal na mga dataset tulad ng AVQA (Yang et al., 2022), direkta naming muling ginagamit ito; 2) Para sa mga gawain sa pag-uuri, random kaming pumili ng mga opsyon mula sa paunang natukoy na hanay ng mga kategorya upang magsilbing mga pagpipilian ng kandidato; 3) Para sa iba pang mga gawain, sinenyasan namin ang GPT-4 na direktang bumuo ng mga pagpipilian ng kandidato, na binubuo ng isang tamang opsyon at tatlong maling opsyon. Hinihikayat namin ang mga maling opsyong ito na maging katulad ng tama, na ginagawang mas mapaghamong ang solong pagpipiliang gawain. Ang reference na sagot ay ang gintong tamang pagpipilian. Upang maiwasan ang pagkiling sa posisyon, ang mga pagpipilian ng kandidato ay random na binabasa