Bangwadi: .  (1) Qian Yang, Yunibesithi ya Zhejiang, Seabe se lekanang. Mošomo wo o dirilwe nakong ya ge Qian Yang a be a ithutela mošomo Sehlopheng sa Alibaba;  (2) Jin Xu, Sehlopha sa Alibaba, Seabe se lekanang;  (3) Wenrui Liu, Yunibesithi ya Zhejiang;  (4) Yunfei Chu, Sehlopha sa Alibaba;  (5) Xiaohuan Zhou, Sehlopha sa Alibaba;  (6) Yichong Leng, Sehlopha sa Alibaba;  (7) Yuanjun Lv, Sehlopha sa Alibaba;  (8) Zhou Zhao, Sehlopha sa Alibaba le Go ngwalelana le Zhou Zhao (zhaozhou@zju.edu.cn);  (9) Yichong Leng, Yunibesithi ya Zhejiang  (10) Chang Zhou, Sehlopha sa Alibaba le ho lumellana le Chang Zhou (ericzhou.zc@alibaba-inc.com);  (11) Jingren Zhou, Sehlopha sa Alibaba.  Tafole ya Dikgokagano   Abstract le 1. Matseno   2 Mošomo wo o Amanago   3 AIR-Bench le 3.1 Kakaretšo   3.2 Tekanyetšo ya Motheo   3.3 Tekanyetšo ya Poledišano   3.4 Leano la Tekolo  4 Diteko tša go dira diteko   4.1 Dikao   4.2 Dipoelo tše Kgolo   4.3 Tekolo ya Batho le 4.4 Thuto ya Ablation ya Positional Bias   5 Phetho le Ditšhupetšo   Dipoelo tše di tletšego tša Tekanyetšo ya Motheo   3.2 Tekanyetšo ya Motheo    Re kgobokeditše disampole tša datha tša go feta 19k tša tekanyo ya motheo, yeo e akaretšago mešomo ye mennyane ye 19 ye e fapanego. Mohlodi wa data le dipalopalo  Mohlodi wa Datha.  di filwe go Lenaneo 1. Go netefatša kelo ye e lokilego le ye e feletšego ya bokgoni bjo bongwe le bjo bongwe, re be re ikemišeditše kabo ya go lekana ya mathata ao a amanago le bokgoni bjo bo fapanego nakong ya tshepedišo ya kgoboketšo ya datha. Methopo ka moka ya mamelwang e hweditšwe go tšwa go dihlopha tše nnyane tša dev goba teko ya mathomo go thibela go dutla ga datha.    Potšišo Q e bopilwe ka go kgokaganya potšišo q le dikgetho tša nkgetheng C. Bakeng sa potšišo ya q, re aga kudu dipotšišo ka GPT-4 (OpenAI, 2023), ntle le mešomo ya QA ka ge di-dataset ka tlhago di na le dipotšišo gomme re ka kgona go boela gape ka go lebanya. di diriše. Ka go lebanya, re hlama tšhišinyo ya mošomo wo o fapanego gomme re fa dipotšišo tše tharo bjalo ka dipontšho. Ka morago ga moo, GPT-4 e tšweletša dipotšišo tša tlaleletšo tše di fapafapanego tšeo di theilwego godimo ga ditseno tše. Dipotšišo tše di tšweleditšwego di hlahlobja ka seatla, gomme dipotšišo tše 50 tše di fapanego di a kgethwa bakeng sa mošomo wo mongwe le wo mongwe. Go fetofetoga ga sebopego sa potšišo go ikemišeditše go sekaseka bokgoni bja mohlala bja go latela ditaelo go e na le go ithekga kudu ka dithempleite tše di itšego. Bakeng sa potšišo ye nngwe le ye nngwe, re tšweletša gape dikgetho tša nkgetheng C go tšwa methopong ye e fapanego: 1) Bakeng sa mešomo yeo e nago le dikgetho ka gare ga di-dataset tša mathomo go swana le AVQA (Yang et al., 2022), re e šomiša gape ka go lebanya; 2) Bakeng sa mesebetsi classification, re tšohanyetso khetha dikgetho ho tloha predetermined sete ya dihlopha ho sebeletsa e le nkgetheng dikgetho; 3) Bakeng sa mešomo ye mengwe, re hlohleletša GPT-4 go tšweletša dikgetho tša nkgetheng ka go lebanya, tšeo di bopilwego ka kgetho e tee ye e nepagetšego le dikgetho tše tharo tše di fošagetšego. Re hlohleletša dikgetho tše tše di fošagetšego go swana le tše di nepagetšego, go dira gore mošomo wa kgetho e tee e be tlhohlo kudu. Karabo ya tšhupetšo ke kgetho ye e nepagetšego ya gauta. Go efoga go ba le leeme maemong, dikgetho tša nkgetheng di hlakahlakanywa ka go se kgethe Potšišo le Tšhupetšo ya kgetho e tee.  Pampiri ye e   ka fase ga laesense ya CC BY 4.0 DEED. hwetšagala go arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Benchmarking.tech

Read My Stories

Setting the standard, elevating performance, and illuminating the path to excellence through informed comparisons.

Benchmarking's blog

Modumo wo o tšweleditšwe ka polelo ya mathomo ya kanegelo!

AIR-Bench Foundation: Disampole tša Datha tša go feta 19k bakeng sa Tekolo ya Mamelwang ye e Akaretšago

About Author

DITLHAHLOBO

HANG TAGS YA GO FEGA

ARTICLE YE E HLAHILWE KA

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps