ጸሓፍቲ፤  (1) ቺያን ያንግ፡ ዩኒቨርሲቲ ዠጂያንግ፡ ማዕረ ኣበርክቶ። እዚ ስራሕ ቺያን ያንግ ኣብ ጉጅለ ዓሊባባ ኣብ ዝሰርሓሉ ዝነበረ እዋን ዝተኻየደ እዩ፤  (2) ጂን ዙ፡ ጉጅለ ዓሊባባ፡ ማዕረ ኣበርክቶ፤  (3) ወንሩይ ሊዩ፡ ዩኒቨርሲቲ ዠጂያንግ፤  (4) ዩንፈይ ቹ፡ ጉጅለ ዓሊባባ፤  (5) ሻኦሁዋን ዞው፡ ጉጅለ ዓሊባባ፤  (6) ይቾንግ ሌንግ፡ ጉጅለ ዓሊባባ፤  (7) ዩዋንጁን Lv፡ ጉጅለ ዓሊባባ፤  (8) ዞው ዛኦ፡ ጉጅለ ዓሊባባን ምስ ዞው ዛኦ ዝጽሕፍን (zhaozhou@zju.edu.cn)፤  (9) ይቾንግ ሌንግ፡ ዩኒቨርሲቲ ዠጂያንግ  (10) ቻንግ ዞው፡ ጉጅለ ዓሊባባን ምስ ቻንግ ዞው ዝሰማማዕን (ericzhou.zc@alibaba-inc.com)፤  (11) ጂንግረን ዞው፡ ጉጅለ ዓሊባባ።  ሰሌዳ መላግቦታት   ጽማቝን 1. መእተዊን።   2 ተዛማዲ ስራሕ   3 AIR-Bench ከምኡ’ውን 3.1 ሓፈሻዊ ትዕዝብቲ   3.2 መሰረት መዐቀኒ   3.3 ናይ ቻት መዐቀኒ   3.4 ስትራተጂ ገምጋም  4 ፈተነታት   4.1 ሞዴላት   4.2 ቀንዲ ውፅኢታት   4.3 ገምጋም ደቂ ሰባትን 4.4 መፅናዕቲ ምቑራፅ ፖዚሽናል ወገናውነትን።   5 መደምደምታን መወከሲታትን   ዝርዝር ውጽኢት ናይ ፋውንዴሽን መዐቀኒ   3.2 መሰረት መዐቀኒ    ንመሰረት መለክዒ ልዕሊ 19k ናሙናታት ዳታ ኣኪብና፣ 19 ዝተፈላለዩ ንኡሳን ዕማማት ዘጠቓለለ እዩ። ምንጪ ዳታን ስታቲስቲክስን  ምንጪ መረዳእታ።  ኣብ ሰሌዳ ቁፅሪ 1 ተዋሂቦም ኣለዉ።ናይ ነፍሲ ወከፍ ዓቕሚ ፍትሓውን ኩለመዳያውን ገምጋም ንምርግጋፅ ኣብ መስርሕ ምእካብ መረዳእታ ምስ ዝተፈላለዩ ክእለታት ዝተኣሳሰሩ ፀገማት ምዕሩይ ምክፍፋል ዕላማ ጌርና ኢና። ኩሎም ምንጪ ድምጺ ካብቶም ኦሪጅናል dev ወይ test subsets ዝተረኽቡ ኮይኖም ዳታ ምፍሳስ ንምክልኻል እዩ።    ሕቶ Q ንሓደ ሕቶ qን ሕጹያት ምርጫታት Cን ብምትእስሳር ዝፍጠር እዩ።ንሕቶ q፡ ብቐንዱ ሕቶታት ብመንገዲ GPT-4 (OpenAI, 2023) ንሃንጽ፡ ብዘይካ ዕማማት QA፡ እቶም ዳታሴታት ብባህሪኦም ሕቶታት ስለዘለዎምን ብቐጥታ ዳግማይ ተጠቐመሎም። ብፍላይ ድማ ነቲ ፍሉይ ዕማም ዝኸውን ምልክት ንነድፎን ሰለስተ ሕቶታት ከም መርኣያ ነቕርብን። ብድሕሪኡ GPT-4 ካብዞም እታዎታት መሰረት ብምግባር ተወሳኺ ዝተፈላለዩ ሕቶታት የመንጩ። እቶም ዝፍጠሩ ሕቶታት ብኢድ ይግምገሙ፣ ንነፍሲ ወከፍ ዕማም ድማ 50 ዝተፈላለዩ ሕቶታት ይምረጹ። እቲ ተለዋዋጢነት ኣብ ቅርጺ ሕቶ፡ እቲ ሞዴል ኣብ ፍሉያት ቅጥዕታት ካብ መጠን ንላዕሊ ካብ ምጽጋዕ፡ መምርሒታት ናይ ምኽታል ዓቕሙ ንምግምጋም ዝዓለመ እዩ። ንነፍሲ ወከፍ ሕቶ፡ ብዝያዳ ሕጹያት ምርጫታት C ካብ ዝተፈላለዩ ምንጭታት ነመንጩ፡ 1) ኣብ ከም AVQA ዝኣመሰሉ መበቆላውያን ዳታሴታት ምርጫታት ዘለዎም ዕማማት (Yang et al., 2022)፡ ብቐጥታ ዳግማይ ንጥቀመሉ፤ 2) ንዕማማት ምደባ፡ ካብቲ ኣቐዲሙ ዝተወሰነ ስብስብ ምድባት ከም ሕጹያት ምርጫታት ከገልግሉ ዝኽእሉ ኣማራጺታት ብዘይ መደብ ንመርጽ፤ 3) ንኻልኦት ዕማማት፡ GPT-4 ብቐጥታ ሕጹያት ምርጫታት ንኽፈጥር ንጽዕር፡ እዚ ድማ ሓደ ቅኑዕ ኣማራጺን ሰለስተ ዘይቅኑዓት ኣማራጺታትን ዝሓቖፈ እዩ። እዞም ዘይቅኑዓት ኣማራጺታት ነቲ ቅኑዕ ክመስሉ ነተባብዕ፣ እዚ ድማ ነቲ ብሓደ ምርጫ ዝግበር ዕማም ዝያዳ በዳሂ ይገብሮ። እቲ መወከሲ መልሲ ወርቃዊ ቅኑዕ ምርጫ እዩ። ንናይ መርገጺ ወገናውነት ንምክልኻል፡ ምርጫታት ሕጹያት ብዘይ መደብ ይሕወሱ ሓደ ምርጫ ዘለዎ ሕቶን መወከስን ።  እዚ ወረቐት   ። ኣብ arxiv ብመሰረት CC BY 4.0 DEED ፍቓድ ይርከብ

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Benchmarking.tech

Read My Stories

Setting the standard, elevating performance, and illuminating the path to excellence through informed comparisons.

Benchmarking's blog

እዚ ድምጺ ብኦርጅናል ቋንቋ ናይቲ ዛንታ ዝተሰርሐ እዩ!

AIR-Bench Foundation: ልዕሊ 19k ናሙናታት ዳታ ንኹለመዳያዊ ገምጋም ድምጺ

About Author

ርእይቶታት

ሃንግ ታግስ

እዚ ጽሑፍ ኣብ...

Related Stories

An Englishman Looks at the World by H. G. Wells - Table of Links

Our Knowledge of the External World as a Field for Scientific Method in Philosophy - Table of Links

Around the World in Eighty Days by Jules Verne - Table of Links

An Englishman Looks at the World by H. G. Wells - Table of Links

Our Knowledge of the External World as a Field for Scientific Method in Philosophy - Table of Links

Around the World in Eighty Days by Jules Verne - Table of Links

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps