Auteurs:  (1) Jianhui Pang, van de Universiteit van Macau, en het werk werd gedaan toen Jianhui Pang en Fanghua Ye stage liepen bij Tencent AI Lab (nlp2ct.pangjh3@gmail.com);  (2) Fanghua Ye, University College London, en het werk werd gedaan toen Jianhui Pang en Fanghua Ye stage liepen bij Tencent AI Lab (fanghua.ye.19@ucl.ac.uk);  (3) Derek F. Wong, Universiteit van Macau;  (4) Longyue Wang, Tencent AI Lab en corresponderende auteur.  Tabel met links   Samenvatting en 1 Inleiding   2 Gerelateerd werk  3 Ankergebaseerde grote taalmodellen   3.1 Achtergrond   3.2 Op anker gebaseerde zelf-aandachtsnetwerken   3.3 Ankergebaseerde inferentie   4 Experimenten en 4.1 Onze implementatie   4.2 Gegevens- en trainingsprocedure   4.3 Evaluatie   5 Resultaten   6 Analyse   7 Conclusie, beperkingen, ethische verklaring en referenties   Een meer experimentele uitkomst   B Gegevensinstellingen  4.3 Evaluatie  In ons onderzoek gebruiken we een diverse verzameling benchmarks met verschillende tekstlengtes om onze uitkomsten te evalueren, waaronder OpenBookQA (OBQA) (Mihaylov et al., 2018), WinoGrande (WG) (Sakaguchi et al., 2021), ARC-easy (ARC-e) en ARCchallenge (ARC-c) (Clark et al., 2018), PIQA (Bisk et al., 2020), HellaSwag (HS) (Zellers et al., 2019), SCIQ (Welbl et al., 2017) en BoolQ (Clark et al., 2019). Deze benchmarks bieden een uitgebreide evaluatie van verschillende aspecten, waaronder redeneren, begrip, begrip van de fysieke wereld en het voorspellen van toekomstige gebeurtenissen. Belangrijk is dat ze teksten van verschillende lengtes bestrijken, wat een grondige beoordeling van de prestaties van ons model over diverse taken en tekstcomplexiteiten mogelijk maakt, variërend van kortere invoercontexten in OBQA tot langere teksten in BoolQ. Om de precisie en efficiëntie van onze modellen te meten, evalueren we ze over drie dimensies met behulp van drie verschillende metrieken voor zowel zero-shot- als five-shot-instellingen. Voor AnLLMAC in de five-shot-instelling nemen we het ankertoken op aan het einde van elke demonstratie.    Deze conventionele metriek wordt gebruikt om de voorspellingsnauwkeurigheid van modellen te meten. In overeenstemming met eerdere studies (Gao et al., 2023) kiezen we de opties met de hoogste waarschijnlijkheid als voorspellingen en berekenen we de nauwkeurigheid met behulp van de gouden standaardlabels. • Nauwkeurigheid (Acc).    (C⇓). In de context van de five-shot-evaluatie kunnen de demonstraties worden gecached in GPU-geheugen voor later hergebruik. Desalniettemin kunnen uitgebreide demonstraties een verhoogd geheugenverbruik vereisen. Deze metriek is ontworpen om de geheugenefficiëntie van de AnSAN-techniek te beoordelen. • Keys/Values Caches Reduction    (T⇑). Net als Wang et al. (2023), waarbij we gebruikmaken van de gecachte sleutels/waarden, presenteren we de Inference Acceleration Ratio, die dient als een indicator van de inferentie-efficiëntie van de AnSAN-techniek. • Inference Acceleration Ratio  Houd er rekening mee dat we eerst de resultaten van de volledige aandachtsinferentie voor alle modellen rapporteren en vervolgens de resultaten presenteren met de AnSAN-methode (+AnSAN) toegepast, waarbij sequentie-informatie wordt gecomprimeerd tot ankertokens.  Dit artikel is   onder de CC BY 4.0 DEED-licentie. beschikbaar op arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Anchoring.tech

Anchoring provides a steady start, grounding decisions and perspectives in clarity and confidence.

anchoring's blog

Deze audio wordt geproduceerd in de originele taal van het verhaal!

Benchmarking van AnLLM's: inzichten van OpenBookQA tot BoolQ

About Author

OPMERKINGEN

LABELS

DIT ARTIKEL WERD GEPRESENTEERD IN

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps