Auteurs:  (1) Jianhui Pang, de l'Université de Macao, et le travail a été réalisé lorsque Jianhui Pang et Fanghua Ye étaient stagiaires au Tencent AI Lab (nlp2ct.pangjh3@gmail.com) ;  (2) Fanghua Ye, University College London, et le travail a été réalisé lorsque Jianhui Pang et Fanghua Ye étaient stagiaires au Tencent AI Lab (fanghua.ye.19@ucl.ac.uk) ;  (3) Derek F. Wong, Université de Macao ;  (4) Longyue Wang, Tencent AI Lab, et auteur correspondant.  Table des liens   Résumé et 1 Introduction   2 Travaux connexes  3 grands modèles de langage basés sur l'ancrage   3.1 Contexte   3.2 Réseaux d'auto-attention basés sur l'ancrage   3.3 Inférence basée sur l'ancre   4 Expériences et 4.1 Notre mise en œuvre   4.2 Données et procédure de formation   4.3 Évaluation   5 résultats   6 Analyse   7 Conclusion, limites, déclaration d'éthique et références   Des résultats plus expérimentaux   B Paramètres des données  4.3 Évaluation  Dans notre étude, nous utilisons une collection diversifiée de repères avec des longueurs de texte variables pour évaluer nos résultats, notamment OpenBookQA (OBQA) (Mihaylov et al., 2018), WinoGrande (WG) (Sakaguchi et al., 2021), ARC-easy (ARC-e) et ARCchallenge (ARC-c) (Clark et al., 2018), PIQA (Bisk et al., 2020), HellaSwag (HS) (Zellers et al., 2019), SCIQ (Welbl et al., 2017) et BoolQ (Clark et al., 2019). Ces repères fournissent une évaluation complète de divers aspects, notamment le raisonnement, la compréhension, la compréhension du monde physique et la prédiction d'événements futurs. Il est important de noter qu'ils couvrent des textes de longueurs variées, ce qui facilite une évaluation approfondie des performances de notre modèle dans diverses tâches et complexités de texte, allant des contextes d'entrée plus courts dans OBQA aux textes plus longs dans BoolQ. Pour mesurer la précision et l'efficacité de nos modèles, nous les évaluons sur trois dimensions à l'aide de trois mesures distinctes pour les paramètres zéro-shot et cinq-shot. Pour AnLLMAC dans le cadre de cinq-shot, nous incorporons le jeton d'ancrage à la fin de chaque démonstration.    Cette mesure conventionnelle est utilisée pour évaluer la précision de prédiction des modèles. Conformément aux études précédentes (Gao et al., 2023), nous choisissons les options avec les probabilités les plus élevées comme prédictions et calculons la précision en utilisant les étiquettes de référence. • Précision (Acc).    (C⇓). Dans le cadre de l'évaluation en cinq étapes, les démonstrations peuvent être mises en cache dans la mémoire du GPU pour une réutilisation ultérieure. Néanmoins, les démonstrations étendues peuvent nécessiter une consommation de mémoire accrue. Cette mesure est conçue pour évaluer l'efficacité de la mémoire de la technique AnSAN. • Réduction des caches clés/valeurs    (T⇑). Comme Wang et al. (2023), en capitalisant sur les clés/valeurs mises en cache, nous présentons le taux d'accélération d'inférence, qui sert d'indicateur de l'efficacité d'inférence de la technique AnSAN. • Taux d'accélération d'inférence  Notez que nous rapportons d’abord les résultats d’inférence d’attention complète pour tous les modèles, puis présentons les résultats avec la méthode AnSAN (+AnSAN) appliquée, en compressant les informations de séquence dans des jetons d’ancrage.  Cet article est   sous licence CC BY 4.0 DEED. disponible sur arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Anchoring.tech

Anchoring provides a steady start, grounding decisions and perspectives in clarity and confidence.

anchoring's blog

Cet audio est produit dans la langue originale de l'histoire !

Analyse comparative des LLM : perspectives d'OpenBookQA à BoolQ

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Le modèle Bitcoin UTXO, alimentant un écosystème unique

Guide de l'architecte pour créer une architecture de référence pour un datalake IA/ML

Les couches invisibles : pourquoi les entretiens avec les utilisateurs sont un atout irremplaçable

Vous voulez gagner un concours d’écriture HackerNoon ? Voici ce que recommandent les gagnants du concours #crypto-api

Le modèle Bitcoin UTXO, alimentant un écosystème unique

Guide de l'architecte pour créer une architecture de référence pour un datalake IA/ML

Les couches invisibles : pourquoi les entretiens avec les utilisateurs sont un atout irremplaçable

Vous voulez gagner un concours d’écriture HackerNoon ? Voici ce que recommandent les gagnants du concours #crypto-api

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps