Авторы:  (1) Цзяньхуэй Пан из Университета Макао, работа была выполнена, когда Цзяньхуэй Пан и Фанхуа Йе проходили стажировку в Tencent AI Lab (nlp2ct.pangjh3@gmail.com);  (2) Фанхуа Йе, Университетский колледж Лондона, работа была выполнена, когда Цзяньхуэй Пан и Фанхуа Йе проходили стажировку в Tencent AI Lab (fanghua.ye.19@ucl.ac.uk);  (3) Дерек Ф. Вонг, Университет Макао;  (4) Лунюэ Ван, Tencent AI Lab, и автор-корреспондент.  Таблица ссылок   Аннотация и 1 Введение   2 Связанные работы  3 большие языковые модели на основе якорей   3.1 Предыстория   3.2 Сети внутреннего внимания, основанные на якорях   3.3 Вывод на основе якоря   4 Эксперименты и 4.1 Наша реализация   4.2 Данные и процедура обучения   4.3 Оценка   5 результатов   6 Анализ   7 Заключение, ограничения, этическое заявление и ссылки   Еще больше экспериментальных результатов   Настройки данных B  4.3 Оценка  В нашем исследовании мы используем разнообразный набор бенчмарков с различной длиной текста для оценки наших результатов, включая OpenBookQA (OBQA) (Mihaylov et al., 2018), WinoGrande (WG) (Sakaguchi et al., 2021), ARC-easy (ARC-e) и ARCchallenge (ARC-c) (Clark et al., 2018), PIQA (Bisk et al., 2020), HellaSwag (HS) (Zellers et al., 2019), SCIQ (Welbl et al., 2017) и BoolQ (Clark et al., 2019). Эти бенчмарки обеспечивают комплексную оценку различных аспектов, включая рассуждение, понимание, понимание физического мира и прогнозирование будущих событий. Важно, что они охватывают тексты различной длины, что облегчает тщательную оценку производительности нашей модели в различных задачах и текстовых сложностях, от более коротких входных контекстов в OBQA до более длинных текстов в BoolQ. Чтобы измерить точность и эффективность наших моделей, мы оцениваем их по трем измерениям, используя три различных метрики для настроек нулевого и пятикратного выстрела. Для AnLLMAC в настройке пятикратного выстрела мы включаем токен привязки в конце каждой демонстрации.    Эта традиционная метрика используется для оценки точности прогнозирования моделей. В соответствии с предыдущими исследованиями (Gao et al., 2023) мы выбираем варианты с наивысшей вероятностью в качестве прогнозов и вычисляем точность с использованием меток золотого стандарта. • Точность (Acc).    (C⇓). В контексте оценки пяти выстрелов демонстрации могут кэшироваться в памяти GPU для последующего повторного использования. Тем не менее, расширенные демонстрации могут потребовать повышенного потребления памяти. Эта метрика предназначена для оценки эффективности памяти техники AnSAN. • Сокращение кэшей ключей/значений    (T⇑). Подобно Вану и др. (2023), используя кэшированные ключи/значения, мы представляем коэффициент ускорения вывода, который служит индикатором эффективности вывода метода AnSAN. • Коэффициент ускорения вывода  Обратите внимание, что сначала мы сообщаем результаты полного вывода внимания для всех моделей, а затем представляем результаты с применением метода AnSAN (+AnSAN), сжимающего информацию о последовательности в якорные токены.  Данная статья   по лицензии CC BY 4.0 DEED. доступна на arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Anchoring.tech

Anchoring provides a steady start, grounding decisions and perspectives in clarity and confidence.

anchoring's blog

Этот звук создан на языке оригинала истории!

Слишком долго; Читать

Get Free Unlimited IP Geo Data With IPinfo Lite

Сравнительный анализ AnLLM: идеи от OpenBookQA до BoolQ

About Author

КОММЕНТАРИИ

БИРКИ

ЭТА СТАТЬЯ БЫЛА ПРЕДСТАВЛЕНА В

Related Stories

Полное руководство по успешной миграции в облако: стратегии и лучшие практики

Повысьте свою производительность с помощью этих 18 инструментов разработчика 🚀🔥

Как улучшить ваш рабочий процесс в 10 раз: 17 основных приложений

Цифровые кочевники слушают: что нужно знать о новой визе DTV в Таиланде

Полное руководство по успешной миграции в облако: стратегии и лучшие практики

Повысьте свою производительность с помощью этих 18 инструментов разработчика 🚀🔥

Как улучшить ваш рабочий процесс в 10 раз: 17 основных приложений

Цифровые кочевники слушают: что нужно знать о новой визе DTV в Таиланде

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps