Учебник по оптимизации вывода большой языковой модели (LLM): 1. Предыстория и формулировка проблемы

Обзор вывода Большой языковой модели (LLM), ее значимость, проблемы и формулировки ключевых проблем. Большие языковые модели (LLM) произвели революцию в области обработки естественного языка (NLP), обеспечив широкий спектр приложений: от чат-ботов и агентов ИИ до генерации кода и контента. Однако развертывание LLM в реальных сценариях часто сталкивается с проблемами, связанными с задержкой, потреблением ресурсов и масштабируемостью. В этой серии постов в блоге мы рассмотрим различные методы оптимизации для вывода LLM. Мы погрузимся в стратегии сокращения задержек, объема памяти и вычислительных затрат, от механизмов кэширования до аппаратных ускорений и квантования моделей. В этой статье мы дадим краткий обзор вывода LLM, его важности и связанных с ним проблем. Мы также обрисуем ключевые формулировки проблем, которые будут направлять наше исследование методов оптимизации. Вывод модели: обзор Вывод модели относится к процессу использования обученной модели машинного обучения для составления прогнозов или генерации выходных данных на основе новых входных данных. В контексте LLM вывод включает обработку текстового ввода и генерацию связного и контекстно-релевантного текстового вывода. Модель обучается только один раз или периодически, в то время как вывод происходит гораздо чаще, вероятно, тысячи раз в секунду в производственных средах. Оптимизация вывода имеет важное значение для обеспечения эффективного развертывания LLM в реальных приложениях. Цель состоит в том, чтобы минимизировать задержку (время, необходимое для генерации ответа), сократить потребление ресурсов (ЦП, ГП, память) и улучшить масштабируемость (способность справляться с растущими нагрузками). Например, GPT-3 (с 175 миллиардами параметров) требует значительных вычислительных ресурсов для вывода. Оптимизации могут сократить время отклика с 1–2 секунд до миллисекунд, делая LLM более практичными для интерактивных приложений. Обзор архитектуры трансформатора Архитектура трансформатора, использующая механизмы внимания, стала основой для большинства современных LLM. Эта архитектура включает позиционные кодировки, многоголовое самовнимание, нейронные сети прямого распространения и нормализацию слоев. Трансформаторы обычно подразделяются на три основных типа: (например, BERT) предназначены для таких задач, как классификация текста и распознавание именованных сущностей. Они преобразуют входную последовательность в представление фиксированной длины — встраивание. Эти модели являются двунаправленными, то есть они рассматривают контекст как слева, так и справа от токена, что может привести к лучшему пониманию входного текста. Модели только для кодировщиков (например, GPT-3) используются для задач генерации текста. Из входной последовательности они генерируют текст по одному токену за раз, обуславливая ранее сгенерированные токены. Эти модели являются однонаправленными, то есть они рассматривают только контекст слева от токена, что подходит для таких задач, как моделирование языка. Это наиболее распространенная архитектура LLM. Модели только для декодера (например, T5) были оригинальной архитектурой, представленной в статье «Внимание — все, что вам нужно». Эти модели предназначены для задач, требующих как понимания, так и генерации, таких как перевод и резюмирование. Они обрабатывают входную последовательность с помощью кодировщика, а затем генерируют выходную последовательность с помощью декодера. Модели кодировщика-декодера Поскольку модели, содержащие только декодер, являются наиболее распространенной архитектурой LLM для задач авторегрессии, в этой серии статей основное внимание будет уделено методам оптимизации, предназначенным специально для этого типа моделей. Обзор механизма внимания Механизм внимания является ключевым компонентом архитектуры преобразователя, который позволяет модели фокусироваться на различных частях входной последовательности при генерации выходных данных. Он вычисляет взвешенную сумму входных представлений, где веса определяются релевантностью каждого входного токена для текущего генерируемого выходного токена. Этот механизм позволяет модели фиксировать зависимости между токенами, независимо от их расстояния во входной последовательности. Механизм внимания может быть вычислительно затратным, особенно для длинных входных последовательностей, поскольку он требует расчета парных взаимодействий между всеми токенами (сложность ). Давайте рассмотрим его более подробно пошагово: O(n^2) : каждый токен во входной последовательности представляется в виде вектора, обычно с использованием вложений. Представление входных данных : для каждого токена вычисляются три вектора: вектор запроса ( ), вектор ключа ( ) и вектор значения ( ). Эти векторы выводятся из входных представлений с использованием изученных линейных преобразований. Векторы запроса, ключа, значения Q_i K_i V_i : Оценки внимания вычисляются путем взятия скалярного произведения вектора запроса текущего токена с ключевыми векторами всех предыдущих токенов во входной последовательности. Это приводит к оценке, которая указывает, насколько много внимания следует уделять каждому токену. Оценки внимания : затем оценки внимания нормализуются с помощью функции Softmax для получения весов внимания, которые в сумме дают 1. Нормализация Softmax : Наконец, выходное представление для текущего токена вычисляется как взвешенная сумма векторов значений с использованием весов внимания. Взвешенная сумма Многоголовое внимание Многоголовое внимание — это расширение механизма внимания, которое позволяет модели совместно уделять внимание информации из разных подпространств представления в разных позициях. Вместо того, чтобы иметь один набор весов внимания, многоголовое внимание вычисляет несколько наборов оценок внимания параллельно, каждый со своими собственными выученными линейными преобразованиями. Выходные данные этих головок внимания затем объединяются и линейно преобразуются для получения окончательного выходного представления. Этот механизм расширяет возможности модели по учету разнообразных взаимосвязей и зависимостей во входных данных, что приводит к повышению производительности при выполнении различных задач обработки естественного языка. Обзор процесса вычисления вывода Понимая LLM и архитектуру преобразователя, давайте обрисуем процесс вычисления вывода. Вывод генерирует следующие $n$ токенов для заданной входной последовательности и может быть разбит на два этапа: : на этом этапе выполняется прямой проход через модель для входной последовательности, и для каждого токена вычисляются представления ключей и значений. Эти представления сохраняются для последующего использования на этапе декодирования в кэше KV. Представления всех токенов в каждом слое вычисляются параллельно. Этап предварительного заполнения : на этом этапе модель генерирует выходные токены по одному за раз авторегрессивным способом. Для каждого токена модель извлекает представления ключей и значений из кэша KV, сохраненного на этапе предварительного заполнения, вместе с представлением запроса текущего входного токена для вычисления следующего токена в последовательности. Этап декодирования Этот процесс продолжается до тех пор, пока не будет выполнен критерий остановки (например, достижение максимальной длины или генерация токена конца последовательности). Новые представления ключей и значений сохраняются в кэше KV для последующих токенов. На этом этапе также применяется стратегия выборки токенов для определения следующего токена для генерации (например, жадный поиск, лучевой поиск, выборка top-k). Сложность вычисления вывода Для префикса длиной , размера вложения и модели с головками и слоями сложность вычисления вывода можно проанализировать следующим образом: L d h n : На этапе предварительного заполнения мы вычисляем начальное представление для всех токенов на входе. Сложность здесь: Этап предварительного заполнения Здесь: Первый член : представляет собой вычисление прямой связи, которое обрабатывает каждый токен независимо по слоям. Это масштабируется линейно как с длиной последовательности так и с числом слоев . O(Ln .d^2) L, n Второй член : представляет стоимость механизма внимания. Здесь каждый токен взаимодействует с каждым другим токеном, что приводит к сложности для расчета внимания на слой. Сложность растет квадратично с длиной последовательности, что может стать основным узким местом для длинных последовательностей. O(L^2. nh d) L^2 : Стадия декодирования — это авторегрессионная часть, сложность которой составляет: Стадия декодирования Здесь: : для каждого сгенерированного токена мы выполняем операции прямой связи в каждом слое. Поскольку это делается для одного токена за раз (а не для всей последовательности), сложность на токен составляет: . Вычисление прямой связи O(nd^2) : каждый новый токен взаимодействует с существующей последовательностью посредством внимания, используя ранее вычисленные пары ключ-значение. Для каждого сгенерированного токена это вычисление внимания пропорционально длине последовательности L, что дает: Вычисление внимания с кэшированием O(Lnd .h) Как мы видим, сложность вычисления вывода зависит от длины входной последовательности ( ), количества слоев ( ), количества головок внимания ( ) и размера встраивания ( ). Эта сложность может стать узким местом в приложениях реального времени, особенно при работе с длинными входными последовательностями и/или большими моделями. L n h d Важность кэширования KV Кэширование KV является важнейшим методом оптимизации для вывода LLM, особенно на этапе декодирования. Сохраняя представления ключей и значений, вычисленные на этапе предварительного заполнения, модель может избежать избыточных вычислений для ранее обработанных токенов. Это значительно снижает вычислительные затраты и задержку во время вывода, поскольку модели необходимо вычислить только оценки внимания для нового генерируемого токена, а не пересчитывать представления ключей и значений для всех токенов во входной последовательности. Это делает стоимость линейной по отношению к количеству сгенерированных токенов, а не квадратичной по отношению к длине входных данных. Однако кэширование KV требует дополнительной памяти для хранения представлений ключей и значений, что может стать компромиссом в средах с ограниченными ресурсами. Расчеты для примера модели Рассчитаем требования к памяти для модели LLaMA 7B. Конфигурация модели Параметры: миллиардов 7 Размер встраивания ( ): 4096 d_model Количество слоев: 32 Количество головок внимания ( ): d_head 32 Размер головы ( ): (4096/32) d_head 128 Максимальная длина последовательности (L): 2048 Тип данных: float16 (2 байта на элемент) Расчет памяти : для каждого уровня нам необходимо хранить как ключи, так и значения. Размер кэша на уровне Размер ключа на токен = = 128 × 32 = d_head × num_heads 4096 элементов Размер значения на токен = = 128 × 32 = 4096 d_head × num_heads элементов Общее количество элементов на токен на слой = 4096 + 4096 = 8192 элемента : для полной последовательности длиной L = Память на слой для полной последовательности 2048 токенов Элементов на слой = L × 8192 = 2048 × 8192 = 16 777 216 элементов Память на слой (в байтах) = 16 777 216 × 2 = 33 554 432 байта = 33,55 МБ : поскольку у нас есть 32 слоя Общий объем кэш-памяти KV для всех слоев Общий объем памяти = 33,55 × 32 МБ = 1073,6 МБ Общие требования к памяти Вес модели: 7 миллиардов параметров × 2 байта/параметр = 14 ГБ Кэш-память KV: 1073,6 МБ Другие накладные расходы памяти (например, активации, промежуточные результаты): ~1-2 ГБ Таким образом, общее требование к памяти: 14 ГБ (веса модели) + 1-2 ГБ (издержки) + 1073,6 МБ (кэш KV) = . Этот расчет дает нам оценку требований к памяти для модели LLaMA 7B во время вывода. LLaMA 7B относительно невелика по сравнению с такими моделями, как GPT-3 (175 миллиардов параметров), которым потребовалось бы значительно больше памяти как для весов модели, так и для кэша KV. 15-16 ГБ Кроме того, при масштабировании до $m$ одновременных пользователей требования к ресурсам будут в $m$ раз выше. Таким образом, методы оптимизации имеют решающее значение для развертывания больших моделей в средах с ограниченными ресурсами. Метрики для оценки оптимизации вывода При оценке эффективности методов оптимизации вывода можно учитывать несколько показателей: : время, необходимое для выполнения этапа предварительного заполнения вывода, также называемое задержкой времени до первого токена (TTFT). Эта метрика имеет решающее значение для интерактивных приложений, где пользователи ожидают быстрых ответов. На эту метрику могут влиять такие факторы, как размер модели, длина ввода и возможности оборудования. Задержка предварительного заполнения : время, необходимое для генерации каждого последующего токена после этапа предварительного заполнения, также называемое задержкой между токенами (ITL). Эта метрика важна для измерения отзывчивости модели во время генерации текста. Для таких приложений, как чат-боты, низкий ITL хорош, но быстрее не всегда лучше, так как 6-8 токенов в секунду часто достаточно для человеческого взаимодействия. Факторы, влияющие на это, включают размер кэша KV, стратегию выборки и оборудование. Задержка декодирования : Общее время, прошедшее от получения ввода до генерации окончательного вывода. Эта метрика необходима для понимания общей производительности процесса вывода и зависит от предварительного заполнения, декодирования и других компонентных задержек (например, анализа JSON). Факторы, влияющие на это, включают размер модели, длину ввода и аппаратное обеспечение, а также эффективность всего конвейера. End-to-End Latency : количество запросов на вывод, которые могут быть обработаны в секунду. Эта метрика имеет решающее значение для оценки масштабируемости модели в производственных средах. Такие факторы, как размер модели, оборудование и методы оптимизации, могут влиять на QPS. Например, если 15 QPS обслуживается при задержке P90 через 1 GPU, то для обслуживания 300 QPS потребуется 20 GPU. Влияющие факторы включают аппаратные ресурсы, балансировку нагрузки и методы оптимизации. Максимальная скорость запросов, также известная как QPS (запросы в секунду) : количество операций с плавающей точкой, которые модель может выполнить за секунду. Эта метрика полезна для понимания вычислительной стоимости вывода и может использоваться для сравнения эффективности различных моделей и методов оптимизации. Влияющие факторы включают архитектуру модели, аппаратное обеспечение и методы оптимизации. FLOPS (операций с плавающей точкой в секунду) Типы методов оптимизации вывода Мы рассмотрим все эти оптимизации в следующих публикациях серии. : изменение архитектуры модели для повышения эффективности вывода, например, уменьшение количества слоев или головок внимания или использование более эффективных механизмов внимания (например, разреженного внимания). Оптимизация архитектуры модели : Оптимизация базовой аппаратной и программной инфраструктуры, например, использование специализированного оборудования (например, TPU, GPU) или оптимизация программного стека (например, использование эффективных библиотек и фреймворков). Ее можно разбить на: Оптимизация системы : эффективное управление использованием памяти для снижения накладных расходов и повышения производительности. Управление памятью : использование параллелизма и оптимизация вычислений для сокращения задержек. Эффективные вычисления : одновременная обработка нескольких запросов для повышения пропускной способности. Пакетирование : эффективное планирование задач для максимального использования ресурсов. Планирование : такие методы, как квантование, обрезка и дистилляция, можно использовать для уменьшения размера модели и повышения скорости вывода без существенного снижения производительности. Сжатие моделей : улучшение алгоритмов, используемых для вывода, например, использование более эффективных стратегий выборки или оптимизация механизма внимания. Например, спекулятивное декодирование, которое позволяет модели генерировать несколько токенов параллельно, может значительно сократить задержку декодирования. Оптимизация алгоритмов Заключение В этом посте мы представили обзор вывода LLM, его важности и связанных с ним проблем. Мы также изложили ключевые формулировки проблем, которые будут направлять наше исследование методов оптимизации в последующих постах. Понимая тонкости вывода LLM и факторы, влияющие на его производительность, мы можем лучше оценить значимость методов оптимизации в повышении практичности LLM для реальных приложений. В следующем посте мы более подробно рассмотрим конкретные методы оптимизации и их реализацию, сосредоточившись на сокращении задержки и потребления ресурсов при сохранении производительности модели. Ссылки Все, что вам нужно — это внимание. Оптимизация вывода фундаментальных моделей на ускорителях ИИ