В 2017 году группа исследователей (из Google и Университета Торонто) представила новый способ обработки задач обработки естественного языка (NLP). Их революционная статья « » представила модель Transformer, архитектуру, которая с тех пор стала основой многих современных систем искусственного интеллекта. Производительность, масштабируемость и универсальность модели привели к ее широкому распространению, сформировав основу современных моделей, таких как BERT (представления двунаправленного кодировщика) и GPT (генеративные предварительно обученные преобразователи). Внимание — это все, что вам нужно До модели Transformer большинство моделей ИИ, обрабатывающих язык, в значительной степени полагались на тип нейронной сети, называемой рекуррентной нейронной сетью (RNN) или ее улучшенной версией, сетью краткосрочной памяти (LSTM). В частности, такие проблемы, как моделирование языка и машинный перевод (также называемый последовательной трансдукцией). Эти модели обрабатывали слова последовательно, одно за другим, слева направо (или наоборот). Хотя этот подход имел смысл, поскольку слова в предложении часто зависят от предыдущих слов, у него были некоторые существенные недостатки: Медленное обучение: поскольку RNN и LSTM обрабатывают одно слово за раз, обучение этих моделей на больших наборах данных занимало много времени. Трудности с длинными предложениями: Эти модели часто испытывают трудности с пониманием связей между словами, которые находятся далеко друг от друга в предложении. Ограниченное распараллеливание: поскольку слова обрабатывались последовательно, было сложно воспользоваться преимуществами современного вычислительного оборудования, способного выполнять множество операций одновременно (распараллеливание). Ключевая идея: внимание к архитектуре Основная идея модели Transformer — это то, что называется «вниманием». Проще говоря, внимание помогает модели сосредоточиться на определенных частях предложения при попытке понять значение/контекст слова. Рассмотрим предложение «Машина, которая была припаркована в гараже, синяя». Когда вы думаете о слове «синий», вы естественным образом сосредотачиваетесь на слове «машина» ранее в предложении, потому что оно говорит вам, что такое синий цвет. Модели машинного перевода столкнулись бы с трудностями при определении того, относится ли «синий» к машине или гаражу. Вот что делает внутреннее внимание — оно помогает модели сосредоточиться на соответствующих словах, независимо от того, где они находятся в предложении. Обратите внимание, что внимание не было новой концепцией и уже использовалось в тандеме с RNN. Transformer был первой моделью трансдукции, которая опиралась исключительно на внимание, тем самым устраняя необходимость в нейронных сетях. Это дало следующие преимущества: Параллельная обработка: в отличие от RNN, которые обрабатывают слова одно за другим, Transformer может обрабатывать все слова в предложении одновременно. Это значительно ускоряет обучение. Лучшее понимание контекста: Благодаря механизму внутреннего внимания Transformer может улавливать отношения между словами, независимо от того, насколько далеко они находятся друг от друга в предложении. Это имеет решающее значение для понимания сложных предложений. Масштабируемость: модель можно легко масштабировать, добавляя больше слоев, что позволяет ей обрабатывать очень большие наборы данных и сложные задачи. Как видите, новая модель не только устранила все недостатки нейронных сетей, но и фактически улучшила производительность машинного перевода! Поскольку исходную статью может быть немного сложно понять, ниже приводится более простое объяснение архитектуры модели, описанной в статье. : Transformer состоит из стека кодировщика (слева) и стека декодера (справа). Стек кодировщика преобразует входную последовательность (например, предложение) в набор непрерывных представлений, в то время как стек декодера преобразует эти представления в выходную последовательность (например, перевод). Для каждого стека, снизу вверх, ниже приведены основные компоненты модели, поясненные на примере. Стеки кодировщика и декодера Обработка входного предложения в кодере : Текст, который вы хотите перевести. Например: «Машина, припаркованная в гараже, синяя». Входные данные : преобразует слова в числовые представления фиксированной длины (векторы), называемые вложениями. Эти вложения фиксируют семантическое значение слов таким образом, что модель может их понять. Из нашего примера: Вводное вложение «The» -> [0,9, -0,4, 0,2, ...] "автомобиль" -> [0,5, 0,1, -0,7, ...] "что" -> [-0,8, 0,2, 0,8, ...] и то же самое для каждого слова в предложении выше. : поскольку модель обрабатывает входящие вложения, которые не имеют никакого порядка, ей нужен способ понять порядок слов в предложении. Позиционное кодирование добавляет эту информацию о положении каждого слова в последовательности к его вложению. Позиционное кодирование «The» в позиции 1 может быть скорректирован до [0,9 + P1, -0,4 + P1, 0,2 + P1, ...], где P1 представляет позиционное кодирование для первой позиции, тем самым генерируя новое встраивание, уникальное для позиции P1. : как было описано ранее, это позволяет модели фокусироваться на разных словах в предложении в зависимости от контекста. Для каждого слова механизм самовнимания вычисляет оценку, которая показывает, насколько много внимания следует уделять другим словам при кодировании текущего слова. Механизм самовнимания Для слова «машина» внутреннее внимание может определить, что слова «припаркованный», «гараж» и «синий» особенно важны для понимания его контекста. : новая часть модели трансформатора. Многоголовое внимание — это просто несколько слоев/операций внутреннего внимания, работающих параллельно и соединенных линейно. Многоголовое внимание Например, одна голова может быть сосредоточена на главном субъекте («автомобиль») и его свойствах («синий»), в то время как другая голова может быть сосредоточена на придаточном предложении («который был припаркован в гараже»). Модуль внимания нескольких голов дает модели возможность понимать, что «синий» цвет более актуален для автомобиля, чем для гаража. : после слоя внутреннего внимания выходные данные передаются через нейронную сеть прямого распространения, которая применяется к каждой позиции отдельно и идентично (опять же, может работать параллельно!). Это состоит из двух линейных преобразований с активацией ReLU между ними. Нейронные сети прямого распространения : Остаточные соединения (add) используются для добавления входа слоя к его выходу, который затем нормализуется (norm). Это помогает в обучении глубоких сетей, предотвращая исчезновение или взрыв градиентов. Add & Norm Генерация перевода в декодере В NLP принято обозначать начало маркера начала последовательности специальным символом <SOS>, а конец последовательности — <EOS>. Декодер берет обработанный ввод от кодера и генерирует французский перевод "La voiture qui était garée dans le garage est bleue". Вот как работает эта часть: : декодер начинает с закодированного представления английского предложения из кодера. Если вы заметили, декодер также принимает свои собственные выходные данные в качестве входных данных. Поскольку у него не будет входных данных для начального слова, мы вставляем токен <SOS> в начало (следовательно, смещенный вправо) и удаляем последнее слово. Эта смещенная последовательность и есть то, что подается в декодер. Входные данные для декодера : в декодере механизм маскированного внутреннего внимания гарантирует, что каждое слово в выходной последовательности может обращать внимание только на слова, находящиеся перед ним. Это не позволяет модели заглядывать вперед и гарантирует, что она генерирует перевод по одному слову за раз слева направо. Маскированное внутреннее внимание Например, когда декодер собирается сгенерировать слово «La» (первое слово во французском языке), он знает только контекст из <SOS>, а не будущие слова, например «Voiture». : декодер применяет еще одну нейронную сеть прямого распространения для дальнейшей обработки этой информации, совершенствуя перевод шаг за шагом. Нейронные сети прямого распространения В декодере, после обработки входного предложения через несколько слоев маскированного внутреннего внимания, внимания кодировщика-декодировщика и сетей прямой связи, мы получаем последовательность непрерывных представлений (вектор плавающих чисел) для каждой позиции в целевом предложении (в нашем случае французском). Эти представления необходимо преобразовать в реальные слова. Здесь в игру вступает последний линейный и softmax-слой. : этот слой представляет собой полностью связанный слой нейронной сети, который преобразует выходные данные последнего слоя декодера (плотное векторное представление для каждой позиции) в вектор размером с целевую лексику (например, все возможные слова французского языка). Линейный слой : После линейного преобразования применяется функция Softmax для преобразования этих логитов (сырых оценок) в вероятности. Эти вероятности указывают на вероятность того, что каждое слово в целевом словаре будет правильным следующим словом в переводе. Это позволяет нам угадать, какое слово из французского словаря следует выбрать (ячейка с самой высокой вероятностью). Слой Softmax Декодер по сути делает следующее: Первый шаг: декодер начинает с <SOS> и генерирует первое слово «La». Второй шаг: при вводе <SOS> La модель предсказывает следующее слово: «Voiture». Третий шаг: декодер берет <SOS> La Voiture и генерирует слово «выйти». Продолжающийся процесс: Этот процесс продолжается, порождая «était», «garée», «dans», «le», «garage», «est» и, наконец, «blue». Маркер конца последовательности: декодер в конечном итоге генерирует маркер конца последовательности <EOS>, чтобы обозначить, что перевод завершен. Объединяя эти шаги, Transformer может понимать всю структуру предложения и его значение более эффективно, чем предыдущие модели. Механизм внутреннего внимания и параллельная обработка позволяют Transformer эффективно улавливать нюансы и структуру как исходного, так и целевого языков, что делает его высокоэффективным в таких задачах, как машинный перевод.
