LLM для чайников: пошаговое руководство и глоссарий

Это ты 👆? Вы не изучали CompSci, так что теперь вы придворный шут, быстро пытающийся масштабировать знания в __ самой быстрорастущей отрасли __, которую когда-либо видел мир?

Сделайте вдох. Вот пост, возвращающийся к основам, где вы можете задать « действительно глупый вопрос» и не чувствовать себя осужденным.

Небольшой глоссарий терминов LLM для тех, кто учится

Трансформатор — больше, чем кажется на первый взгляд… Тип модели, используемый в машинном обучении, особенно для обработки последовательностей данных, таких как текст или аудио. Он хорошо понимает контекст предложений и может использоваться для перевода на языки, обобщения текста или генерации ответов чат-бота.

Большая языковая модель (LLM). Это как огромная база данных языковых знаний, с помощью которой можно писать статьи, отвечать на вопросы или создавать реалистичные диалоги.

Трансформатор — это метод, используемый в искусственном интеллекте для обработки языка. LLM — это большая модель искусственного интеллекта для языковых задач, часто создаваемая с использованием техники Transformer.

Интерфейс — часть компьютерной системы или программного обеспечения, которая позволяет пользователям взаимодействовать с ней. Думайте об этом как о интерфейсе программы, где вы вводите свой вопрос или команду, и программа отвечает.

Вывод . В ИИ это означает использование обученной модели для прогнозирования или принятия решений. Например, после обучения модели распознаванию кошек на картинках, вывод заключается в том, что модель смотрит на новую картинку и решает, есть ли на ней кошка.🐈‍⬛

Обучение с учителем — способ обучения машин, при котором вы даете модельные примеры с ответами. Это как показать программе множество фотографий кошек и сказать ей: «Это кот», чтобы она узнала, как кошки выглядят.

Обучение без учителя ( хи-йо) — обучение машины без предоставления ей ответов. Модель просматривает данные и пытается самостоятельно найти закономерности или группы. Например, он может сортировать музыку разных типов по жанрам, не сообщая названия жанров.

Обучение с подкреплением — обучение машин методом проб и ошибок. Машина делает выбор в ситуации и получает вознаграждение или наказание в зависимости от того, хороший или плохой ее выбор, со временем учится принимать более правильные решения ( или становится обиженной и скрытной).

Нейронная сеть — предназначена для работы как человеческий мозг. Он состоит из множества небольших единиц (например, клеток мозга), которые работают вместе, обрабатывая информацию и решая проблемы.

Создание LLM

Сбор ваших данных

Начните со сбора самых разных текстовых данных. Это могут быть книги, онлайн-статьи или данные из баз данных. Чем разнообразнее ваши данные, тем лучше ваш LLM будет понимать различные аспекты языка.

Kaggle располагает отличными данными для проектов машинного обучения и науки о данных. Познакомьтесь с местным гроссмейстером из Австралии и Kaggle Джереми Ховардом .

GitHub часто размещает наборы данных, опубликованные исследователями и разработчиками. Хорошее место для поиска.

Стоит упомянуть — Google Scholar для наборов данных, связанных с документами и правительственными сайтами.

Предварительная обработка данных

Теперь очистите эти данные. Этот шаг заключается в исправлении ошибок, удалении бесполезных частей и их организации так, чтобы ваш ИИ мог эффективно на них учиться.

Соображения

Как вы будете обрабатывать пропущенные значения, устранять проблемы с форматированием, справляться с повторяющимися данными?

Выбор архитектуры модели

Архитектура модели — это, по сути, проект или структура модели, действующая как образец, определяющий, как ИИ обрабатывает информацию.

Архитектура Transformer специально разработана для обработки последовательных данных, таких как текст, с упором на понимание контекста внутри данных, и на сегодня мы остановимся на этом.

Обучение модели

Загрузите подготовленные данные в вашу модель ИИ. Именно здесь ваш ИИ начинает изучать тонкости языка. Обучение может занять много времени и ресурсов, особенно при наличии большого количества данных. (Здесь я хотел бы упомянуть своих друзей из Unsloth , подкаст скоро выйдет)

Тестирование и доработка

После обучения оцените, насколько хорошо ваш ИИ понимает и генерирует язык. В зависимости от результатов вам, возможно, придется скорректировать и переобучить его, чтобы повысить его производительность.

Управление LLM

Как теперь управлять зверем?

Вместо того, чтобы создавать LLM с нуля, вы можете использовать Hugging Face для доступа к моделям, уже обученным на сумасшедших объемах данных. Вы можете запустить эти модели либо в их облачном сервисе, либо загрузить их для локального запуска на своем компьютере.

Независимо от вашего выбора, главное — иметь обученную модель LLM и средства взаимодействия с ней, будь то через Интернет или непосредственно на вашем компьютере.

Это первая часть серии статей, направленных на снижение барьера в понимании и внедрении ИИ с открытым исходным кодом.

Я пишу и выпускаю подкасты здесь-

(не)контролируемое обучение

Остальные ссылки здесь https://linktr.ee/Unsupervisedlearning

Также опубликовано здесь