Это ты 👆? Вы не изучали CompSci, так что теперь вы придворный шут, быстро пытающийся масштабировать знания в __ __, которую когда-либо видел мир? Сделайте вдох. Вот пост, возвращающийся к основам, где вы можете задать « и не чувствовать себя осужденным. самой быстрорастущей отрасли действительно глупый вопрос» Небольшой глоссарий терминов LLM для тех, кто учится — больше, чем кажется на первый взгляд… Тип модели, используемый в машинном обучении, особенно для обработки последовательностей данных, таких как текст или аудио. Он хорошо понимает предложений и может использоваться для перевода на языки, обобщения текста или генерации ответов чат-бота. Трансформатор контекст Это как огромная база данных языковых знаний, с помощью которой можно писать статьи, отвечать на вопросы или создавать реалистичные диалоги. Большая языковая модель (LLM). Трансформатор — это метод, используемый в искусственном интеллекте для обработки языка. LLM — это большая модель искусственного интеллекта для языковых задач, часто создаваемая с использованием техники Transformer. — часть компьютерной системы или программного обеспечения, которая позволяет пользователям взаимодействовать с ней. Думайте об этом как о интерфейсе программы, где вы вводите свой вопрос или команду, и программа отвечает. Интерфейс . В ИИ это означает использование обученной модели для прогнозирования или принятия решений. Например, после обучения модели распознаванию кошек на картинках, вывод заключается в том, что модель смотрит на новую картинку и решает, есть ли на ней кошка.🐈⬛ Вывод — способ обучения машин, при котором вы даете модельные примеры с ответами. Это как показать программе множество фотографий кошек и сказать ей: «Это кот», чтобы она узнала, как кошки выглядят. Обучение с учителем — обучение машины без предоставления ей ответов. Модель просматривает данные и пытается самостоятельно найти закономерности или группы. Например, он может сортировать музыку разных типов по жанрам, не сообщая названия жанров. ( Обучение без учителя хи-йо) — обучение машин методом проб и ошибок. Машина делает выбор в ситуации и получает вознаграждение или наказание в зависимости от того, хороший или плохой ее выбор, со временем учится принимать более правильные решения ( Обучение с подкреплением или становится обиженной и скрытной). — предназначена для работы как человеческий мозг. Он состоит из множества небольших единиц (например, клеток мозга), которые работают вместе, обрабатывая информацию и решая проблемы. Нейронная сеть Создание LLM Сбор ваших данных Начните со сбора самых разных текстовых данных. Это могут быть книги, онлайн-статьи или данные из баз данных. Чем разнообразнее ваши данные, тем лучше ваш LLM будет понимать различные аспекты языка. Kaggle располагает отличными данными для проектов машинного обучения и науки о данных. Познакомьтесь с местным . гроссмейстером из Австралии и Kaggle Джереми Ховардом часто размещает наборы данных, опубликованные исследователями и разработчиками. Хорошее место для поиска. GitHub Стоит упомянуть — Google Scholar для наборов данных, связанных с документами и правительственными сайтами. Предварительная обработка данных Теперь Этот шаг заключается в исправлении ошибок, удалении бесполезных частей и их организации так, чтобы ваш ИИ мог эффективно на них учиться. очистите эти данные. Соображения Как вы будете обрабатывать пропущенные значения, устранять проблемы с форматированием, справляться с повторяющимися данными? Выбор архитектуры модели Архитектура модели — это, по сути, проект или структура модели, действующая как образец, определяющий, как ИИ обрабатывает информацию. Архитектура Transformer специально разработана для обработки последовательных данных, таких как текст, с упором на понимание контекста внутри данных, и на сегодня мы остановимся на этом. Обучение модели Загрузите подготовленные данные в вашу модель ИИ. Именно здесь ваш ИИ начинает изучать тонкости языка. Обучение может занять много времени и ресурсов, особенно при наличии большого количества данных. (Здесь я хотел бы упомянуть своих друзей из , подкаст скоро выйдет) Unsloth Тестирование и доработка После обучения оцените, насколько хорошо ваш ИИ понимает и генерирует язык. В зависимости от результатов вам, возможно, придется скорректировать и переобучить его, чтобы повысить его производительность. Управление LLM Как теперь управлять зверем? Вместо того, чтобы создавать LLM с нуля, вы можете использовать для доступа к моделям, уже обученным на сумасшедших объемах данных. Вы можете запустить эти модели либо в их облачном сервисе, либо загрузить их для локального запуска на своем компьютере. Hugging Face Независимо от вашего выбора, главное — иметь обученную модель LLM будь то через Интернет или непосредственно на вашем компьютере. и средства взаимодействия с ней, Это первая часть серии статей, направленных на снижение барьера в понимании и внедрении ИИ с открытым исходным кодом. Я пишу и выпускаю подкасты здесь- (не)контролируемое обучение Остальные ссылки здесь https://linktr.ee/Unsupervisedlearning Также опубликовано здесь
