Генеративный ИИ представляет собой новейшую технологию, которую предприятие может использовать для раскрытия данных, запертых в его границах. Самый простой способ представить себе возможности генеративного искусственного интеллекта — это представить настроенную модель большого языка, аналогичную той, что используется в ChatGPT, работающую внутри вашего брандмауэра. Этот специальный LLM отличается от того, который OpenAI размещает в общедоступном Интернете. Вместо этого он получил «продвинутое образование» по вашему бизнесу. Это делается путем предоставления ему доступа к корпусу документов, недоступным для внешнего мира. Однако этот новый инструмент не является обычной поисковой системой, предоставляющей список ссылок, на просмотр и дальнейшую фильтрацию которого у вас уйдут часы. Скорее, это решение, которое может генерировать нужный вам контент. Со временем вы начнете давать ему команды и задавать вопросы. Ниже приведены несколько примеров, которые помогут вам почувствовать, что возможно:

• «Познакомьтесь с нашими недавними результатами на европейском фондовом рынке».

• «Составьте конспект моего доклада о генеративном искусственном интеллекте».

• «Найдите все, что мы опубликовали в этом квартале».

  
  

Приведенные выше примеры представляют собой сценарии исследования, но хорошо построенная модель большого языка (LLM) также может использоваться для поддержки клиентов (чат-бот), обобщения, исследования, перевода и создания документов, и это лишь некоторые из них.

Эти простые примеры подчеркивают силу генеративного искусственного интеллекта — это инструмент, позволяющий выполнять вашу работу более эффективно, а не создавать список для чтения.

Такой инструмент невозможно создать по собственному желанию, и все может пойти совсем не так, если не учитывать такие вопросы, как безопасность и качество данных. Кроме того, модели, использующие генерирующий искусственный интеллект, не могут работать в обычном центре обработки данных. Им нужна современная среда с современными инструментами для управления неструктурированными данными (озеро данных), создания конвейеров AI/ML для ваших LLM (инструменты MLOPs) и новых инструментов, которые позволят LLM получить необходимое им образование относительно вашего пользовательского корпуса. (Я говорю о векторных базах данных для реализации поисковой дополненной генерации — я объясню это позже в этом посте).

В этом посте я хочу на концептуальном уровне рассказать, что следует учитывать предприятию для успешного внедрения генеративного ИИ.

Начнем с разговора о данных.

Источники данных (необработанные данные)

Важным отличием является то, что данные, необходимые для генеративного ИИ, отличаются от данных, используемых для обычного ИИ. Данные будут неструктурированными — в частности, нужные вам данные будут представлять собой документы, заблокированные в таких инструментах, как SharePoint, Confluence и общие сетевые файловые ресурсы. Хорошее решение генеративного искусственного интеллекта также может обрабатывать нетекстовый контент, например аудио- и видеофайлы. Вам понадобится конвейер данных, который соберет все эти данные и поместит их под одну крышу.

Это, возможно, самая сложная задача в рамках инициативы по генеративному искусственному интеллекту. Мы все знаем, как быстро в организации появляются сайты Confluence и SharePoint. Нет никакой гарантии, что содержащиеся в них документы являются полными, правдивыми и точными. Другими проблемами являются безопасность, личная информация и условия лицензирования, если документы получены из внешнего источника.

После того как вы определили документы, содержащие правдивую информацию, вам нужно место, где их разместить. К сожалению, они не могут оставаться на своем первоначальном месте. SharePoint, Confluence и общие сетевые файловые ресурсы — это инструменты, которые не предназначены для быстрого предоставления документов для обучения и вывода. Здесь в игру вступает MinIO. Вам понадобится хранить свои документы в решении для хранения, которое обладает всеми привычными вам возможностями: масштабируется в соответствии с вашими потребностями , производительностью в масштабе , надежностью , отказоустойчивостью и собственным облачным интерфейсом . Суть в том, что вам необходимо построить конвейер данных, который объединяет необработанные данные из нескольких источников, а затем преобразует их для использования LLM. На диаграмме ниже показано разнообразие источников, которые могут существовать в организации, и проверки высокого уровня, которые следует проводить.

Давайте более подробно рассмотрим конвейер данных, углубившись в проверки безопасности и качества, необходимые для преобразования необработанных данных в качественные данные.

Предварительная обработка данных (данные о качестве)

Организациям следует начать с инвентаризации всех источников документов. Для каждого источника документов все найденные документы должны быть каталогизированы. Документы должны быть проверены на предмет лицензирования и безопасности. Некоторые документы, возможно, придется исключить из вашего решения. Важной частью этого процесса является выявление ограниченных данных, которые необходимо изменить перед включением в ваше генеративное решение ИИ.

После того, как вы проверили свои документы на предмет безопасности и лицензирования, следующим шагом будет проверка качества. Например, правдивость, разнообразие (если речь идет о людях) и избыточность. Точные модели невозможно создать без высококачественных данных. Это справедливо для обычного ИИ (обучение с учителем, обучение без учителя и обучение с подкреплением), и особенно это справедливо для генеративного ИИ. Документы более низкого качества, повторяющиеся документы и документы, содержащие неточные данные, ослабят ответы от LLM или даже вызовут галлюцинации.

Визуализация более детального конвейера выглядит так:

Несколько мыслей о важности решения для хранения: Ваши качественные документы должны храниться в решении для хранения, которое может быстро обслуживать ваши данные для обучения, точной настройки и вывода. Чем больше экспериментов смогут провести ваши инженеры, тем лучше в конечном итоге будут работать ваши модели. Вы также захотите отслеживать эксперименты, сохранять обработанные данные и изменять версии своих моделей. Это можно сделать вручную, напрямую сохранив эту информацию в MinIO или используя инструмент MLOP по вашему выбору. Многие инструменты MLOP используют скрытое хранилище объектов. Например, MLFlow от DataBricks и KubeFlow от Google используют MinIO. Кроме того, экземпляр MinIO, изображенный на диаграммах выше, должен быть результатом реализации современного озера данных. Современное озеро данных — это центр системной архитектуры, способной поддерживать ИИ.

Давайте продолжим и обсудим, как LLM могут использовать хранилище объектов, содержащее ваши документы по качеству.

Как LLM используют данные о качестве

В этом разделе мы рассмотрим два способа использования LLM с открытым исходным кодом и ваших качественных документов для создания контента, специфичного для конкретной предметной области. Этими двумя методами являются точная настройка и поисковая дополненная генерация (RAG).

Точная настройка модели с открытым исходным кодом

Когда мы настраиваем модель, мы дополнительно обучаем ее специальной информации. Это может быть хорошим способом получить LLM для конкретной предметной области. Хотя этот вариант требует вычислений для выполнения точной настройки вашего пользовательского корпуса, он не такой трудоемкий, как обучение модели с нуля, и может быть выполнен за скромные сроки.

Если в вашем домене есть термины, которые не встречаются в повседневном использовании, точная настройка улучшит качество ответов LLM. Например, проекты, в которых будут использоваться документы медицинских исследований, экологических исследований и всего, что связано с естественными науками, выиграют от тонкой настройки. Точная настройка берет очень специфический язык, найденный в ваших документах, и внедряет его в параметрические параметры модели.

Недостатки

• Для тонкой настройки потребуются вычислительные ресурсы.

• Объяснение невозможно.

• По мере развития вашего корпуса вам периодически придется вносить новые данные.

• Галлюцинации вызывают беспокойство.

  
  

Преимущества

• LLM получает знания из вашего пользовательского корпуса посредством тонкой настройки.

• Лучшее время окупаемости по сравнению с RAG.

  
  

Хотя точная настройка — хороший способ научить LLM языку вашего бизнеса, она размывает данные, поскольку большинство LLM содержат миллиарды параметров, и ваши данные будут распределены по всем этим параметрам.

Давайте рассмотрим метод, который объединяет ваши пользовательские данные и параметрические данные во время вывода.

Поисковая дополненная генерация (RAG)

Поисковая дополненная генерация (RAG) — это метод, который начинается с задаваемого вопроса, объединяет его с дополнительными данными, а затем передает вопрос и данные в LLM и векторную базу данных для создания контента. При использовании RAG обучение не требуется, поскольку мы обучаем LLM, отправляя ему соответствующие текстовые фрагменты из нашего корпуса качественных документов.

Это работает следующим образом, используя задачу ответа на вопросы: пользователь задает вопрос в пользовательском интерфейсе вашего приложения. Ваше приложение возьмет вопрос (в частности, слова в нем) и, используя векторную базу данных, выполнит поиск в корпусе качественных документов текстовых фрагментов, релевантных контексту. Эти фрагменты вместе с исходным вопросом отправляются в LLM. Весь этот пакет — вопрос плюс фрагменты (контекст) — называется подсказкой. LLM будет использовать эту информацию для подготовки вашего ответа. Это может показаться глупым — если вы уже знаете ответ (фрагменты), зачем беспокоиться о LLM? Что ж, помните: это происходит в режиме реального времени, и целью является создание текста, который вы можете скопировать и вставить в свое исследование. Вам понадобится LLM для создания текста, включающего информацию из вашего пользовательского корпуса.

Это сложнее, чем тонкая настройка. Возможно, вы слышали о базах данных векторов — они являются ключевым компонентом при поиске наилучшего контекста для вопроса. Настройка баз данных векторов может оказаться сложной задачей. Если вам нужно простое временное решение, вы можете использовать инструмент текстового поиска, например Elastic Search. Однако векторные базы данных лучше, поскольку они могут изучать семантическое значение слов и извлекать контекст, в котором используются разные слова с одинаковым или похожим значением.

Недостатки

• Требуется векторная база данных.

• Более длительное время окупаемости по сравнению с точной настройкой. (Из-за базы данных векторов и предварительной обработки, необходимой перед отправкой запроса в LLM.)

  
  

Преимущества

• LLM имеет непосредственные знания из вашего пользовательского корпуса.
• Объяснимость возможна.
• Никакой тонкой настройки не требуется.
• Галлюцинации значительно уменьшаются, и их можно контролировать, изучая результаты запросов к векторной базе данных.

Краткое содержание

Успешное внедрение генеративного искусственного интеллекта доступно любому предприятию, желающему правильно планировать свою работу.

Как и все, что касается ИИ, генеративный ИИ начинается с данных. Данные, необходимые для больших языковых моделей, лежащих в основе генерирующего искусственного интеллекта, представляют собой специальный корпус, определяющий уникальные знания внутри ваших межсетевых экранов. Не ограничивайтесь текстовыми документами. Можно использовать обучающие видеоролики, записанные встречи и записанные события как в аудио-, так и в видеоформате. Построение конвейера данных будет непростой задачей, необходимо позаботиться о сохранении безопасности и лицензировании, одновременно обеспечивая качество.

Модели с открытым исходным кодом упрощают разработку моделей, а поскольку большинство из них предварительно обучены, они также устраняют высокие затраты на первоначальное обучение. Организациям следует поэкспериментировать с тонкой настройкой, чтобы увидеть, улучшит ли она качество создаваемого контента.

Наконец, расширенная генерация извлечения (RAG) — это мощный метод, который можно использовать для объединения знаний из специального корпуса документов вашей организации с параметрическими знаниями LLM. В отличие от точной настройки, информация из вашего корпуса не преобразуется в параметрические параметры модели. Скорее, соответствующие фрагменты находятся во время вывода и передаются в модель в качестве контекста.

Следующие шаги

Генеративный искусственный интеллект — это новая технология, а новые технологии требуют обновления инфраструктуры. Для организаций, серьезно относящихся к генеративному ИИ, следующим шагом будет создание системной архитектуры, включающей конвейер AI/ML, конвейер данных, современное озеро данных и базу данных Vector (если будет использоваться RAG). В этом посте я рассмотрел эти технологии на высоком уровне.

Следите за обновлениями в этом блоге, чтобы получить более подробное объяснение архитектуры системы генеративного искусственного интеллекта. Если у вас есть вопросы, напишите нам по адресу [email protected] или присоединитесь к сообществу Slack .