Когда инфраструктурные компании увидят выгоду от генеративного искусственного интеллекта?

Сейчас возникает много вопросов о состоянии генеративного ИИ. Как далеко продвинулись компании в своих индивидуальных усилиях по созданию GenAI? Действительно ли организации создают приложения искусственного интеллекта, используя свои собственные данные, и это меняет ситуацию? Какая архитектура требуется?

Эти вопросы неудивительны — существует огромный диапазон мнений об ИИ, от беззастенчивого оптимизма до пресыщенного цинизма, смешанного с большим количеством шумихи.

Я обнаружил, что это помогает прояснить положение дел на рынке GenAI по трем направлениям: то, что рынок хочет видеть, опасения по поводу того, что может произойти, и что произойдет (и как) в 2024 году.

Чего все хотят и чего боятся?

GenAI появился на сцене в конце 2022 года, когда OpenAI выпустила ChatGPT и показала, насколько мощной и доступной может быть такая технология. Воодушевление по поводу потенциальных преимуществ ИИ было повсюду. В ближайшее время GenAI будет внедрен в каждое приложение на каждом предприятии. Инвесторы предполагали, что кривая роста компаний, предоставляющих инфраструктуру для поддержки GenAI, будет похожа на хоккейную клюшку.

Скептики, с другой стороны, представляли себе антиутопическое будущее искусственного интеллекта, представляющее собой нечто среднее между «Миром Дикого Запада» и «Черным зеркалом». Другие предупреждают о пузыре искусственного интеллекта. С инвестиционной точки зрения некоторые говорят, что это снова похоже на криптовалюту — много волнений и шумихи, а затем дымящийся кратер.

Я думаю, что оба эти опасения необоснованны. Конечно, с каждой новой волной технологий найдутся злоумышленники, использующие GenAI по неправильным причинам. А волнение по поводу возможностей GenAI присутствует повсюду; в нем действительно есть что-то «живое», и оно может быть даже более резким, чем ажиотаж вокруг криптовалют.

Но большая разница между GenAI и криптовалютой заключается в том, что существует множество реальных вариантов использования первого в различных организациях и отраслях. В криптовалюте был один сильный вариант использования: финансовые транзакции между ненадежными сторонами (т.н. отмывание денег). Это то, что не так уж и интересует мейнстрим.

Сейчас ситуация с приложениями GenAI напоминает мне электронную коммерцию конца 1990-х годов , когда компании пытались выяснить, как сделать безопасным использование кредитных карт через Интернет. Организациям потребовалось некоторое время, чтобы понять, как сделать это безопасно, но как только они это сделали, внезапно у каждого появился сайт электронной коммерции.

Параллель, которую я сейчас вижу в GenAI: как гарантировать, что языковые модели не будут давать неточные ответы в виде галлюцинаций . Хорошие новости? Это удалось выяснить (благодаря генерации с расширенным поиском или RAG; подробнее об этом ниже).

Где мы сейчас и куда мы идем?

Многое из того, что мы видели в прошлом году, было экспериментальными проектами GenAI: приложениями, призванными продемонстрировать руководству компании, что возможно. Но очень немногие компании пошли дальше этого и создали приложения, находящиеся в полной эксплуатации. Под «производством» я подразумеваю, что у организации есть приложение ИИ, которое используется клиентами или сотрудниками непрототипным способом.

Другими словами, это доступно как рутинная часть деятельности в некоторых сегментах бизнес-операций. Это может быть фронт-офис, может быть то, что стоит за звонком в службу поддержки клиентов, но это где-то рядом с основной частью бизнеса.

Walmart — хороший ранний пример этого. В январе ритейлер объявил , что добавил в свое приложение для покупок поиск на базе GenAI. Сообщается, что Apple тестирует инструмент GenAI, который поможет своим сотрудникам обеспечить более быструю техническую поддержку. Пока мы не начнем видеть больше подобных примеров, GenAI будет еще немного задерживаться на ранней стадии того, что Gartner называет « циклом хайпа ».

Volkswagen только что объявил о создании собственной лаборатории для разработки приложений GenAI для навигационных и информационно-развлекательных приложений для своих автомобилей.

Тем не менее, мы не так уж далеки от достижения «плато производительности», как некоторые могут подумать. Как я упоминал ранее, доверие к результатам моделей стало препятствием для организаций, которые все еще пытаются найти релевантные и точные ответы на модели большого языка (LLM) путем уменьшения галлюцинаций.

RAG, который предоставляет моделям дополнительные данные или контекст в режиме реального времени из других источников — чаще всего базы данных, которая может хранить векторы — сейчас используется, чтобы помочь решить эту проблему. Этот технологический прогресс является ключом к разработке специализированных приложений GenAI, основанных на самом ценном активе организаций: их собственных данных.

Хотя RAG стал де-факто методом включения корпоративного контекста в приложения GenAI, также часто упоминается тонкая настройка — когда предварительно обученная модель подвергается дальнейшему обучению на подмножестве данных. Бывают случаи, когда этот метод может быть полезен , но RAG — правильный выбор, если есть какие-либо опасения по поводу конфиденциальности, безопасности или скорости.

Независимо от того, как контекст добавляется в приложение, большой вопрос, который я часто получаю от инвесторов, с которыми я разговаривал, заключается в том, когда компании начнут зарабатывать деньги на приложениях GenAI?

Мой ответ: большинство предприятий, которые вы отслеживаете, ориентированы на потребление. Многие сейчас поддерживают эксперименты, проверки концепции (POC) и нишевые приложения, созданные их клиентами; они не сильно влияют на потребление.

Но ситуация начинает меняться по мере того, как основные приложения ИИ начинают переходить от POC к реальному производству. Я предсказываю, что это произойдет в значительной степени к концу 2024 года. Это произойдет во второй половине 2024 года, начиная с двух мест.

Во-первых, он распространяется в розничной торговле (см. пример Walmart, упомянутый ранее). Вы также увидите широкое распространение в том, что я называю областью «интрасеть искусственного интеллекта»: чат с PDF-файлами, базы знаний и внутренние колл-центры.

Учитывая рост потребления, который обеспечивают подобные приложения, такие компании, как Microsoft , Google и даже Oracle, начинают сообщать о результатах работы ИИ. Помимо гипермасштабирующих компаний, другие компании, занимающиеся инфраструктурой искусственного интеллекта, вероятно, начнут отмечать рост в отчетах о прибылях и убытках, которые они публикуют в январе, феврале и марте следующего года.

Путь к производству приложений GenAI

Уже заложена основа для компаний, занимающихся инфраструктурой искусственного интеллекта, ориентированной на потребление. Мы уже видели убедительные коммерческие доказательства, показывающие возможности большой базы специализированных, специализированных приложений. От творческих приложений искусственного интеллекта — например, Midjourney, Adobe Firefly и других генераторов изображений — до приложений знаний, таких как GitHub Copilot ( его используют более 1 миллиона разработчиков ), Glean и других — эти приложения получили широкое распространение и обеспечили значительную производительность. прибыль.

Прогресс в создании специализированных приложений наиболее высок в отраслях и сценариях использования, которые должны облегчить доставку знаний до точки взаимодействия. Знания будут поступать из их собственных данных с использованием готовых моделей (с открытым исходным кодом или проприетарных), RAG и поставщика облачных услуг по их выбору.

Для создания индивидуальных приложений GenAI, готовых к суровым условиям функционирования в масштабах производства, предприятиям необходимы три элемента: интеллектуальный контекст, релевантность и масштабируемость.

Умный контекст

Давайте кратко рассмотрим, как частные данные используются для генерации полезных, актуальных и точных ответов в приложениях GenAI.

Приложения принимают вводимые пользователем данные в форме всех видов данных и передают их в механизм внедрения, который, по сути, извлекает смысл из данных, извлекает информацию из векторной базы данных с помощью RAG и создает «умный контекст», который может использовать LLM. для генерации контекстуализированного ответа без галлюцинаций, который представляется пользователю в режиме реального времени.

Актуальность

Это не та тема, о которой вы часто слышите в компаниях, занимающихся эксплуатацией баз данных. Но в области ИИ и векторных баз данных релевантность — это сочетание запоминаемости и точности, которое имеет решающее значение для получения полезных, точных, негаллюцинаторных ответов.

В отличие от традиционных операций с базами данных, векторные базы данных позволяют выполнять семантический поиск или поиск по сходству, который по своей природе недетерминирован. По этой причине результаты, возвращаемые для одного и того же запроса, могут различаться в зависимости от контекста и способа выполнения процесса поиска. Именно здесь точность и актуальность играют ключевую роль в том, как векторная база данных работает в реальных приложениях. Естественное взаимодействие требует, чтобы результаты поиска по сходству были точными И соответствовали запрошенному запросу.

Масштабируемость

Приложения GenAI, которые выходят за рамки POC и попадают в производство, требуют высокой пропускной способности. По сути, пропускная способность — это объем данных, которые можно сохранить, получить к ним доступ или извлечь за определенный промежуток времени. Высокая пропускная способность имеет решающее значение для предоставления интерактивных функций с интенсивным использованием данных в реальном времени в большом масштабе; при записи часто используются миллиарды векторов из нескольких источников, а приложения GenAI могут генерировать огромное количество запросов в секунду.

Подведение итогов

Как и предыдущие волны технологических инноваций, GenAI следует устоявшейся схеме, и все признаки указывают на то, что он движется даже быстрее, чем предыдущие технологические революции. Если отбросить всю негативную и положительную шумиху по этому поводу, становится ясно, что многообещающий прогресс достигается компаниями, работающими над переводом своих POC-приложений GenAI в производство.

И такие компании, как мой работодатель DataStax, которые предоставляют масштабируемую и простую в создании основу для этих приложений, начнут видеть преимущества потребления своих клиентов раньше, чем некоторые могут подумать.

Эд Ануфф, DataStax

Узнайте больше о том, как DataStax позволяет клиентам запускать свои приложения GenAI в рабочую среду .