Битва между проприетарным и открытым исходным кодом ИИ

Приготовьтесь, ребята, ИИ захватывает мир!

Ну, возможно, это еще не совсем так. Но тем не менее, вы не можете отрицать уровень воздействия, которое оно оказало за последние 12 месяцев.

Самое странное во всем этом то, что « искусственный интеллект » как концепция и как область исследования не так уж и нова, но он «кажется» новым со всеми чат-ботами и инструментами на базе искусственного интеллекта, появившимися в этом году.

Более важным является тот факт, что к этому времени в прошлом году единственным широко известным инструментом искусственного интеллекта был GPT-3, а затем ChatGPT. Но теперь вам может быть сложно отслеживать все доступные инструменты искусственного интеллекта, чат-ботов и LLM.

Все они делятся на 2 категории:

Закрытый исходный код (например, ChatGPT и Claude)

Открытый исходный код (например, Falcon или Mistral)

И вот тут становится интересно.

Какими бы популярными и отточенными ни были проприетарные модели ИИ, существуют модели с открытым исходным кодом, которые производят фурор в сфере ИИ и превосходят свою весовую категорию.

Именно это мы и рассмотрим в этой статье. Учитывая такую революционную технологию, как искусственный интеллект, является ли проприетарное программное обеспечение, похожее на «черный ящик», подходящим вариантом, или лучше использовать открытый исходный код?

На этот и другие вопросы ответим в сегодняшнем выпуске.

Открытый или Закрытый? Вот в чем вопрос

Начнем с того, что весь научный процесс построен на принципах честности, добросовестности и прозрачности. Это предполагает открытость, сотрудничество и экспертные оценки для подтверждения выводов.

Многие из крупнейших научных достижений в мире, такие как пастеризация, пенициллин и удобрения, стали возможны благодаря совместной работе многих ученых на протяжении многих лет.

Зачастую они решали большую проблему там, где на тот момент у них не хватало ресурсов. Они опубликовали свои выводы, и много лет спустя ученые использовали их в качестве основы для разработки решения первоначальной проблемы на благо человечества.

И это также относится к технологиям с открытым исходным кодом. Мир изменился, когда компьютеры превратились из огромных машин, занимавших целые комнаты, в устройства, которые могут быть в каждом доме.

А потом появился Интернет, который стал еще одним шагом вперед в предоставлении доступа к технологиям многим людям, а не немногим привилегированным.

Тим Бернерс-Ли изобрел Всемирную паутину в 1989 году и сделал ее доступной для всех без каких-либо патентов и гонораров. Это способствовало быстрому росту Интернета и множеству инноваций, появившихся в следующем десятилетии.

Похожая история происходит с операционными системами, например, Windows или Linux. То же самое произошло и с веб-технологиями.

Учитывая все эти предыдущие примеры, становится понятно, что такая революционная технология, как ИИ, может (или должна) пойти по аналогичному пути.

Итак, давайте посмотрим, как обе стороны (ИИ с закрытым и открытым исходным кодом) продвинулись в этом году.

Состояние патентованного ИИ

На данный момент ни для кого не новость то влияние, которое оказал ChatGPT , когда он был выпущен в ноябре прошлого года. А до конца года проприетарный ИИ стал притчей во языцех.

В марте 2023 года был выпущен преемник GPT-3 — GPT-4. Это событие положило начало гонке ИИ.

Вскоре в борьбу с Бардом вступила Google. Затем появилась Anthropic, основанная бывшими исследователями OpenAI, выпустившая Claude , соперника популярного ChatGPT.

OpenAI на данный момент является компанией с наибольшим количеством «хитов» на рынке.

Это модели GPT, различные версии Dall-E и Whisper. Microsoft также находится там со своим новым и улучшенным чатом Bing (основанным на технологии OpenAI) и Copilot, который скоро будет повсеместно включен.

Google присоединился к гонке с ранним исследовательским проектом Bard, который поначалу всех не впечатлил и заставил нас обратить больше внимания на Microsoft и ее инициативы. Но после этого проекта «научной ярмарки» Google активизировал свою игру и выпустил такие предложения, как Vertex AI, PaLM (и PaLM2), Imagen и Codey.

А еще есть Anthropic с разными версиями мощного Клода (Клод-мгновенный, Клод 2). Самое интересное — это подход, который они использовали для обучения Клода, то, что они называют «конституционным ИИ». Такой подход ставит безопасность на первый план и помогает создавать ИИ, соответствующий человеческим интересам и ценностям.

Это большие достижения в области искусственного интеллекта, которые более широко известны благодаря тому, что они разрабатываются компаниями, имеющими несколько сотрудников, обширные ресурсы и отличные маркетинговые отделы.

Теперь давайте посмотрим на другую сторону медали.

Состояние искусственного интеллекта с открытым исходным кодом

С момента выпуска GPT-4 в гонку ИИ включились не только технологические гиганты, но и появились другие независимые проекты. Это стало возможным благодаря платформам машинного обучения с открытым исходным кодом, таким как TensorFlow и PyTorch.

Stability AI выпустила Stable Diffusion , альтернативу Dall-E, и многие технические энтузиасты активно экспериментировали с ее возможностями до такой степени, что это подняло этические проблемы, касающиеся природы искусства и творчества.

Meta объявила о выпуске квазиоткрытой модели большого языка под названием LLaMA (с несколькими размерами модели, а затем и второй версией).

Эта модель вместе с сервисами Hugging Face (такими как Gradio, Spaces, Transformers) вызвала революцию, поскольку впервые люди во всем мире получили доступ к технологиям с открытым исходным кодом, которые могли конкурировать с ChatGPT или PaLM.

А знаете ли вы, что происходит, когда у группы технических специалистов, хакеров и энтузиастов технологий появляется достаточно времени и ресурсов? Да, они могут сходить с ума, строя что-то.

Нишевые интернет-форумы и IRC-каналы 90-х годов с появлением Интернета были заменены дискуссиями Hugging Face, выпусками GitHub и серверами Discord.

Еще одним фактором, который способствовал росту открытого исходного кода, стал набор данных Pile от EleutherAI. Эта инициатива помогла развить обучение без присмотра и самоконтроля, уменьшив потребность в больших наборах размеченных данных.

Благодаря большим языковым моделям, наборам данных для их обучения и точной настройки, а также уменьшенным требованиям к вычислениям вскоре возникла целая экосистема продуктов и услуг.

(Когда я говорю о сниженных требованиях к вычислениям, я имею в виду, что LLM не нуждаются в куче параметров для получения качественных результатов, генерируемых проприетарными моделями, это демонстрируют такие модели, как LLaMA 13B и Mistral 7B )

В этом пространстве есть масса проектов, предварительно обученных и точно настроенных моделей, наборов данных и инструментов, доступных каждому, кто хочет присоединиться и сотрудничать с другими.

Теперь у нас есть различные типы чат-ботов, работа которых не зависит от GPT-3/GPT-4, например Zephyr-chat, LLaMA2-chat, Mistral-instruct и Falcon-chat.

LLM, точно настроенные для генерации кода и помощи, такие как Code-LLaMA , CodeGen и StarCoder .

Многоязычная языковая модель открытого доступа под названием Bloom .

Мультимодальные LLM (это не просто текст), такие как LLaVA и Fuyu .

Таблица лидеров Hugging Face, в которой оцениваются и ранжируются все существующие модели с открытым исходным кодом.

Несколько наборов данных для предварительного обучения и тонкой настройки LLM, таких как RedPajama или OpenOrca .

А совсем недавно у нас появились более автономные модели, называемые «агентами ИИ».

Самые популярные из них работают на GPT-3.5, но есть и другие, основанные на LLaMA.

И кажется, мы спешим создать агентов, которые не застревают в циклах или могут выполнять задачи самостоятельно, не выдавая кучу текста, который выглядит убедительно, но либо неточно, либо просто неправильно.

Только за последние 6 месяцев был достигнут огромный прогресс, и вы можете быть уверены, что ни один фронт не демонстрирует признаков замедления.

Идти вперед

Даже несмотря на весь головокружительный и стремительный прогресс, который мы наблюдали в прошлом году, мы все еще находимся на ранней стадии разработки ИИ. Есть несколько вещей, которые нам нужно выяснить, различные аспекты, которые следует учитывать, такие как конфиденциальность ИИ, этика, встроенные предубеждения и так далее.

Как и во всем в жизни, ни одна сторона не является полностью неправой, а другая права. И проприетарный, и открытый ИИ имеют свои плюсы и минусы.

Собственный ИИ может использовать больший объем ресурсов для обучения новым и более мощным моделям, обеспечивая при этом доступ к людям в более широком масштабе. Но они действуют как черный ящик, им не хватает наблюдаемости, и их интересы могут быть больше связаны с крупными игроками с деньгами, чем с обычным потребителем.

С другой стороны, ИИ с открытым исходным кодом выигрывает от сотрудничества во всем мире, прозрачности и открытых инноваций. Но ей не хватает организации и ресурсов для более амбициозных инициатив, и она окажется под угрозой, если будут установлены более строгие правила.

Вопрос теперь в том, как мы можем поддерживать прогресс в области искусственного интеллекта гибридным способом.

Способ, с помощью которого мы можем совместно сотрудничать с некоторыми из самых ярких умов в этой области и располагать необходимыми ресурсами для продвижения этих инноваций ответственным образом, который ставит безопасность и конфиденциальность на первый план.

Способ, при котором интересы и выгоды немногих не превосходят интересы и выгоды остальных из нас. Способ, при котором такая революционная технология, как ИИ, не будет приватизирована, ограничена или использована в качестве оружия против групп людей, считающихся «врагами» великих держав.

Мы переживаем уникальный момент в истории, когда решения, которые мы принимаем, и то, как мы обращаемся с технологиями, будут определять, как сложится будущее, к лучшему или к худшему.

Спасибо за прочтение.

Не забудьте подписаться на Хакернон и не пропустите ближайшие статьи.