paint-brush
От открытого ИИ к закрытому ИИ: кастомные чипы закрывают двери — что дальше?к@bigmao
449 чтения
449 чтения

От открытого ИИ к закрытому ИИ: кастомные чипы закрывают двери — что дальше?

к susie liu11m2024/11/20
Read on Terminal Reader

Слишком долго; Читать

Ходят слухи, что OpenAI работает с Broadcom над разработкой собственных чипов. В этот слух вписано сообщение о том, что дни общедоступного ИИ могут быть сочтены — вот почему дизайнерское оборудование неизбежно, как технологии могут использовать чипы, чтобы сковать нас, и чего ожидать от 2025 года.
featured image - От открытого ИИ к закрытому ИИ: кастомные чипы закрывают двери — что дальше?
susie liu HackerNoon profile picture
0-item
1-item
2-item

В конце октября появились сообщения — любезно предоставленные Reuters — о том, что OpenAI работает с Broadcom над разработкой специального кремния, предназначенного для обработки колоссальных рабочих нагрузок ИИ . Источники сообщили, что компания обеспечила производственные мощности TSMC и собрала команду из 20 инженеров , переманив бывших ветеранов из подразделения процессоров Tensor компании Google. Сроки производства остаются гибкими, и чипы могут быть выпущены не позднее 2026 года , но уже закладывается основа для кардинального сдвига в том, как OpenAI управляет своей инфраструктурой.


Хотя этот шаг действительно соответствует текущей стратегии OpenAI по диверсификации своей цепочки поставок и контролю за растущими расходами на инфраструктуру, в этот слух можно вписать сообщение о том, что дни общедоступного ИИ могут быть сочтены. Будущее ИИ — это не более большой, яркий мир, открытый для любого человека с блестящим умом, а VIP-зал с индивидуальными чипами вместо стен , где членский взнос составляет миллиард долларов.


Нестандартное оборудование, несомненно, принесет прорывы , но также и создаст барьеры , баррикады, которые оставят широкую общественность — и большинство других игроков — в стороне, наблюдая за происходящим.


И, возможно, именно этого и хотели технологии с самого начала.


Давайте рассмотрим, почему гонка вооружений в области оборудования неизбежна, какую роль чипы играют в более масштабной стратегии доминирования технологий и чего ожидать дальше.

Индивидуальные чипсы: необычный способ сказать: «Мы застряли»

ИИ заставил нас мечтать о большем — обо всем, от персонализированных терапевтических ботов до автономных доставочных дронов и диагностики на основе ИИ на каждом телефоне. Но последний шаг OpenAI по разработке индивидуальных чипов сигнализирует о том , что наши дикие амбиции в отношении ИИ теперь требуют моделей настолько внушительных, что даже самые мощные процессоры общего назначения размахивают белым флагом . Индивидуальный кремний — это не о том, чтобы сделать ИИ быстрее, лучше и свободнее, а о том, чтобы удержать все это на плаву в условиях постоянно растущих требований — молчаливое признание того, что мы достигли инновационного потолка, преодолеть который может только аппаратное обеспечение.


Вот что движет потребностью в изготовлении специализированных кремниевых чипов.


Настоящая личность ChatGPT: высокие требования к обслуживанию

Мудрость LLM, таких как GPT-4 и Gemini, основана на моделях на основе трансформаторов , которые отслеживают миллиарды параметров. Но этот интеллект имеет свою цену : основа механизмов самовнимания , требующих массивных умножений матриц, которые поглощают полосу пропускания памяти. Архитектура трансформаторов также требует масштабирования квадратичной сложности , что означает, что расширение модели увеличивает требования экспоненциально . Когда LLM пытаются повысить уровень своей игры с помощью наложения слоев на обучение с подкреплением (RL) , чтобы адаптироваться к обратной связи в реальном времени, или пытаются сопоставить соединения с помощью графовых нейронных сетей (GNN) , все превращается в серьезную вечеринку с данными, заставляя требования к мощности зашкаливать. Если вы заметили, что в последнее время у ChatGPT случаются приступы эпилепсии, вот почему .


Специальные чипы, такие как TPU от Google, могут решить эти проблемы за счет интеграции в чип памяти с высокой пропускной способностью (HBM) , управления перемещением данных и улучшения иерархий памяти для сокращения задержек, а также использования систолических массивов для распараллеливания матричных операций.

Генеративный ИИ: от результатов до сбоев

Генеративный ИИ переходит от предоставления отдельных результатов, таких как текст или изображения, к кросс-модальным шедеврам посредством смешивания нескольких форм медиа (текста, аудио, видео). Это техническое колдовство порождает вычислительный хаос — у каждой модальности есть свои потребности в обработке, и просьба к ИИ обработать все одновременно нагружает универсальные графические процессоры, которые не были разработаны для того, чтобы быть мастерами жонглерства. Кроме того, модели синтеза в реальном времени для расширенных функций взаимодействия, таких как динамически адаптивные сюжетные линии для игр или фильтры SFX для потоковой передачи, требуют сверхнизкой задержки и высокой скорости вывода, требования, которые графические процессоры с трудом справляются без внесения задержек и заоблачных счетов за электроэнергию.


Пользовательские кристаллы, такие как NVIDIA A100 и Google TPU, решают эти проблемы с помощью многоэкземплярных GPU (MIG) и тензорных ядер , что позволяет проводить энергоэффективные кросс-модальные вычисления в реальном времени, разделяя задачи на параллельные изолированные процессы на одном чипе. Также может быть введена арифметика пониженной точности , чтобы обеспечить обработку в форматах, таких как FP16 или INT8 вместо FP32, сохраняя точность без расплавления оборудования.

ИИ на грани жизни и смерти: точность, истощающая сеть

Навигация в реальном хаосе с высокими ставками — подумайте об автономном вождении, робототехнике, дронах — требует, чтобы **==событийно-управляемый ИИ ==** реагировал со сверхчеловеческой скоростью, задача, подходящая для нейроморфных и вероятностных моделей , которые сломали бы стандартный чип. Пользовательские чипы, такие как Loihi от Intel, построены с использованием архитектур, которые имитируют биологические нейронные сети, полагаясь на импульсные нейронные сети (SNN) и основанную на событиях обработку для анализа данных только при соответствующих событиях, при этом динамически распределяя ресурсы на основе входящих шаблонов данных. Хотя эта конструкция обеспечивает маломощные и малозадерживаемые операции в масштабе, она несовместима с оборудованием, которое находится на открытом рынке.

Социальный ИИ: Взлом человечества требует больших усилий

Ах, заманчивое, но этически смутное применение ИИ, которое, как надеются титаны, будет держать нас зачарованными их платформами и одурманенными их запрограммированными питомцами. Расшифровка неуловимости человеческой натуры требует систем, которые интерпретируют, предсказывают и адаптируются к поведению как на индивидуальном, так и на общественном уровнях — кросс-модальные механизмы внимания , GNN для анализа коллективных взаимодействий, аффективные вычисления для развития эмоционального интеллекта, графы знаний для обеспечения контекстной релевантности, и этот список можно продолжать. Более того, социальный ИИ может работать в чувствительных контекстах (например, внутри лечащего депрессию робогрызуна), что требует наличия ИИ на устройстве для защиты пользовательских данных . Излишне говорить, что все эти вычисления приводят основные чипы и их пакетную обработку в состояние паралича.


Эти процессы требуют эффективности разреженных данных и высокой точности при малой задержке — требования, которые проектировщики кремниевых чипов могут удовлетворить за счет внедрения таких функций, как унифицированная архитектура памяти , ускорители для конкретных задач , оптимизация разреженных данных (используемая в IPU Graphcore) и оптимизация многомодального слияния .

Научный ИИ: последний рубеж, слишком большой для обычного оборудования

Хотя научный ИИ менее любим СМИ, чем другие области, он готов стать самым революционным рубежом в области искусственного интеллекта . Но только если оборудование сможет выдержать его. Для того, чтобы генеративный научный ИИ создавал новые возможности (например, новые молекулы, материалы и системы), передовые вычислительные структуры, такие как модели диффузии , VAE , трансформаторы и обучение с подкреплением , должны быть объединены со знаниями, специфичными для предметной области. Негенеративный ИИ, используемый для предиктивного моделирования и симуляции, имеет дело с данными в масштабе петабайт и многомерными системами, используя такие механизмы, как решатели уравнений в частных производных , GNN , байесовские модели и конечно-элементный анализ (FAE) . Хотя эти две ветви научного ИИ служат разным целям, обе требуют точности, масштабируемости и вычислительной интенсивности — критериев, которым могут соответствовать только самые элитные механизмы как генеративного, так и предиктивного ИИ. Нетрудно догадаться, что готовое оборудование не подойдет.

Смерть открытого ИИ и очарование исключительности

Путь к изготовлению кремния на заказ сопряжен с ценой, которая почти гарантирует стратификацию доступа к ИИ. Экономика 101: чтобы покрыть астрономические расходы, OpenAI (и все, кто последует этому примеру) неизбежно переложат бремя на клиентов, объединяя доступ в предложение, которое заставит наши текущие подписки выглядеть как копейки на долларе .


Но не стоит путать завышенные цены и иерархическую систему, где финансовая мощь является обязательным условием, с тактикой выживания в ответ на обстоятельства; это стратегическая возможность, поскольку эксклюзивность — это не ошибка, а функция, которую так долго ждали технологии.


Vendor Lock-In 2.0: объединение компаний с помощью чипов

Фирменное оборудование вносит гравитационное поле : как только предприятия встраиваются в экосистему, которая объединяет программное обеспечение и индивидуальный кремний, они фактически связаны ею. Вплетение программного стека в кремний создает механизм, в котором системы могут функционировать на пике только в доменах поставщика — необратимая установка , в которой оборудование диктует программное обеспечение . После того, как компании построят свои приложения и рабочие процессы вокруг этой индивидуальной среды, уход — это не просто вопрос переноса данных или лицензий на программное обеспечение, а реинжиниринг с нуля — как попытка перенести прогресс с PS на Xbox .


И по мере того, как оборудование обновляется, интеграция становится более бесшовной, что делает затраты на выход все выше с каждым обновлением . С повышением производительности приходит укрепленная лояльность — как и в большинстве вертикально интегрированных экосистем, переключение означает начало заново.

Индивидуальные фишки, индивидуальные правила: уничтожение конкуренции с помощью дизайна

Пользовательский кремний фрагментирует экосистему ИИ в огороженные сады, где совместимость, которая определила ранний бум ИИ, умирает. Благодаря повышенной эффективности и контролю, предлагаемым пользовательскими чипами, OpenAI может устанавливать стандарты (такие как планки производительности, функции и требования к совместимости), которые вращаются вокруг его собственных систем и интеллектуальных патентов , маргинализируя инициативы с открытым исходным кодом и более мелких игроков, которые не могут конкурировать с аппаратно-зависимыми достижениями. Если у вас есть идея, вам, возможно, придется принести ее в OpenAI и пресмыкаться для аппаратной поддержки, как технари в настоящее время выстраиваются в очередь за вращающимися дверями NVIDIA.


Пользовательский кремний создает пробел в знаниях , а также пробел в доступе. Разрабатывая аппаратное обеспечение, оптимизированное для фирменных архитектур ИИ, OpenAI не только ускоряет свои собственные модели, но и создает непонятные экосистемы , которые конкуренты не могут эффективно реконструировать или реплицировать. Эта асимметрия обучения эффективно блокирует конкурентов от обучения или инноваций в рамках той же парадигмы, превращая эксклюзивность в оружие для замедления общеотраслевого прогресса.


Эксклюзивное оборудование становится препятствием для инноваций , позволяя поставщикам контролировать темпы прогресса и гарантируя, что они останутся в центре следующей главы ИИтой, где талант и креативность уступают силе сырого капитала .

За закрытыми фишками: непрозрачность обеспечивает доминирование

В отличие от программного обеспечения, которое можно подвергнуть обратному проектированию или форкнуть, аппаратные процессы физически непрозрачны и их трудно деконструировать, не прожигая пачки денег. Этот непроницаемый слой абстракции выступает в качестве окончательной цитадели, укрепляя претензии OpenAI на Железный трон ИИ.


Обход контроля: ответственность без ответов


Индивидуальный кремний предлагает удобный щит для пытливых глаз регулирующих органов и жестких вопросов СМИ и групп поддержки посредством добавления слоев сложности, которые усложняют объяснение внутренней работы систем и еще более затрудняют аудит. Компании могут утверждать, что определенные результаты не являются преднамеренными недостатками дизайна, а побочными продуктами взаимодействия аппаратного и программного обеспечения, отвлекая внимание, указывая на присущую системе непрозрачность.


Предсказуемые параметры производительности также могут быть встроены для снижения изменчивости системы при развертывании в определенных критических средах. Эта непрозрачность гарантирует, что компаниям не придется раскрывать компромиссы или уязвимости в своих моделях, особенно в таких отраслях, как здравоохранение, финансы или оборона, где надежность имеет первостепенное значение.


Внутреннее страхование: защита королевских драгоценностей


Поскольку большинство компаний ИИ полагаются на распределенную рабочую силу, подрядчиков или поставщиков облачной инфраструктуры, риск утечки интеллектуальной собственности растет. Благодаря универсальности языков программирования и фреймворков программное обеспечение по своей сути является переносимым и воспроизводимым. Напротив, разработка оборудования в значительной степени контекстуальна , зависит от специализированных и изолированных знаний и доступа к определенным производственным конвейерам, процессам и объектам — эта раздробленность означает, что ни один инженер не обладает достаточными знаниями или ресурсами, чтобы сотворить волшебство для конкурента. Сваривая инновации в чипы, OpenAI привязывает свою интеллектуальную собственность к инфраструктуре, а не к отдельным лицам , сводя к минимуму риск потери конкурентного преимущества, когда инженеры подают заявление об увольнении.

Сетевой эффект: превращение восприятия в реальность


Сделав внутреннюю работу систем ИИ недоступной, OpenAI гарантирует, что только они могут определять и контролировать повествование об их возможностях . Подобно тому, как графические процессоры NVIDIA стали синонимом производительности ИИ благодаря оптимизированным для их архитектуры бенчмаркам, OpenAI может создать свои собственные метрики, привязанные к их кристаллу, обрамляя постепенные улучшения как меняющие правила игры . Отсутствие прозрачности также означает, что выборочные вехи производительности (например, «вывод в 5 раз быстрее»), достигнутые за счет незначительной аппаратной оптимизации, могут быть представлены как подлинные прорывы , извлекая выгоду из того, что их воспринимают как пионера, скрывая компромиссы или ограничения.


Не имея возможности сравнить или подтвердить заявления, клиенты, инвесторы и СМИ остаются верными пиар-рассказам компании. Ложь может обойти полмира, пока правда еще надевает туфли: вскоре мы все купимся на эту сфальсифицированную версию «инновации», отдадим деньги и заголовки, и сфабрикованное доминирование станет осязаемой реальностью.

Эта иллюзия представляет собой не только техническую, но и брендинговую стратегию, превращающую непрозрачность в инструмент для устойчивого лидерства на рынке.

Прогноз на 2025 год: будут инновации, но не для вас


Аппаратное обеспечение — это узкое место, но технологии никогда не замедлялись из-за «лежачего полицейского». Просто не обманывайтесь — настоящие достижения послужат укреплению корпоративного влияния и конкурентного контроля, в то время как новинки, представленные простым людям и компаниям, будут замаскированными под слои PR-акциями.

Потребительские игрушки: данные, отвлечение внимания и потеря бдительности

Думаете, что рабочая нагрузка по разработке оборудования остановит операции потребителей? Нет, все будет выглядеть так, как будто все ускорится , потому что мы будем продолжать передавать наши поведенческие данные только в обмен на « прогресс ». Но теперь, когда наши бабушки и дедушки находят развлечение в чат-ботах, технологии перейдут от попыток увлечь вас дворецкими к трюкам, которые кажутся из «Назад в будущее». (Не волнуйтесь, технологии будут периодически делать этим причудливым помощникам подтяжку лица, чтобы они оставались свежими на нашем радаре. Сообщается, что OpenAI представит агента ИИ под названием «Оператор» в январе 2025 года. Источники указывают, что Operator будет напрямую взаимодействовать с вашим компьютером, в первую очередь функционируя как улучшение рабочего процесса и инструмент веб-браузера, автоматизируя задачи и оптимизируя онлайн-опыт. Итак, настольный шпион.)


Большие собаки перейдут от программного обеспечения к изящным гаджетам, чтобы привлечь утонченных — Altman только что перехватил бывшего руководителя отдела оборудования Orion Кейтлин Калиновски, Zuck работает над роботизированными руками, даже Cook обдумывает идею умных домашних устройств. Уолл-стрит выведет абсурд на рынок, от диковинных продуктов, таких как жуткое ожерелье Friend, до сомнительных приложений, таких как Daze.


Непрекращающаяся шумиха и заголовки не просто подтолкнут нас к покупкам; они подорвут нашу защиту, заставив нас с радостью принять все, что преподнесет нам будущее искусственного интеллекта, дополненного аппаратными средствами.

Корпоративные инструменты: масштабирование в глубину, а не в ширину

Настоящие деньги лежат в кошельках учреждений, а не отдельных лиц. Но предприятия будут принимать только те решения, которые бьют по больному месту, а это значит, что ИИ нужно выходить за рамки поверхностных болевых точек. В следующем году речь пойдет не об универсальных инструментах, которые смягчат бизнес в отношении идеи ИИ, а о предметно-ориентированных моделях, которые откроют алгоритмам все мельчайшие тонкости каждого сектора, отдела, команды и сотрудника.


Показательный пример : Microsoft в сотрудничестве с Siemens , Bayer и Rockwell только что запустили набор моделей ИИ для решения конкретных задач в производстве, сельском хозяйстве и финансовых услугах. Нишевые стартапы ИИ также пожинают плоды — Breakr для музыкального маркетинга, Dreamwell для автоматизации инфлюенсеров, Beeble для VFX, и это только за последние пару месяцев. Аналитики прогнозируют, что рыночная капитализация вертикального ИИ будет как минимум в 10 раз больше, чем у устаревшего вертикального SaaS.

Охраняемый гений: пионер для престижных

Технологии берегут свои лошадиные силы для преобразующих достижений, которые свяжут их будущее с будущим элиты: корпоративных гигантов и правительств. OpenAI представляет Трампу проект инфраструктуры искусственного интеллекта в США, а Anthropic только что заключила партнерство с оборонным подрядчиком Palantir, чтобы «быстро обрабатывать огромные объемы сложных данных, повышать уровень аналитических данных, более эффективно выявлять закономерности и тенденции, упрощать рассмотрение и подготовку документов и помогать должностным лицам США принимать более обоснованные решения в ситуациях, требующих срочности». Microsoft сотрудничает с BlackRock, IBM в сговоре с AWS, а Google ушла в Саудовскую Аравию .


Что стоит за партнерством? Только время покажет.

Заключительные мысли: пример для Зала славы связей с общественностью


Сказка об ИИ для всех — обещание совместных инноваций и всеобщего доступа — всегда казалась слишком хорошей, чтобы быть правдой. Но оглядываясь назад, могли ли те же визионеры, которые взломали код самого интеллекта, действительно быть ошеломленными неизбежностью заказного кремния и миллиардных бай-инов?


Этот автор не убежден.


И теперь, представляя поворот в аппаратном обеспечении как героический ответ на растущие требования ИИ, такие компании, как OpenAI, ловко обходят стороной реальность, к которой они стремились с самого начала, стремясь к эксклюзивности.


«Открытость» всегда была всего лишь брендинговым ходом, PR-кампанией, разрабатывавшейся десятилетиями, а демократия — всего лишь лозунгом.


Возможно, самым революционным аспектом ИИ является не сама технология, а повествование, которое нам преподнесли.