paint-brush
Від відкритого штучного інтелекту до закритого штучного інтелекту: спеціальні мікросхеми закривають двері — що далі? за@bigmao
Нова історія

Від відкритого штучного інтелекту до закритого штучного інтелекту: спеціальні мікросхеми закривають двері — що далі?

за susie liu11m2024/11/20
Read on Terminal Reader

Надто довго; Читати

Ходять чутки, що OpenAI співпрацює з Broadcom над розробкою спеціальних мікросхем. У цих чутках міститься повідомлення про те, що дні загальнодоступного штучного інтелекту можуть бути полічені — ось чому дизайнерське обладнання неминуче, як технології можуть використовувати чіпи, щоб зв’язати нас, і чого очікувати від 2025 року.
featured image - Від відкритого штучного інтелекту до закритого штучного інтелекту: спеціальні мікросхеми закривають двері — що далі?
susie liu HackerNoon profile picture
0-item
1-item
2-item

Наприкінці жовтня з’явились повідомлення — люб’язно надані Reuters — про те, що OpenAI співпрацює з Broadcom над розробкою спеціального кремнію, спеціально розробленого для виконання колосальних робочих навантажень ШІ . Джерела розкрили, що компанія забезпечила виробничі потужності з TSMC і зібрала команду з 20 інженерів , вилучивши колишніх ветеранів з процесорного підрозділу Google Tensor. Виробничі графіки залишаються гнучкими, і чіпи потенційно вийдуть на ринок аж до 2026 року , але вже закладається основа для сейсмічної зміни в тому, як OpenAI обробляє свою інфраструктуру.


Незважаючи на те, що цей крок справді узгоджується з поточною стратегією OpenAI щодо диверсифікації свого ланцюга постачання та контролю за зростаючими витратами на інфраструктуру, цей чуток може бути повідомленням про те, що дні загальнодоступного ШІ можуть бути полічені. Майбутнє штучного інтелекту — це не більший, яскравіший світ, відкритий для будь-кого з блискучим розумом — це VIP-зал із власними фішками для стін , де членський внесок становить мільярд доларів.


Нестандартне обладнання, без сумніву, принесе прориви , але також створить бар'єри ; барикади, які залишають широку громадськість — і більшість інших гравців — ззовні дивитися.


І це може бути саме те, чого весь час прагнули технології.


Давайте подивимося, чому гонка озброєнь апаратного забезпечення неминуча, як чіпи впливають на більш масштабну стратегію домінування технологій і чого очікувати далі.

Спеціальні фішки: химерний спосіб сказати, що ми застрягли

Штучний інтелект змусив нас мріяти про все: від персоналізованих терапевтичних ботів до автономних безпілотних літальних апаратів і діагностики за допомогою ШІ на кожному телефоні. Але останні кроки OpenAI щодо розробки нестандартних чіпів сигналізують про те , що наші дикі амбіції щодо штучного інтелекту тепер потребують таких потужних моделей, що навіть найпотужніші процесори загального призначення махають білим прапором . Custom silicon не для того, щоб зробити штучний інтелект швидшим, кращим і вільнішим, а для того, щоб утримати все на плаву в умовах постійно зростаючих вимог — мовчазне визнання того, що ми досягли інноваційної стелі, яку може подолати лише апаратне забезпечення.


Ось що зумовлює потребу в спеціальному кремнії.


Справжня особистість ChatGPT: високий рівень обслуговування

Мудрість таких LLM, як GPT-4 і Gemini, заснована на моделях на основі трансформаторів , які відстежують мільярди параметрів. Але цей інтелект має свою ціну : основа механізмів самоконтролю , які вимагають масивних множень матриць, які поглинають пропускну здатність пам’яті. Архітектура трансформаторів також вимагає квадратичного масштабування складності , що означає, що розширення моделі експоненціально підвищує вимоги. Коли магістратури намагаються підвищити рівень своєї гри за допомогою багаторівневого навчання з підкріпленням (RL) , щоб адаптуватися до зворотного зв’язку в режимі реального часу, або намагаються відобразити зв’язки за допомогою графових нейронних мереж (GNN) , все перетворюється на серйозну партію даних, посилаючи вимоги до потужності через дах. Якщо ви помітили, що останнім часом у ChatGPT періодично трапляються напади епілепсії, ось чому .


Спеціальні чіпи, як-от TPU від Google, можуть вирішити ці проблеми шляхом інтеграції пам’яті з високою пропускною здатністю (HBM) у чіп, керування переміщенням даних та покращення ієрархій пам’яті для зменшення затримки, а також використання систолічних масивів для розпаралелювання матричних операцій.

Генеративний штучний інтелект: від виходу до збоїв

Генеративний штучний інтелект переходить від надання окремих результатів, таких як текст або зображення, до крос-модальних шедеврів шляхом змішування різних форм медіа (текст, аудіо, відео). Це технічне чаклунство породжує обчислювальний хаос — кожна модальність має певні потреби в обробці, і запит штучного інтелекту перетравлювати все одночасно навантажує графічні процесори загального призначення, які не створювалися як майстерні жонглери. Крім того, моделі синтезу в реальному часі для покращених функцій взаємодії, таких як динамічно адаптивні сюжетні лінії для ігор або SFX-фільтри для прямих трансляцій, вимагають наднизької затримки та високої швидкості висновку, вимоги, які графічні процесори не можуть виконати без затримок і неба. - високий рахунок за електроенергію.


Спеціальні процесори, такі як A100 від NVIDIA та TPU від Google, вирішують ці проблеми за допомогою графічних процесорів із кількома екземплярами (MIG) і тензорних ядер , що забезпечує енергоефективне міжмодальне обчислення в режимі реального часу шляхом розподілу завдань на паралельні ізольовані процеси на одному чіпі. Також можна запровадити арифметику зі зниженою точністю, щоб дозволити обробку в таких форматах, як FP16 або INT8 замість FP32, зберігаючи точність без розплавлення обладнання.

Штучний інтелект на життя чи смерть: точність, яка виснажує мережу

Навігація в хаосі реального світу з високими ставками — подумайте про автономне водіння, робототехніку, дрони — вимагає, щоб **==штучний інтелект, керований подіями ==**реагував із надлюдською швидкістю, завдання, яке підходить для нейроморфних і імовірнісних моделей , які б порушили чіп полиці. Спеціальні чіпи, такі як Loihi від Intel, побудовані з архітектурою, яка імітує біологічні нейронні мережі, покладаючись на імпульсні нейронні мережі (SNN) і обробку на основі подій , щоб аналізувати дані лише за відповідних подій, одночасно динамічно розподіляючи ресурси на основі шаблонів вхідних даних. Хоча ця конструкція забезпечує масштабні операції з низьким енергоспоживанням і малою затримкою, вона несумісна з апаратним забезпеченням, яке доступне на відкритому ринку.

Social AI: Cracking Humanity Takes Heavy Lifting

Ах, привабливе, але етично туманне застосування штучного інтелекту, яке, як сподіваються титани, зробить нас зачарованими їхніми платформами та одурманеними їхніми запрограмованими вихованцями. Розшифровка невловимості людської природи потребує систем, які інтерпретують, передбачають і адаптують поведінку як на індивідуальному, так і на суспільному рівнях — крос-модальні механізми уваги , GNN для аналізу колективних взаємодій, афективне обчислення для розвитку емоційного інтелекту, графіки знань для забезпечення контекстуальної релевантності, і цей список можна продовжувати. Крім того, соціальний штучний інтелект може працювати в чутливих контекстах (наприклад, усередині робо-гризуна, який лікує депресію), що потребує встановлення штучного інтелекту на пристрої для захисту даних користувачів . Зайве говорити, що всі ці обчислення призводять до паралічу основних чіпів і їх пакетної обробки.


Ці процеси вимагають ефективності розріджених даних і високої точності при низькій затримці . Це вимоги, які дизайнерський кремній може задовольнити завдяки впровадженню таких функцій, як уніфікована архітектура пам’яті , прискорювачі для конкретних завдань , оптимізація розріджених даних (використовується в IPU Graphcore) і оптимізація мультимодального злиття .

Науковий ШІ: остання межа занадто велика для звичайного обладнання

Незважаючи на те, що науковий штучний інтелект є менш улюбленим засобом масової інформації, ніж інші сфери, він готовий стати найглибшою революційною межею штучного інтелекту . Але лише за умови, що апаратне забезпечення витримає. Щоб генеративний науковий штучний інтелект створював нові можливості (наприклад, нові молекули, матеріали та системи), передові обчислювальні структури, такі як дифузійні моделі , VAE , трансформатори та навчання з підкріпленням , повинні поєднуватися з предметно-специфічними знаннями. Негенеративний штучний інтелект, який використовується для прогнозного моделювання та симуляції, має справу з петабайтними даними та системами великої розмірності, використовуючи такі механізми, як розв’язувачі PDE , GNN , байєсовські моделі та аналіз кінцевих елементів (FAE) . Хоча дві гілки наукового ШІ служать різним цілям, обидві вимагають точності, масштабованості та інтенсивності обчислень — критеріїв, яким можуть відповідати лише найелітніші механізми як генеративного, так і прогнозного ШІ. Незрозуміло, що готове обладнання не підійде.

Відкритий ШІ смерті та чарівність ексклюзивності

Шлях до спеціального кремнію має ціну, яка майже гарантує стратифікацію доступу до ШІ. Економіка 101: щоб покрити астрономічні витрати, OpenAI (і всі, хто наслідує його приклад) неминуче перекладуть тягар на клієнтів, об’єднавши доступ у пропозиції, які зроблять наші поточні підписки схожими на копійки за долар .


Але не плутайте завищені ціни та ієрархічну систему, де фінансова сила є необхідною умовою, як реактивну тактику виживання; це стратегічна можливість, тому що ексклюзивність не є помилкою; це функція, на яку чекали технології.


Vendor Lock-In 2.0: об’єднання компаній через чіпи

Власне апаратне забезпечення створює гравітаційне поле : коли підприємства вбудовуються в екосистему, яка поєднує програмне забезпечення та нестандартний кремній, вони фактично зв’язуються нею. Вплетення стека програмного забезпечення в кремній створює механізм, за якого системи можуть функціонувати на піку лише в межах доменів постачальника — незворотна установка , коли апаратне забезпечення диктує програмне забезпечення . Після того, як компанії будують свої програми та робочі процеси на основі цього спеціального середовища, відхід — це не просто передавання даних чи ліцензій на програмне забезпечення, а переробка з самого початку — як спроба перенести прогрес із PS на Xbox .


І в міру того, як апаратне забезпечення повторюється, інтеграція стає більш бездоганною, що призводить до зростання витрат на вихід з кожним оновленням . З підвищенням продуктивності приходить міцна лояльність — як і в більшості вертикально інтегрованих екосистем, перехід означає почати все спочатку.

Спеціальні фішки, власні правила: вбивство конкуренції задумом

Спеціальний кремній фрагментує екосистему штучного інтелекту на огороджені сади, де взаємодію, яка визначила ранній бум штучного інтелекту, вмирає. Завдяки високій ефективності та контролю, які пропонують спеціальні мікросхеми, OpenAI може встановлювати стандарти (наприклад, показники продуктивності, функції та вимоги до сумісності), які обертаються навколо його власних систем та інтелектуальних патентів , маргіналізуючи ініціативи з відкритим кодом і менших гравців, які не можуть конкурувати з апаратно-залежними досягненнями. Якщо у вас є ідея, вам, можливо, доведеться подати її в OpenAI і шукати апаратну підтримку, як технарі зараз шикуються біля обертових дверей NVIDIA.


Спеціальний кремній створює прогалину в знаннях, а також прогалину в доступі. Розробляючи апаратне забезпечення, оптимізоване для приватних архітектур штучного інтелекту, OpenAI не тільки прискорює власні моделі, але й створює незрозумілі екосистеми , які конкуренти не можуть перепроектувати або ефективно відтворити. Ця асиметрія навчання фактично блокує конкурентів від навчання або впровадження інновацій у рамках однієї парадигми, використовуючи ексклюзивність як зброю для уповільнення розвитку всієї галузі.


Ексклюзивне апаратне забезпечення стає блокадою інновацій , що дозволяє постачальникам контролювати темп прогресу та гарантує, що вони залишаються в центрі наступної глави штучного інтелектутієї, де талант і креативність поступаються м’язам сирого капіталу .

За закритими фішками: непрозорість забезпечує домінування

На відміну від програмного забезпечення, яке можна розгалужувати або розгалужувати, апаратні процеси фізично непрозорі , і їх важко деконструювати, не витрачаючи пачки грошей. Цей непроникний шар абстракції діє як остаточна фортеця, зміцнюючи претензії OpenAI на Залізний трон ШІ.


Обхідна перевірка: відповідальність без відповідей


Спеціальний кремній пропонує зручний щит для дослідних очей регуляторів і жорстких запитань ЗМІ та правозахисних груп завдяки додаванню рівнів складності, які ускладнюють пояснення внутрішньої роботи систем і ще важче перевіряють. Компанії можуть стверджувати, що певні результати не є навмисними недоліками конструкції, а є побічними продуктами взаємодії апаратного та програмного забезпечення, що відволікає увагу, вказуючи на притаманну системі непрозорість.


Передбачувані параметри продуктивності також можна запікати, щоб зменшити мінливість системи для розгортання в конкретних критичних середовищах. Ця непрозорість гарантує, що компаніям не потрібно виявляти компроміси чи вразливі місця у своїх моделях, особливо в таких галузях, як охорона здоров’я, фінанси чи оборона, де надійність має першорядне значення.


Внутрішнє страхування: захист коштовностей корони


Оскільки більшість компаній зі штучним інтелектом покладаються на розподілену робочу силу, підрядників або постачальників хмарної інфраструктури, ризик витоку інтелектуальної власності зростає. Завдяки універсальності мов програмування та фреймворків, програмне забезпечення за своєю суттю є переносним і відтворюваним. На відміну від цього, розробка апаратного забезпечення є дуже контекстною , залежить від спеціалізованих і відокремлених знань і доступу до конкретних виробничих конвеєрів, процесів і об’єктів — це розділення означає, що жоден інженер не має достатньо знань чи ресурсів, щоб створити магію для конкурента. Зварюючи інновації в мікросхемах, OpenAI пов’язує свою інтелектуальну власність з інфраструктурою, а не з окремими особами , мінімізуючи ризик втрати конкурентної переваги, коли інженери подають у відставку.

Мережевий ефект: перетворення сприйняття в реальність


Роблячи внутрішню роботу систем штучного інтелекту недоступною, OpenAI гарантує, що лише вони можуть визначати та контролювати розповідь про свої можливості . Подібно до того, як графічні процесори NVIDIA стали синонімом продуктивності штучного інтелекту завдяки тестам, оптимізованим для їхньої архітектури, OpenAI міг створювати власні показники, пов’язані з їхнім кремнієм, розглядаючи поступові вдосконалення як зміни в грі . Відсутність прозорості також означає, що вибіркові етапи продуктивності (наприклад, «у 5 разів швидший висновок»), досягнуті за допомогою незначної оптимізації апаратного забезпечення, можуть рекламуватися як справжні прориви , пожинаючи переваги того, що вас сприймають як піонера, приховуючи компроміси чи обмеження.


Не маючи можливості порівняти чи підтвердити твердження, клієнти, інвестори та засоби масової інформації залишаються довіряти PR-розмовам компанії. Брехня може облетіти півсвіту, поки правда все ще взувається: незабаром ми всі приймемо цю фальсифіковану версію «інновації», передамо гроші та заголовки, а вигадане домінування стане відчутною реальністю.

Ця ілюзія є як стратегією брендингу , так і технічною, перетворюючи непрозорість на інструмент для стійкого лідерства на ринку.

Прогноз на 2025 рік: будуть інновації, але не для вас


Апаратне забезпечення є вузьким місцем, але технологія ніколи не знижувала швидкість. Тільки не обманюйте себе: справжні досягнення послужать консолідації корпоративного впливу та контролю над конкуренцією, тоді як новинки, запропоновані простим людям і компаніям, будуть захопленням даних, замаскованим шарами PR.

Споживчі іграшки: дані, відволікання та ваша охорона знята

Вважаєте, що робоче навантаження на розробку апаратного забезпечення призведе до зупинки споживчих операцій? Ні, здається, що все пришвидшиться , тому що ми будемо продовжувати передавати свої поведінкові дані лише в обмін на « прогрес ». Але тепер, коли наші бабусі й дідусі знаходять розваги в чат-ботах, технологія перейде від спроби захопити вас дворецькими до трюків, наче з «Назад у майбутнє». (Не хвилюйтеся, технології періодично оновлюватимуть ці дивакуваті помічники, щоб вони залишалися свіжими. Повідомляється, що OpenAI представляє агент ШІ під назвою «Operator» у січні 2025 року. Джерела вказують, що Operator безпосередньо взаємодіятиме з вашим комп’ютером, перш за все функціонує як засіб для вдосконалення робочого процесу та як інструмент веб-браузера, автоматизуючи завдання та оптимізуючи роботу в Інтернеті.)


Великі пси переходитимуть від програмного забезпечення до елегантних гаджетів, щоб залучити досвідчених — Альтман щойно змінив колишнього керівника обладнання Orion Кейтлін Каліновскі, Цук працює над роботами, навіть Кук жує думку про розумні домашні пристрої. Уолл-стріт виведе на ринок абсурд, від дивовижних продуктів, таких як моторошне намисто друга, до сумнівних програм, таких як Daze.


Невпинний ажіотаж і заголовки не просто підштовхнуть нас до покупки; вони зруйнують наш захист, змусивши нас із задоволенням прийняти будь-який апаратно-доповнений штучний інтелект у майбутньому.

Корпоративні інструменти: масштабування в глибину, а не в ширину

Справжні гроші лежать у гаманцях установ, а не фізичних осіб. Але підприємства прийматимуть лише ті рішення, які вражають їх там, де їм боляче, а це означає, що штучному інтелекту потрібно вийти за межі болючих точок поверхневого рівня. Наступний рік буде присвячений не інструментам загального призначення, щоб пом’якшити бізнес до ідеї штучного інтелекту, а моделям, орієнтованим на певну область, які відкривають алгоритми для всіх дрібних тонкощів кожного сектора, відділу, команди та співробітника.


Приклад : Microsoft у співпраці з Siemens , Bayer і Rockwell щойно запустила набір моделей штучного інтелекту для вирішення конкретних проблем у виробництві, сільському господарстві та фінансових послугах. Стартапи зі штучним інтелектом, які спеціалізуються на ніші, також отримують гроші — Breakr для музичного маркетингу, Dreamwell для автоматизації впливу, Beeble для VFX, і це тільки за останні пару місяців. Аналітики прогнозують, що ринкова капіталізація вертикального штучного інтелекту буде принаймні в 10 разів більшою, ніж застарілий вертикальний SaaS.

Захищений геній: піонерство для престижу

Технології зберігають свої сили для трансформаційних досягнень, які пов’яжуть їхнє майбутнє з майбутнім еліти: корпоративних гігантів та урядів. OpenAI представляє Трампу план інфраструктури штучного інтелекту в США, а Anthropic щойно співпрацює з оборонним підрядником Palantir, щоб «швидко опрацьовувати величезні обсяги складних даних, підвищувати ефективність аналізу даних, ефективніше визначати закономірності та тенденції, спрощувати перевірку та підготовку документів і допомагати Офіційні особи США повинні приймати більш обґрунтовані рішення в критичних ситуаціях». Microsoft співпрацює з BlackRock, IBM співпрацює з AWS, а Google переїхав до Саудівської Аравії .


Що стоїть за партнерством? Тільки час покаже.

Заключні думки: тематичне дослідження для PR-залу слави


Розповідь про штучний інтелект для всіх — обіцянка спільних інновацій і універсального доступу — завжди здавалася надто гарною, щоб бути правдою. Але в ретроспективі, чи могли ті самі фантазери, які зламали код самого інтелекту, справді бути засліплені неминучістю спеціального кремнію та бай-інів на мільярди доларів?


Цей автор не переконаний.


І тепер, розглядаючи апаратне забезпечення як героїчну відповідь на зростаючі вимоги штучного інтелекту, подібні до OpenAI акуратно обходять реальність, яку вони з самого початку прагнули до ексклюзивності.


«Відкрито» завжди було маркуванням, піар-сюжетом, який створювався десятиліттями, а демократія — лише гаслом.


Можливо, найбільш революційним аспектом ШІ є не технологія, а наратив, який нам продали.

L O A D I N G
. . . comments & more!

About Author

susie liu HackerNoon profile picture
susie liu@bigmao
sporadic writer covering the intersection of tech, business, and marketing

ПОВІСИТИ БИРКИ

ЦЯ СТАТТЯ БУЛА ПРЕДСТАВЛЕНА В...