paint-brush
De l'OpenAI a la IA tancada: els xips personalitzats estan tancant les portes: què passa? per@bigmao
450 lectures
450 lectures

De l'OpenAI a la IA tancada: els xips personalitzats estan tancant les portes: què passa?

per susie liu11m2024/11/20
Read on Terminal Reader

Massa Llarg; Per llegir

La paraula al carrer diu que OpenAI està treballant amb Broadcom per desenvolupar xips personalitzats. En aquest rumor hi ha escrit un missatge que els dies de l'IA universalment accessible poden estar comptats; aquí és inevitable el maquinari de disseny, com la tecnologia podria utilitzar xips per encadenar-nos i què esperar del 2025.
featured image - De l'OpenAI a la IA tancada: els xips personalitzats estan tancant les portes: què passa?
susie liu HackerNoon profile picture
0-item
1-item
2-item

A finals d'octubre, van aparèixer informes, cortesia de Reuters, que OpenAI treballa amb Broadcom per desenvolupar silici personalitzat a mida per gestionar les seves colossals càrregues de treball d'IA . Les fonts van revelar que l'empresa s'ha assegurat la capacitat de fabricació amb TSMC i ha reunit un equip d'enginyers de 20 persones que van caçar antics veterans de la divisió de processadors Tensor de Google. Els terminis de producció segueixen sent flexibles, amb xips potencialment llançats fins al 2026 , però ja s'estan posant les bases per a un canvi sísmic en com OpenAI gestiona la seva infraestructura.


Tot i que el moviment s'alinea de fet amb l'estratègia en curs d'OpenAI per diversificar la seva cadena de subministrament i controlar l'augment dels costos d'infraestructura, escrit en aquest rumor podria ser un missatge que els dies de la IA d'accés universal poden estar comptats. El futur de la IA no és un món més gran i brillant obert a qualsevol persona amb una ment brillant: és una sala VIP amb fitxes personalitzades per a les parets , on la quota de soci és d'un pressupost de mil milions de dòlars.


El maquinari personalitzat, sens dubte, aportarà avenços , però també crearà barreres ; barricades que deixen el públic en general —i la majoria dels altres jugadors— a l'exterior mirant cap a dins.


I això podria ser exactament el que la tecnologia volia tot el temps.


Vegem per què és inevitable la carrera d'armaments de maquinari, com els xips juguen a l'estratègia més gran de dominació de la tecnologia i què esperar a continuació.

Xips personalitzats: una manera elegant de dir "Estem atrapats"

La IA ens ha fet somiar en gran: des de robots de teràpia personalitzats fins a drons de lliurament autònoms i diagnòstics basats en IA a cada telèfon. Però l'últim moviment d'OpenAI per desenvolupar xips personalitzats indica que les nostres ambicions salvatges per a la IA ara necessiten models tan formidables que fins i tot els processadors de propòsit general més potents onegen una bandera blanca . El silici personalitzat no es tracta de fer que la IA sigui més ràpida, millor i més lliure, sinó de mantenir-ho tot a flote sota unes demandes cada cop més inflades: una admissió silenciosa que hem assolit un sostre d'innovació que només el maquinari pot trencar.


Això és el que impulsa la necessitat de silici personalitzat.


Personalitat real de ChatGPT: alt manteniment

La saviesa de LLM com GPT-4 i Gemini es basa en models basats en transformadors que fan un seguiment de milers de milions de paràmetres. Però aquesta intel·ligència té un preu : una columna vertebral de mecanismes d'autoatenció que requereixen multiplicacions massives de matrius que engollen ample de banda de memòria. L'arquitectura dels transformadors també requereix una escala de complexitat quadràtica , el que significa que l'expansió del model augmenta les demandes de manera exponencial . Quan els LLM intenten augmentar el nivell del seu joc mitjançant capes d' aprenentatge de reforç (RL) per adaptar-se a la retroalimentació en temps real, o intenten mapejar connexions mitjançant xarxes neuronals de gràfics (GNN) , les coses es converteixen en una festa seriosa de dades, enviant els requisits d'energia a través de el sostre. Si t'has adonat que ChatGPT ha tingut un atac ocasional d'epilèpsia últimament, per això .


Els xips personalitzats com els TPU de Google poden resoldre aquests problemes mitjançant la integració de memòria d'amplada de banda alta (HBM) al xip, la gestió del moviment de dades i la millora de les jerarquies de memòria per reduir la latència, i també aprofitant les matrius sistòliques per paral·lelitzar les operacions de la matriu.

IA generativa: de les sortides a les interrupcions

La IA generativa està passant d'oferir resultats singulars com text o imatges a obres mestres multimodals mitjançant la combinació de múltiples formes de mitjans (text, àudio, vídeo). Aquesta bruixeria tècnica genera un caos computacional: cada modalitat té necessitats de processament diferents, i demanar a la IA que digeri tot simultàniament fa que les GPU de propòsit general no estaven dissenyades per ser malabaristes mestres. A més, els models de síntesi en temps real per a funcions de participació millorades, com ara històries d'adaptació dinàmica per a jocs o filtres SFX per a la transmissió en directe, exigeixen una latència molt baixa i velocitats d'inferència ràpides, requisits que les GPU lluiten per complir sense introduir retards i un cel. -factura elèctrica elevada.


El silici personalitzat, com l'A100 de NVIDIA i les TPU de Google, solucionen aquests problemes amb GPU multi-instància (MIG) i nuclis de tensor , permetent un càlcul multimodal en temps real amb eficiència energètica dividint les tasques en processos paral·lels i aïllats al mateix xip. També es pot introduir l'aritmètica de precisió reduïda per permetre el processament en formats com FP16 o INT8 en lloc de FP32, conservant la precisió sense fondre el maquinari.

IA de vida o mort: precisió que drena la xarxa

Navegar per un caos real del món real —penseu a la conducció autònoma, la robòtica, els drons— necessita que **==IA impulsada per esdeveniments ==**respongui a una velocitat sobrehumana, una tasca adequada per als models neuromòrfics i probabilístics que interromprien el pas. xip de la prestatgeria. Els xips personalitzats com el Loihi d'Intel estan construïts amb arquitectures que imiten xarxes neuronals biològiques, basant-se en xarxes neuronals de punta (SNN) i processament basat en esdeveniments per analitzar les dades només quan es produeixen esdeveniments rellevants mentre s'assignen recursos de manera dinàmica en funció dels patrons de dades entrants. Tot i que aquest disseny permet operacions de baixa potència i latència a escala, és incompatible amb el maquinari que es troba al mercat obert.

IA social: trencar la humanitat requereix un gran treball

Ah, l'aplicació seductora però èticament tèrbol de la IA que els titans esperen ens mantindrà embruixats per les seves plataformes i embruixats amb les seves mascotes programades. Descodificar l'elusibilitat de la naturalesa humana requereix sistemes que interpretin, prediguin i s'adaptin al comportament tant a nivell individual com social : mecanismes d'atenció multimodal , GNN per disseccionar interaccions col·lectives, informàtica afectiva per desenvolupar la intel·ligència emocional, gràfics de coneixement per garantir la rellevància contextual, etc. i la llista continua. A més, la intel·ligència artificial social pot funcionar en contextos sensibles (com a l'interior d'un robot rosegador que cura la depressió), necessitant una intel·ligència artificial al dispositiu per salvaguardar les dades dels usuaris . No cal dir que tots aquests càlculs envien els xips principals i el seu processament per lots a un estat de paràlisi.


Aquests processos exigeixen una eficiència de dades escassa i una alta precisió amb una latència baixa , requisits que el silici dissenyador pot complir mitjançant la incorporació de funcions com l'arquitectura de memòria unificada , acceleradors específics per a tasques , optimització de dades escassa (utilitzada a la IPU de Graphcore) i optimització de fusió multimodal .

IA científica: la frontera final massa gran per al maquinari convencional

Tot i que és menys estimada dels mitjans que altres dominis, la IA científica està a punt de convertir-se en la frontera més profundament revolucionària de la intel·ligència artificial . Però només si el maquinari pot mantenir-se al dia. Perquè la IA científica generativa creï noves possibilitats (per exemple, noves molècules, materials i sistemes), els marcs computacionals avançats com els models de difusió , els VAE , els transformadors i l'aprenentatge de reforç s'han de combinar amb coneixements específics del domini. La IA no generativa que s'utilitza per al modelatge predictiu i simulacions tracta dades a escala de petabytes i sistemes d'alta dimensió, utilitzant mecanismes com solucionadors de PDE , GNN , models bayesians i anàlisi d'elements finits (FAE) . Tot i que les dues branques de la IA científica tenen propòsits diferents, ambdues demanen precisió, escalabilitat i intensitat computacional, criteris que només poden complir els mecanismes d'elit tant en IA generativa com predictiva. És una obvietat que el maquinari ja fet no farà el tall.

La IA Death Open i l'atractiu de l'exclusivitat

El camí cap al silici a mida ve amb un preu que gairebé garanteix l'estratificació de l'accés a la IA. Economia 101: per cobrir les despeses astronòmiques, OpenAI (i tots els que segueixen el seu exemple) passaran inevitablement la càrrega als clients, agrupant l'accés a una oferta que farà que les nostres subscripcions actuals semblin cèntims del dòlar .


Però no confongueu els preus inflats i un sistema jeràrquic on el múscul financer és un requisit previ com a tàctica de supervivència reactiva; és una oportunitat estratègica, perquè l'exclusivitat no és un error; és la funció que la tecnologia ha estat esperant.


Vendor Lock-In 2.0: encadenar empreses mitjançant xips

El maquinari propietari aporta un camp gravitatori : una vegada que les empreses estan incrustades dins d'un ecosistema que uneix programari i silici personalitzat, hi estan eficaçment vinculades. Teixir una pila de programari en silici crea un mecanisme on els sistemes només poden funcionar al màxim dins dels dominis del proveïdor: una configuració irreversible on el maquinari dicta el programari . Després que les empreses creïn les seves aplicacions i fluxos de treball al voltant d'aquest entorn personalitzat, sortir no és només una qüestió de transferir dades o llicències de programari, sinó re-enginyeria des del punt de partida , com intentar transferir el progrés de PS a Xbox .


I a mesura que el maquinari s'itera, la integració es fa més fluida, fent que els costos de sortida augmentin amb cada actualització . Amb l'augment del rendiment s'aconsegueix una lleialtat cimentada, com passa amb la majoria dels ecosistemes integrats verticalment, canviar-se significa tornar a començar.

Xips personalitzats, regles personalitzades: matar la competència per disseny

El silici personalitzat fragmenta l'ecosistema de la IA en jardins emmurallats on la interoperabilitat que va definir el primer boom de la IA s'acaba. A causa de l'elevada eficiència i control que ofereixen els xips personalitzats, OpenAI podria establir estàndards (com ara barres de rendiment, característiques i requisits de compatibilitat) que giren al voltant dels seus sistemes propietaris i patents intel·lectuals , marginant les iniciatives de codi obert i els jugadors més petits que no poden. competir amb els avenços que depenen del maquinari. Si teniu una idea, potser haureu de portar-la a OpenAI i buscar suport de maquinari, com ara els tècnics estan fent fila fora de les portes giratòries de NVIDIA.


El silici personalitzat crea una bretxa de coneixement així com una bretxa d'accés. Mitjançant el disseny de maquinari optimitzat per a arquitectures d'IA patentades, OpenAI no només accelera els seus propis models, sinó que també crea ecosistemes inintel·ligibles que els competidors no poden fer enginyeria inversa o replicar eficaçment. Aquesta asimetria d'aprenentatge bloqueja de manera efectiva que els competidors aprenguin o innovin dins del mateix paradigma, potenciant l'exclusivitat per frenar el progrés de tota la indústria.


El maquinari exclusiu es converteix en un bloqueig de la innovació , que permet als proveïdors controlar el ritme de progrés i assegurant que romanguin al centre del proper capítol de l'IA , un on el talent i la creativitat sucumbin al múscul del capital brut .

Darrere de xips tancats: l'opacitat assegura la dominació

A diferència del programari, que pot ser d'enginyeria inversa o bifurcada, els processos basats en maquinari són físicament opacs i difícils de deconstruir sense cremar-se a través d'un munt d'efectiu. Aquesta capa impenetrable d'abstracció actua com la fortalesa definitiva, reforçant la reivindicació d'OpenAI sobre el Tron de Ferro de l'IA.


Esquivant l'escrutini: responsabilitat sense respostes


El silici personalitzat ofereix un escut convenient per als ulls indagadors dels reguladors i les qüestions dures dels mitjans de comunicació i els grups de defensa mitjançant l'addició de capes de complexitat que fan que el funcionament intern dels sistemes sigui més difícil d'explicar i encara més difícil d'auditar. Les empreses poden argumentar que certes sortides no són defectes de disseny deliberats, sinó subproductes de la interacció maquinari-programari, desviant l'escrutini assenyalant l'opacitat inherent del sistema.


També es podrien incorporar paràmetres de rendiment previsibles per reduir la variabilitat del sistema per al desplegament en entorns crítics específics. Aquesta opacitat garanteix que les empreses no hagin de revelar compensacions o vulnerabilitats en els seus models, especialment en indústries com la sanitària, les finances o la defensa, on la fiabilitat és primordial.


Assegurança interna: protegint les joies de la corona


Amb la majoria de les empreses d'IA que depenen d'una força de treball distribuïda, contractistes o proveïdors d'infraestructures al núvol, el risc de fuites de propietat intel·lectual augmenta. A causa de la universalitat dels llenguatges i marcs de programació, el programari és inherentment portàtil i replicable. Per contra, el desenvolupament de maquinari és altament contextual , depèn de l'experiència especialitzada i separada i de l'accés a canalitzacions, processos i instal·lacions de fabricació específiques; aquesta compartimentació significa que cap enginyer no té prou coneixements o recursos per crear la màgia d'un competidor. Mitjançant la soldadura de les innovacions en xips, OpenAI lliga la seva IP a la infraestructura en lloc de als individus , minimitzant el risc de perdre l'avantatge competitiu quan els enginyers presenten la seva renúncia.

L'efecte xarxa: convertir la percepció en realitat


En fer que el funcionament intern dels sistemes d'IA sigui inaccessible, OpenAI garanteix que només ells puguin definir i controlar la narrativa de les seves capacitats . De la mateixa manera que les GPU de NVIDIA es van convertir en sinònims de rendiment de l'IA a causa dels punts de referència optimitzats per a la seva arquitectura, OpenAI podria crear les seves pròpies mètriques vinculades al seu silici, emmarcant millores incrementals com un canvi de joc . La manca de transparència també significa que les fites de rendiment selectives (p. ex., "inferència 5 vegades més ràpida") aconseguides mitjançant optimitzacions de maquinari menors es poden comercialitzar com a avenços genuïns , obtenint els beneficis de ser percebuts com un pioner alhora que amaguen compromisos o limitacions.


Sense cap manera de comparar o validar les afirmacions, els clients, els inversors i els mitjans de comunicació es deixen de confiar en el joc de relacions públiques de l'empresa. Una mentida pot recórrer la meitat del món mentre la veritat encara s'està posant la pell: aviat tots ens adherim a aquesta versió manipulada de la "innovació", lliurant els efectius i els titulars, i el domini inventat es converteix en una realitat tangible.

Aquesta il·lusió és tant una estratègia de marca com una tècnica, transformant l'opacitat en una eina per al lideratge sostingut del mercat.

Perspectives 2025: hi haurà innovació, només no per a vosaltres


El maquinari és un coll d'ampolla, però la tecnologia mai s'ha alentit per un cop de velocitat. No us deixeu enganyar: els veritables avenços serviran per consolidar la influència corporativa i el control competitiu, mentre que les novetats presentades als plebeus i les empreses seran captacions de dades disfressades en capes de relacions públiques.

Joguines de consum: dades, distracció i la guàrdia baixada

Creus que la càrrega de treball de desenvolupament de maquinari aturarà les operacions dels consumidors? No, sembla que les coses s'acceleraran , perquè només seguirem lliurant les nostres dades de comportament a canvi de “ progrés ”. Però ara que els nostres avis s'estan divertint amb els chatbots, la tecnologia passarà d'intentar captivar-te amb majordoms a trucs que semblin com si fossin de "Retorn al futur". (No us preocupeu, la tecnologia donarà periòdicament un rentat de cara a aquests assistents peculiars per mantenir-los actualitzats al nostre radar. Segons s'informa, OpenAI presentarà un agent d'IA anomenat "Operador" el gener de 2025. Les fonts indiquen que l'operador interactuarà directament amb el vostre ordinador, principalment. funciona tant com a eina de millora del flux de treball com de navegador web, automatitza les tasques i racionalitza l'experiència en línia. Per tant, un espia d'escriptori.)


Els grans gossos passaran del programari als aparells elegants per implicar els sofisticats : Altman acaba de transportar l'antic líder de maquinari d'Orion, Caitlin Kalinowski, Zuck treballa en mans de robots, fins i tot Cook mastega el pensament dels dispositius domèstics intel·ligents. Wall Street portarà l'absurd al mercat, des de productes estranys com el collaret esgarrifós de Friend fins a aplicacions qüestionables com Daze.


El bombo i els titulars incessants no només ens empenyin a comprar; erosionaran les nostres defenses, preparant-nos per abraçar amb alegria tot allò que el futur de la IA augmentada amb maquinari ofereix.

Eines empresarials: escalar la profunditat, no l'amplitud

Els diners reals es troben a les carteres de les institucions, no dels individus. Però les empreses només adoptaran solucions que els afectin allà on fa mal, la qual cosa significa que la IA ha d'excavar més enllà dels punts de dolor a nivell superficial. L'any que ve no es tractarà d'eines de propòsit general per suavitzar les empreses a la idea d'IA, sinó de models específics de domini que exposen els algorismes a totes les complexitats més importants de cada sector, departament, equip i empleat.


Cas concret : Microsoft , en col·laboració amb Siemens , Bayer i Rockwell , acaba de llançar un conjunt de models d'IA per abordar reptes específics en la fabricació, l'agricultura i els serveis financers. Les startups d'IA específiques de nínxol també estan recollint diners: Breakr per al màrqueting musical, Dreamwell per a l'automatització d'influents, Beeble per a VFX, i això és només dels últims dos mesos. Els analistes prediuen que la capitalització de mercat de l'IA vertical serà almenys 10 vegades la mida del SaaS vertical heretat.

Geni guardat: pioner per als prestigiosos

La tecnologia està estalviant els seus cavalls de força per a avenços transformadors que vincularan el seu futur amb el de l'elit: gegants corporatius i governs. OpenAI presenta a Trump un pla per a la infraestructura d'IA dels EUA i Anthropic s'acaba d'associar amb el contractista de defensa Palantir per "processar grans quantitats de dades complexes ràpidament, augmentar la informació basada en dades, identificar patrons i tendències de manera més eficaç, racionalitzar la revisió i la preparació de documents i ajudar. Funcionaris nord-americans per prendre decisions més informades en situacions sensibles al temps". Microsoft s'ha associat amb BlackRock, IBM està al llit amb AWS i Google ha anat a l'Aràbia Saudita .


Quin és el tracte darrere de les associacions? Només el temps ho dirà.

Pensaments finals: un estudi de cas per al saló de la fama de les relacions públiques


La història de la IA per a tothom, una promesa d'innovació compartida i accés universal, sempre s'ha semblat massa bona per ser veritat. Però, en retrospectiva, els mateixos visionaris que van descifrar el codi de la intel·ligència en si mateix podrien haver estat encegats per la inevitabilitat del silici a mida i les compres de mil milions de dòlars?


Aquest autor no està convençut.


I ara, en emmarcar el pivot de maquinari com una resposta heroica a les demandes creixents de l'IA, persones com OpenAI esquiven amb cura la realitat que han estat construint cap a l'exclusivitat des del principi.


"Obert" sempre va ser un exercici de marca, una trama de relacions públiques amb dècades en desenvolupament i la democràcia només l'eslògan.


Potser l'aspecte més revolucionari de la IA potser no és la tecnologia, sinó la narrativa que ens van vendre.