Dit is vroeg in 2025, en ons sien dalk reeds 'n herdefiniërende oomblik vir KI soos ons dit die afgelope paar jaar leer ken het. Is die kanon van "meer GPU's al wat jy nodig het" op die punt om te verander? Wat 'n ongewone wending. Eerstens, die . Die gesamentlike onderneming wat deur OpenAI, SoftBank, Oracle en die beleggingsfirma MGX geskep is, beoog om teen 2029 tot US$500 miljard in KI-infrastruktuur in die Verenigde State te belê. Stargate-projek Arm, Microsoft, Nvidia, Oracle en OpenAI is die belangrikste aanvanklike tegnologievennote in wat “die Manhattan-projek van die 21ste eeu” genoem is, met direkte ondersteuning van die Amerikaanse administrasie. President Donald Trump het dit "die grootste KI-infrastruktuurprojek in die geskiedenis" genoem. Die lys van toonaangewende VSA-gebaseerde tegnologievennote in die projek en die groot belegging in wat 'n strategiese inisiatief vir die VSA was – KI-infrastruktuur om leierskap in KI te verseker – is wat die parallelisme met die Manhattan-projek dryf. Beide KI-skyfievervaardigers in die lys - Arm en Nvidia - word gelei deur uitvoerende hoofde van Taiwanese oorsprong. Dit is opmerklik, met inagneming van Taiwan se voortdurende gespanne verhoudings met China, en die feit dat die Stargate-projek die jongste in 'n reeks is wat daarop gemik is om binnelandse KI-infrastruktuur en -kundigheid te versterk, terwyl , hoofsaaklik China. onlangse Amerikaanse beleide beperkings aan die res van die wêreld opgelê word Niks hiervan het egter vir die mark saak gemaak nie, wat . Maar dit was alles voor die vrystelling van DeepSeek R1. Nvidia se aandeel die afgelope paar jaar vir nog 'n keer laat styg het by die aankondiging van die Stargate-projek is 'n nuwe oopbron redenasiemodel, vrygestel enkele dae na die aankondiging van die Stargate-projek. Die model is ontwikkel deur die Chinese KI-begin DeepSeek, wat beweer dat R1 ooreenstem met of selfs oortref OpenAI se ChatGPT o1 op verskeie sleutelmaatstawwe, maar werk teen 'n fraksie van die koste. DeepSeek R1 Wat merkwaardig is van DeepSeek R1, is dat dit in China ontwikkel is, ondanks al die beperkings op KI-skyfies wat bedoel is om die vermoë om vordering met KI te maak, te belemmer. Beteken dit dat die ? OpenAI- en VS-gesentreerde konvensionele wysheid van "meer GPU's is al wat jy nodig het" in AI op die punt is om opgeknap te word KI-skyfies, geld, talent en ingenieurswese Die waarheid is, toe ons 'n paar dae gelede 'n gesprek oor KI-skyfies met Chris Kachris gereël het, het nóg die Stargate-projek nóg DeepSeek R1 op die KI-toneel gebars. Alhoewel ons nie hierdie ontwikkelings bewustelik verwag het nie, het ons geweet is 'n onderwerp wat aandag verdien, en Kachris is 'n insider. KI-skyfies Dit het ietwat van 'n tradisie geword vir Orchestrate all the Things om KI-skyfies te ontleed en insigte van kundiges in die veld te huisves, en die gesprek met Kachris is die nuutste stuk in hierdie tradisie. Chris Kachris is die stigter en uitvoerende hoof van . InAccel wat maatskappye help om hul toepassings te bespoedig deur hardewareversnellers in die wolk makliker as ooit te gebruik. Hy is ook 'n wyd aangehaalde navorser met meer as 20 jaar ondervinding op en hardewareversnellers vir masjienleer, netwerkverwerking en dataverwerking. InAccel FPGA's https://www.youtube.com/watch?v=BkYhBOFqkwY&embedable=true Nadat , het Kachris teruggegaan na navorsing en werk tans as 'n Assistent Professor in die Departement Elektriese en Elektroniese Ingenieurswese aan die Universiteit van Wes-Attika. InAccel onlangs deur Intel verkry is Toe Kachris die toneel vir die gesprek met hierdie tydige nuus gestel het, was Kachris se openingsopmerking dat innovasie in KI-skyfies 'n "duur sport" is, en daarom gebeur dit meestal in die bedryf in teenstelling met die akademie. Terselfdertyd het hy egter opgemerk dat die nodige hulpbronne nie net op geld neerkom nie, maar dit behels ook talent en ingenieurswese. Vir Kachris was Amerikaanse beleide op die regte pad in terme van hul doel om kundigheid te repatrieer en die land selfonderhoudend te maak. Omdat hy 'n Europese burger is, het hy ook 'n beroep op die EU gedoen om soortgelyke inisiatiewe toe te pas, tesame met baie stemme . Sou kyk na hoe DeepSeek se sukses behaal is, egter enigiets hê om ons te leer? wat die EU versoek om sy GPU-spel te versterk Leer uit DeepSeek se sukses Volgens die “ ”-verslag, anders as ander BRICS-lande, gebruik China beide buitelandse grafiese kaarte (via die wolk en in sy eie datasentrums) en plaaslike kaarte wat deur Chinese maatskappye gemaak word. Generatiewe KI in die BRICS+-lande Tans is daar meer as 10 maatskappye in China wat hul eie grafiese kaarte ontwikkel, en die proses om na plaaslike GPU's oor te skakel nadat NVIDIA gebruik is, is glo nie moeilik vir Chinese maatskappye nie. Dit wil voorkom asof nasies hul opsies sal moet heroorweeg om mededingend te bly in die KI-wedloop, en moontlik . Kachris het saamgestem dat China met rasse skrede vorder, eers naboots en daarna vernuwende tegnieke van sy eie ontwikkel. bladsye uit China se speelboek sal leen “Hulle kan meng en pas. Hulle kan verskillende weergawes van GPU's en ander verwerkingseenhede kombineer om 'n kragtige datasentrum of wolk te skep. Dit is baie nuttig, veral as jy dink dat jy in die verlede miskien elke drie of vier jaar nuwe toerusting moes koop. Nou is die innovasie so vinnig dat jy byna elke jaar meer en kragtiger skyfies en kragtiger verwerkers het. Maak dit sin om verwerkers wat een of twee jaar oud is weg te gooi? So beslis, jy moet 'n manier vind om hulpbronne te benut, selfs al is dit heterogene hulpbronne. Dit sal baie meer kostedoeltreffend wees,” het Kachris gesê. DeepSeek R1 se gerapporteerde koste om op te lei is 'n sterk argument ter ondersteuning van hierdie benadering. Benewens opleiding oor heterogene infrastruktuur, het die vermindering van numeriese akkuraatheid, multi-teken leesvermoë en die toepassing van 'n intelligente mengsel van kundiges-tegniek ingesluit. DeepSeek se benadering Die resultaat is die vermindering van opleidingskoste van $100 miljoen tot ongeveer $5 miljoen en die vermindering van hardewarebehoeftes van 100,000 GPU's tot 'n skamele 2,000, wat KI-ontwikkeling toeganklik maak op standaard speletjie-GPU's. Wat meer is, selfs al is DeepSeek nie 100% oopbron nie - - kan die proses herhaal word. wat dit ook al vir LLM's beteken Pragmatiese KI-opleiding KI-skyfies en oopbron-KI-modelle is deel van die omvattende Pragmatiese KI-opleiding. Teorie en praktiese laboratoriums. Alles-insluitende toevlugsoord. Beperkte sitplekke kohort. Klik hier om vir die Pragmatiese KI-opleiding te registreer Evalueer die KI-skyfiemark Die onmiddellike reaksie op die nuus was 'n , met . Die mark het reeds met die skryf hiervan begin koerskorrigeer, met beide die afwaartse en opwaartse neigings wat ietwat voorspelbaar is. uitverkooptydren Nvidia se aandeel wat 17% gedaal het ná die nuus Aan die een kant, wat DeepSeek getoon het, was dat daar baie ruimte is vir doeltreffendheidswinste in die opleiding van toppresterende KI-modelle, wat die konvensionele wysheid aktief ondermyn. Aan die ander kant , en . beteken dit nie dat Nvidia nie steeds die leier is nie ons kan verwag om Jevon se paradoks weer in aksie te sien Nvidia het die pas van gehou, sy nuutste Blackwell-argitektuur aangekondig en daarna gestuur, sy ekosisteem uitgebrei en verskeie finansiële en sakemylpale bereik. Kachris het beklemtoon dat Nvidia nie net meer skyfies verkoop nie, maar hulle het beweeg na vertikale integrasie van hul met hul skyfies op die . innovasie in 2024 NVLink-tegnologie DGX-platform Maar Nvidia GPU's is nie die enigste speletjie in die stad nie. AMD het van sy kant 'n nuwe KI-versneller, die , aangekondig. Soos Kachris opgemerk het, is die baie kragtig, met gespesialiseerde eenhede om transformators te versnel – 'n sleutelargitektuur vir groottaalmodelle. AMD se . Instinct MI325X MI300-reeks groei word na bewering aangedryf deur datasentrum en KI-produkte Die oorgrote meerderheid mense en organisasies sal KI-gebruikers wees, nie KI-bouers nie. Vir hulle is die gebruik of selfs die bou van KI-toepassings nie eintlik 'n kwessie van die opleiding van hul eie model nie, maar eerder om 'n vooraf-opgeleide model te gebruik of te verfyn. https://pod.co/orchestrate-all-the-things-podcast-connecting-the-dots-with-george-anadiotis/ai-chips-in-2025-the-end-of-more-gpus-is- alles-jy-nodig-met-inaccel-uitvoerende hoof-stigter-chris-cachris?embedable=true Kachris het ook Intel se vordering met Gaudi genoem. Ten spyte van die hoë werkverrigtingvermoëns van Gaudi 3, blyk dit egter dat Intel . Terselfdertyd . agter is in terme van markaandeel, grootliks as gevolg van sagteware maak Intel stappe om sy FPGA-eenheid, Altera, te verkoop FPGA's, hou Kachris vol, is dalk nie die beste oplossing vir KI-opleiding nie, maar dit maak baie sin vir afleidings, en dit is waar daar genoeg ruimte is vir mededinging en innovasie. Dit is presies dit – die bou van 'n sagtewarelaag om met FPGA's te werk – waaraan InAccel gewerk het, en wat gelei het tot die verkryging deur Intel. Natuurlik het Kachris die belangrikheid van die sagtewarelaag beklemtoon. Aan die einde van die dag, selfs al het 'n skyfie uitstekende werkverrigting, as dit nie maklik is om vir ontwikkelaars via die sagtewarelaag te gebruik nie, gaan dit aanvaarding belemmer. Nvidia behou die beduidende voordeel op die sagtewarelaag as gevolg van sy , waarin hy aanhou belê. alomteenwoordige CUDA-stapel Die res van die bedryf, gelei deur Intel via die -inisiatief, wend pogings aan om in te haal. AMD het sy eie sagtewarelaag – ROCm. Maar om in te haal gaan nie oornag gebeur nie. Soos Kachris dit gestel het, moet die sagtewarelaag die gebruik van die hardewarelaag moontlik maak sonder om 'n enkele reël kode te verander. UXL Foundation / OneAPI Nvidia verhoog ook sy afleidings- en sagtewarestrategie met sy raamwerk, wat blykbaar het. Die kompetisie . Daar is 'n reeks uitdagers soos , , , en , wat meeding om 'n stukkie van die afleidingsmarkpastei. nuut vrygestelde NIM- 'n mate van aanvaarding gekry fokus ook op afleidings Groq Tenstorrent GraphCore Cerebras SambaNova Die voorsprong: versnelling en energiedoeltreffendheid Alhoewel DeepSeek 'n prominente vertoning van die voordele van optimalisering is, is dit ook nie die enigste nie. Kachris was betrokke by 'n onlangse , met baie van dié wat op afleidings gerig is. omvattende opname en vergelyking van hardewareversnelling van LLM's Een manier om dit te doen is om dit te doen via AI-verskaffer-API's - tipies OpenAI of Anthropic. Vir meer gesofistikeerde gebruiksgevalle sal eindgebruikers egter KI-modelle op hul eie infrastruktuur wil ontplooi om redes wat met privaatheid, voldoening, mededingende voordeel, toepassingsvereistes of koste te doen het. Dit kan 'n hele reeks omgewings insluit, wat wissel van op die perseel en private wolk tot rand en kaal metaal. Veral met LLM's . Ons het Kachris gevra of hy glo dat die plaaslike / rand-ontplooiing van LLM's sin maak. is daar selfs die opsie om hulle plaaslik op die rakmasjiene te laat loop Kachris het opgemerk dat afleiding kan werk met "gekrimp", oftewel gekwantiseerde weergawes van KI-modelle. Navorsing dui daarop dat . Kachris het daarop gewys dat alhoewel daar gespesialiseerde hardeware-argitekture is, van dié wat wyd beskikbaar is GPU's en FPGA's die beste werkverrigting lewer, met FPGA's wat meer energiedoeltreffend is. selfs 1-bis weergawes van modelle lewensvatbaar is Vooruitgaan: innovasie en spesialisasie Wat toekomstige ontwikkelings betref, het Kachris uitgelig as 'n gebied om dop te hou. Die hoofgedagte is om berging en rekenaar op dieselfde eenheid te kombineer, en sodoende die behoefte aan data-oordrag uit te skakel en tot beter werkverrigting te lei. Dit is geïnspireer deur die manier waarop biologiese neurale netwerke werk, en word na verwys as neuromorfiese rekenaars. in-geheue rekenaars Daar is meer gebiede van noemenswaardige ontwikkelings, soos , , en . chiplets gespesialiseerde skyfies wat aangepas is vir die transformator-argitektuur wat LLM's aandryf fotoniese tegnologie nuwe programmeertale vir AI In terme van meer kort- tot middeltermyn-vooruitsigte, en die vraag of daar ruimte is vir innovasie in 'n Nvidia-gedomineerde wêreld, glo Kachris dat ingebedde stelsels en Edge AI 'n geleentheid vir uitdagers verteenwoordig: “Daar is verskillende vereistes en verskillende spesifikasies in die domein van Edge AI. Ek dink daar is ruimte vir innovasie in Edge AI, byvoorbeeld in videotoepassings vir hospitale, of outonome bestuur en lugvaart. Ek dink dit gaan gebeur. Kom ons praat oor GPU's. NVIDIA is dus die leier in GPU's, maar daar was 'n gebrek aan GPU's vir draagbare toestelle. En ons het gesien hoe 'n wonderlike maatskappy, , 'n GPU ontwikkel en ontwikkel wat vir fikse bands of slimhorlosies gespesialiseer is, en dan word. Think Silicon deur Applied Materials verkry Innovasie gaan plaasvind in gebiede wat te klein is vir maatskappye soos Nvidia of Intel, maar goed genoeg vir kleiner maatskappye wat gespesialiseerde produkte kan maak”. Sluit aan by die Orchestrate all the Things-nuusbrief Stories oor hoe Tegnologie, Data, KI en Media in mekaar vloei en ons lewens vorm. Analise, Opstelle, Onderhoude en Nuus. Middel tot lang vorm, 1-3 keer per maand. Klik hier om in te teken
