Demokratisoiva tekoäly: Kuinka IO.NETin teknologiajohtaja rakentaa "GPU:n Airbnb:tä"

Tekoälybuumi on luonut ennennäkemättömän kysynnän GPU-laskentateholle, mutta pääsy on edelleen keskittynyt muutamien suurten pilvipalvelujen tarjoajien keskuuteen. IO.NET, hajautettuun GPU-infrastruktuuriin keskittyvä startup, pyrkii muuttamaan tätä dynamiikkaa luomalla sen, mitä sen johtajat kutsuvat "GPU:iden Airbnb:ksi". Tässä eksklusiivisessa haastattelussa Gaurav, IO.NET:n teknologiajohtaja ja entinen Binancen tekninen johtaja, keskustelee siitä, kuinka yritys rakentaa alustaa, joka voisi demokratisoida tekoälyn laskentaresurssien käyttöä ja samalla vähentää kustannuksia jopa 75 % perinteisiin palveluntarjoajiin verrattuna.

Ishan : Tervetuloa 'Behind the Startup' -sarjaamme. Kerro meille itsestäsi, matkastasi ja mikä inspiroi sinua liittymään IO.NETiin ?

Gaurav : Matkani on ollut varsin suoraviivainen, aloittaen ohjelmistosuunnittelijana Punessa. Työskentelin siellä useissa startup-yrityksissä ennen kuin muutin Bangaloreen, missä liityin HP:n tuotekehitykseen ja auttelin rakentamaan heidän verkkotiedostojärjestelmään tyhjästä. Työskentelin Amazonilla heidän Android-sovellusten, e-kirjojen ja Audible-kirjojen julkaisuprosessin parissa. Sitten muutin eBayhin, jota seurasi suuri OTA-yritys Thaimaassa, joka oli markkinajohtaja Vietnamissa, Singaporessa ja Malesiassa hotelli- ja lentovarauksissa.

Vietin noin 5–6 vuotta heidän johtoryhmässään ennen kuin liityin Binanceen, missä johdin skaalautuvan alustan luomista KYC-yhteensopivuuden ja petosten havaitsemiseen yli puolelle miljardille käyttäjälle. Koko urani ajan olen työskennellyt tekoälyn kanssa eri muodoissa ja nähnyt omakohtaisesti, kuinka ihmiset kamppailevat tarvitsemiensa laskentaresurssien kanssa.

Ishan : Kerro roolistasi IO.NET:ssä ja millaisen tulevaisuuden näet hajautetun laskennan suhteen keskitettyyn arkkitehtuuriin verrattuna?

Gaurav : Tekniikan johtajana päätehtäväni on luoda skaalautuva alusta, jonka avulla toimittajien on helppo kytkeä verkkoon ja kuluttajien on helppo käyttää näitä resursseja. Aloitimme GPU:illa, mutta visiomme ulottuu sitä pidemmälle.

Hajautetun toimintamallimme tärkein etu on skaalautuvuus. Perinteiset palvelinkeskukset kohtaavat merkittäviä haasteita laajentuessaan uusille alueille - niiden on vuokrattava tilaa, palkattava tiimejä, tilattava laitteita ja hoidettava kunnossapitoa. Tämä aiheuttaa suuria ennakkokustannuksia, jotka lopulta siirtyvät käyttäjille. Hajautetun mallimme avulla voimme skaalata paljon tehokkaammin hyödyntämällä olemassa olevaa infrastruktuuria.

Ishan : Miten liiketoimintamallisi toimii verrattuna keskitettyihin toimittajiin, kuten Azure, jotka veloittavat merkittäviä summia tekoälymallin isännöinnistä?

Gaurav : Noudatamme Uberin kaltaista mallia – vaikka kuka tahansa voi luoda samanlaisia ohjelmistoja, etumme on tarjontapuolen yhteyksissämme. Tiimimme on rakentanut syvät suhteet infrastruktuurin toimittajiin maailmanlaajuisesti, minkä ansiosta voimme hankkia GPU:ita kilpailukykyiseen hintaan. Hintamme ovat yleensä 75 % alhaisemmat kuin Amazon ja Google.

Tarjoamme sekä tuntihinnat että pitkäaikaiset sitoumukset 6-9kk. Tarjoamme myös hallittuja palveluita startupeille, jotka haluavat keskittyä ydinliiketoimintaansa infrastruktuurin hallinnan sijaan.

Ishan : Miten veto on sujunut tähän mennessä?

Gaurav : Vastaus on ollut voimakasta. Teimme äskettäin tilauksen 1 500 4090:lle ja olemme lähellä allekirjoittamassa sopimuksia kahden aasialaisen Web2-yrityksen kanssa, joilla kummallakin on yli 200 miljoonaa käyttäjää. Vaikka keskityimme alun perin kryptoyrityksiin verkostomme ansiosta, näemme kasvavaa kiinnostusta perinteisiltä teknologiayrityksiltä, jotka haluavat säästää kustannuksia.

Ishan : Voitko selittää, kuinka hajautettu koulutusarkkitehtuuri toimisi? Hajauttaminen voi vaikuttaa joko skaalautumiseen tai turvallisuuteen, miten sovitamme tämän.

Gaurav : Se riippuu siitä, kuinka määrittelet skaalautuvuuden. Haluan havainnollistaa esimerkkiä datakeskusliiketoiminnasta. Jos olet palvelinkeskustoimittaja Pohjois-Amerikassa ja tarvitsen 1 000 H100:aa Singaporessa, perinteinen prosessi on erittäin haastava. Sinun on vuokrattava tilaa, palkattava tiimi, tilattava GPU:t, hoidettava toimitus, huolto ja asennus. Tämä aiheuttaa merkittäviä etukäteiskustannuksia ja hidasta markkinoilletuloaikaa, joka lopulta siirtyy käyttäjille.

Hajautetussa mallissamme emme kohtaa näitä haasteita, koska varasto on hajautettu. Kapasiteetin lisääminen on yhtä helppoa kuin uusien palveluntarjoajien yhdistäminen alustallemme. Se on samanlainen kuin hotellien saatavuus – se, että suuret ketjut ovat täynnä, ei tarkoita, ettei kaupungissa olisi huoneita. Grafiikkasuoritinkapasiteettia on todella paljon, mutta kukaan ei ole rakentanut "Airbnb:tä GPU:ille" kokoamaan tätä inventaariota tehokkaasti.

Ishan : Ymmärtääkseni oikein - jos Bangaloressa on opiskelija tai pelaaja ja Yhdysvalloissa toimiva yritys, jolla on käyttämättömät GPU:t, he voisivat muodostaa yhteyden alustasi kautta?

Gaurav : Aivan. Joku thaimaalainen tai intialainen, joka haluaa kouluttaa tietyn mallin – olipa kyseessä LSTM tai mikä tahansa muu malli – voi käyttää näitä GPU:ita. Koska se on vuokrapohjainen malli, se on edullisempi kuin perinteiset palveluntarjoajat.

Ishan : Mitä mieltä olet kilpailusta rajamallien välillä tällä hetkellä – Llamasta OpenAI:hen ja Anthropiciin?

Gaurav : Se on tällä hetkellä suurelta osin spekulaatiota. Olemme ottaneet merkittävän harppauksen eteenpäin tekoälyominaisuuksissa parin viime vuoden aikana. Vaikka on epäselvää, mikä yritys lopulta johtaa tilaa - se voi olla jopa Web3-soitin - on varmaa, että näemme valtavia innovaatioita seuraavien kolmen vuoden aikana.

Ishan : Miten IO.NETin hallintomalli on rakennettu tällä hetkellä?

Gaurav : Olemme tällä hetkellä puolihajautettuja. Kuuntelemme aktiivisesti yhteisöämme viikoittaisten AMA:iden kautta ja toteutamme heidän palautetta. Sisäinen tiimimme tarkistaa kaikki käyttäjäliput ja pyynnöt viikoittain ohjatakseen kehitysprioriteettiamme. Yhteisömme sitoutuu ensisijaisesti X:n (entinen Twitter), Discordin ja AMA:iden kautta, ja sillä on yli puoli miljoonaa seuraajaa eri alustoilla.

Ishan : Mitä teknisiä haasteita kohtasit kehittäessäsi tätä alustaa, koska se on uusi konsepti ilman olemassa olevia hajautettuja tekoälyarkkitehtuureja?

Gaurav : Nopea skaalautumisemme toi sekä mahdollisuuksia että haasteita. Liityttyäni alusta oli suunniteltu 100 000 GPU:lle, mutta meidän piti nopeasti käsitellä miljoonia. Tämä vaati merkittäviä arkkitehtonisia muutoksia turvallisuuden, vakauden ja skaalautuvuuden hallitsemiseksi. Perustaja ymmärsi kokeneen johtajuuden tarpeen skaalautuvien alustojen rakentamisessa, mikä johti palkkaamiseen ja sain rakentaa kokeneiden ammattilaisten tiimin sellaisista yrityksistä kuin Amazon, VMware ja johtavia tekoälytutkijoita.

Tärkeintä oli saada ihmisiä, jotka olivat aiemmin rakentaneet samanlaisia skaalautuvia järjestelmiä. Olemme koonneet tiimin, johon kuuluu koneoppimisen tohtoreita ja veteraaneja suurista teknologiayrityksistä, jotka kaikki ovat keskittyneet näiden monimutkaisten teknisten haasteiden ratkaisemiseen säilyttäen samalla alustan hajautetun luonteen.

Ishan : Kerro meille lisää tiimin taustasta, miten matka alkoi, mikä oli ensimmäinen idea, mahdolliset käännökset ennen tähän malliin tuloa ja millaisen tulevaisuuden näet IO.NETille seuraavan 1-2 vuoden aikana.

Gaurav : Liityin noin seitsemän kuukautta sitten, noin kolme-neljä kuukautta yrityksen perustamisen jälkeen. Ensimmäisestä päivästä lähtien visio oli luoda hybridi DeFi- ja tekoälyalustoista, jotta rakentajat voivat luoda malleja. Kun liityin, perustajat ja minä linjasimme ratkaisevan strategian - meidän piti tarjota jotain, jota kilpailijoiden olisi erittäin vaikea saada yhteen. Huomasimme GPU-hankinnan kilpailukykyisin hinnoin tärkeimmäksi erottavaksi tekijäksi.

Vaikka muut krypto-alustat saattavat tarjota samanlaista hinnoittelua, ne kamppailevat mittakaavan kanssa. Jos pyydät heiltä 1 500 GPU:ta, he eivät useinkaan pysty toimittamaan, koska heidän liiketoimintamallinsa ei ole todella hajautettu. Vaikka he tekisivät älykkäitä sopimuksia, jos he omistaisivat omat datakeskuksensa, skaalaus on erittäin haastavaa. Se on sama ongelma, jota Azure kohtaa – et voi väittää olevasi hajautettu vain lisäämällä älykkäitä sopimuksia keskitetyn infrastruktuurin päälle.

Ishan : Ohjelmistokehitys on aina haastavaa. Mitä teknisiä ongelmia kohtasit, kun kehität tätä alustaa, joka on todella uusi, koska GPU-isännöinnille ei tällä hetkellä ole hajautettuja tekoälyarkkitehtuureja?

Gaurav : Kohtasimme mielenkiintoisen haasteen skaalata paljon odotettua nopeammin – hyvä ongelma liiketoiminnan näkökulmasta, mutta hankala insinöörin näkökulmasta. Kuvittele, että rakennat alustan 100 000 GPU:lle ja joutuisit yhtäkkiä käsittelemään puoli miljoonaa tai enemmän. Airdropsin aikana kohtasimme valtavia käyttäjävirtoja ja mahdollisia Sybil-hyökkäyksiä, kun skaalauduimme nopeasti.

Turvallisen ja vakaan alustan luominen, joka pystyi käsittelemään 50–100 klusteria samanaikaisesti ilman pullonkauloja, ja mahdollistaa nopean toimitusten lisäämisen 1 000 GPU:ta minuutissa – nämä olivat merkittäviä haasteita. Perustaja ymmärsi, että vaikka hän pystyi rakentamaan yrityksen tietylle tasolle, sen eteenpäin vieminen vaati ihmisiä, joilla on kokemusta skaalautuvien alustojen ja yritysten rakentamisesta.

Sitä kunnioitan hänessä – hän tunnusti tämän tarpeen ja antoi minulle valtuudet rakentaa oikea joukkue. Olemme tuoneet osaajia Amazonista, VMwaresta ja useista muista huippuyrityksistä. Meillä on koneoppimisen tohtorintutkintoja, tuoteasiantuntijoita suurilta teknologiayrityksiltä – voit tarkistaa nämä taustat verkkosivuiltamme.

Perustajat tukivat tätä lähestymistapaa ja ymmärsivät, että tuotteen muuttaminen todelliseksi liiketoiminnaksi vaati ihmisiä, jotka olivat tehneet sen aiemmin. Heidän tukensa tässä siirtymävaiheessa on ollut ratkaisevan tärkeää menestyksemme kannalta.

Muista tykätä ja jakaa tarina!