Ժողովրդավարական AI. Ինչպես է IO.NET-ի CTO-ն կառուցում «GPU-ների Airbnb»-ը»

Արհեստական ինտելեկտի բումը ստեղծել է GPU հաշվողական հզորության աննախադեպ պահանջարկ, սակայն հասանելիությունը մնում է կենտրոնացված մի քանի խոշոր ամպային մատակարարների շրջանում: IO.NET-ը՝ ստարտափը, որը կենտրոնանում է ապակենտրոնացված GPU ենթակառուցվածքի վրա, նպատակ ունի փոխել այս դինամիկան՝ ստեղծելով այն, ինչ իր ղեկավարներն անվանում են «Airbnb of GPU»: Այս բացառիկ հարցազրույցում Gaurav-ը՝ IO.NET-ի CTO-ն և Binance-ի նախկին տեխնիկական ղեկավարը, քննարկում է, թե ինչպես է ընկերությունը կառուցում հարթակ, որը կարող է ժողովրդավարացնել մուտքը AI հաշվողական ռեսուրսներին՝ միաժամանակ նվազեցնելով ծախսերը մինչև 75%-ով՝ համեմատած ավանդական մատակարարների հետ:

Իշան . Բարի գալուստ մեր «Սթարթափի հետևում» շարքը: Խնդրում ենք պատմել մեզ ձեր մասին, ձեր ճանապարհորդության մասին և ինչն է ձեզ ոգեշնչել միանալու IO.NET-ին :

Գաուրավ . Իմ ճանապարհորդությունը բավականին պարզ էր՝ սկսած որպես ծրագրային ապահովման ինժեներ Պունայում: Ես աշխատել եմ այնտեղ մի քանի ստարտափներում՝ նախքան Բանգալոր տեղափոխվելը, որտեղ միացա HP R&D-ին և օգնեցի կառուցել իրենց ցանցային ֆայլային համակարգը զրոյից: Amazon-ում ես աշխատել եմ Android հավելվածների, էլեկտրոնային գրքերի և լսելի գրքերի համար նրանց հրատարակման խողովակաշարի վրա: Այնուհետև ես տեղափոխվեցի eBay, որին հաջորդեց Թաիլանդում OTA խոշոր ընկերություն, որը շուկայի առաջատարն էր Վիետնամում, Սինգապուրում և Մալայզիայում հյուրանոցների և թռիչքների ամրագրման համար:

Ես մոտ 5-6 տարի եմ անցկացրել նրանց ղեկավար թիմում, նախքան Binance-ին միանալը, որտեղ ես ղեկավարել եմ ավելի քան կես միլիարդ օգտատերերի համար KYC-ի համապատասխանության և խարդախության հայտնաբերման մասշտաբային հարթակի ստեղծումը: Իմ ողջ կարիերայի ընթացքում ես աշխատել եմ AI-ի հետ տարբեր ձևերով և անձամբ ականատես եմ եղել, թե ինչպես են մարդիկ պայքարում իրենց անհրաժեշտ հաշվողական ռեսուրսների հասանելիության հարցում:

Իշան . Կպատմե՞ք IO.NET- ում ձեր դերի մասին և ի՞նչ ապագա եք տեսնում ապակենտրոնացված հաշվարկների համար՝ համեմատած կենտրոնացված ճարտարապետության հետ:

Gaurav . Որպես CTO, իմ հիմնական դերը մասշտաբային հարթակի ստեղծումն է, որը հեշտացնում է մատակարարների միացումը, իսկ սպառողներին՝ օգտագործելու այդ ռեսուրսները: Մենք սկսել ենք GPU-ներից, բայց մեր տեսլականը տարածվում է դրանից դուրս:

Մեր ապակենտրոնացված մոտեցման հիմնական առավելությունը մասշտաբայնությունն է: Ավանդական տվյալների կենտրոնները զգալի մարտահրավերների են բախվում նոր տարածաշրջաններ ընդլայնելիս՝ նրանք պետք է տարածք վարձակալեն, թիմեր վարձեն, սարքավորումներ պատվիրեն և սպասարկեն: Սա ստեղծում է բարձր նախնական ծախսեր, որոնք ի վերջո փոխանցվում են օգտվողներին: Մեր ապակենտրոնացված մոդելը թույլ է տալիս մեզ շատ ավելի արդյունավետ կերպով ընդլայնվել՝ օգտագործելով առկա ենթակառուցվածքները:

Իշան . Ինչպե՞ս է աշխատում ձեր բիզնես մոդելը՝ համեմատած Azure-ի նման կենտրոնացված վաճառողների հետ, որոնք զգալի գումարներ են գանձում AI մոդելի հոսթինգի համար:

Գաուրավ ․ Մեր թիմը խորը հարաբերություններ է հաստատել ենթակառուցվածքների մատակարարների հետ ամբողջ աշխարհում՝ հնարավորություն տալով մեզ գտնել GPU-ներ մրցունակ գներով: Մեր գները սովորաբար 75%-ով ցածր են Amazon-ից և Google-ից:

Մենք առաջարկում ենք ինչպես ժամավճարներ, այնպես էլ ավելի երկարաժամկետ պարտավորություններ 6-9 ամիս: Մենք նաև տրամադրում ենք կառավարվող ծառայություններ այն ստարտափների համար, որոնք ցանկանում են կենտրոնանալ իրենց հիմնական բիզնեսի վրա, այլ ոչ թե ենթակառուցվածքի կառավարում:

Իշան . Ինչպիսի՞ն է ձգձգումը մինչ այժմ:

Գաուրավ . Արձագանքը ուժեղ է եղել: Մենք վերջերս կատարեցինք 1500 4090-ների պատվեր և մոտ ենք երկու ասիական Web2 ընկերությունների հետ գործարքներ կնքելուն, որոնցից յուրաքանչյուրն ունի ավելի քան 200 միլիոն օգտատեր: Թեև մենք ի սկզբանե կենտրոնացել էինք կրիպտո ընկերությունների վրա մեր ցանցի շնորհիվ, մենք տեսնում ենք աճող հետաքրքրություն ավանդական տեխնոլոգիական ընկերությունների կողմից, որոնք փորձում են խնայել ծախսերը:

Իշան . Կարո՞ղ եք բացատրել, թե ինչպես կաշխատի վերապատրաստման ապակենտրոնացված ճարտարապետությունը: Ապակենտրոնացման դեպքում կարող է ազդել կա՛մ մասշտաբայնությունը, կա՛մ անվտանգությունը, ինչպե՞ս ենք մենք դա հաշտեցնում:

Gaurav . Դա կախված է նրանից, թե ինչպես եք սահմանում մասշտաբայնությունը: Թույլ տվեք բացատրել տվյալների կենտրոնի բիզնեսի օրինակով: Եթե դուք տվյալների կենտրոնի մատակարար եք Հյուսիսային Ամերիկայում, և ինձ պետք է 1000 H100 Սինգապուրում, ավանդական գործընթացը չափազանց դժվար է: Ձեզ անհրաժեշտ կլինի տարածք վարձել, թիմ վարձել, պատվիրել GPU-ներ, կարգավորել առաքումը, սպասարկումը և տեղադրումը: Սա ստեղծում է զգալի նախնական ծախսեր և դանդաղ շուկա դուրս գալու ժամանակը, որը, ի վերջո, փոխանցվում է օգտատերերին:

Մեր ապակենտրոնացված մոդելում, քանի որ գույքագրումը բաշխված է, մենք չենք բախվում այս մարտահրավերներին: Կարողությունների ավելացումը նույնքան պարզ է, որքան նոր մատակարարներին մեր հարթակին միացնելը: Դա նման է այն բանին, թե ինչպես է գործում հյուրանոցի հասանելիությունը. միայն այն պատճառով, որ հիմնական ցանցերը ամբողջությամբ ամրագրված են, չի նշանակում, որ քաղաքում սենյակներ չկան: Իրականում առկա է GPU-ի զգալի հզորություն, բայց ոչ ոք չի ստեղծել «Airbnb GPU-ների համար»՝ այս գույքագրումն արդյունավետ կերպով համախմբելու համար:

Իշան . Ճիշտ հասկանալու համար, եթե կա ուսանող կամ խաղացող Բանգալորում և ԱՄՆ-ում անգործուն GPU ունեցող ընկերություն, նրանք կարող են միանալ ձեր հարթակի միջոցով:

Գաուրավ : Ճիշտ է: Թաիլանդից կամ Հնդկաստանից ինչ-որ մեկը, ով ցանկանում է վերապատրաստել որոշակի մոդել, լինի դա LSTM կամ որևէ այլ տեսակ, կարող է օգտագործել այս GPU-ները: Քանի որ դա վարձակալության վրա հիմնված մոդել է, այն ավելի խնայող է, քան ավանդական մատակարարները:

Իշան . Ի՞նչ եք կարծում այս պահին սահմանամերձ մոդելների մրցավազքի մասին՝ Llama-ից մինչև OpenAI մինչև Anthropic:

Գաուրավ . Այս պահին հիմնականում ենթադրություններ են: Վերջին մի քանի տարիների ընթացքում մենք զգալի առաջընթաց ենք կատարել AI կարողությունների մեջ: Թեև պարզ չէ, թե որ ընկերությունն է, ի վերջո, ղեկավարելու տիեզերքը, այն կարող է լինել նույնիսկ Web3 նվագարկիչ, վստահ է, որ առաջիկա երեք տարիների ընթացքում մենք կտեսնենք հսկայական նորարարություն:

Իշան . Ինչպե՞ս է կառուցված IO.NET- ի կառավարման մոդելը հենց հիմա:

Գաուրավ . Մենք ներկայումս կիսաապակենտրոնացված ենք: Մենք ակտիվորեն լսում ենք մեր համայնքը շաբաթական AMA-ների միջոցով և իրականացնում նրանց արձագանքները: Մեր ներքին թիմը վերանայում է օգտատերերի բոլոր տոմսերը և հարցումներ անում ամեն շաբաթ՝ առաջնորդելու մեր զարգացման առաջնահերթությունները: Մեր համայնքի ներգրավվածությունը հիմնականում տեղի է ունենում X-ի (նախկինում՝ Twitter-ի), Discord-ի և մեր AMA-ների միջոցով՝ ավելի քան կես միլիոն հետևորդներով տարբեր հարթակներում:

Իշան . Ի՞նչ տեխնիկական մարտահրավերների եք հանդիպել այս պլատֆորմը մշակելիս, հաշվի առնելով այն, որ այն նոր հայեցակարգ է առանց գոյություն ունեցող ապակենտրոնացված AI ճարտարապետությունների:

Gaurav . Մեր արագ ընդլայնումը ներկայացրեց և՛ հնարավորություններ, և՛ մարտահրավերներ: Երբ ես միացա, պլատֆորմը նախատեսված էր 100,000 GPU-ի համար, բայց մենք արագորեն պետք է զբաղվեինք միլիոններով: Սա պահանջում էր զգալի ճարտարապետական փոփոխություններ՝ անվտանգությունը, կայունությունը և մասշտաբայնությունը կառավարելու համար: Հիմնադիրը գիտակցում էր, որ պետք է փորձառու առաջնորդություն ունենալ մասշտաբային հարթակներ ստեղծելու գործում, ինչը հանգեցրեց ինձ աշխատանքի ընդունելու և թույլ տվեց ինձ ստեղծել փորձառու մասնագետների թիմ այնպիսի ընկերություններից, ինչպիսիք են Amazon-ը, VMware-ը և AI-ի լավագույն հետազոտողները:

Հիմնական բանը մարդկանց առկայությունը էր, ովքեր նախկինում կառուցել էին նմանատիպ մասշտաբային համակարգեր: Մենք հավաքել ենք թիմ, ներառյալ մեքենայական ուսուցման ասպիրանտներ և խոշոր տեխնոլոգիական ընկերությունների վետերաններ, որոնք բոլորը կենտրոնացած են այս բարդ տեխնիկական մարտահրավերների լուծման վրա՝ պահպանելով հարթակի ապակենտրոնացված բնույթը:

Իշան . Պատմեք մեզ ավելին թիմի նախապատմության մասին, ինչպես սկսվեց ճանապարհորդությունը, որն էր առաջին գաղափարը, ինչ-որ առանցքների նախքան այս մոդելին հասնելը և ինչ ապագա եք տեսնում IO.NET-ի համար առաջիկա 1-2 տարում:

Գաուրավ . Ես միացա մոտ յոթ ամիս առաջ՝ ընկերության հիմնադրումից մոտավորապես երեք-չորս ամիս անց: Առաջին իսկ օրվանից տեսլականն էր ստեղծել DeFi և AI պլատֆորմների հիբրիդ, որպեսզի շինարարներին հնարավորություն ընձեռվի ստեղծել մոդելներ: Երբ ես միացա, հիմնադիրները և ես համաձայնվեցինք կարևոր ռազմավարության վրա. մենք պետք է առաջարկեինք մի բան, որը չափազանց դժվար կլիներ մրցակիցների համար: Որպես հիմնական տարբերակիչ մենք բացահայտեցինք GPU-ի մատակարարումը մրցունակ գներով:

Մինչ այլ կրիպտո հարթակներ կարող են առաջարկել նմանատիպ գներ, նրանք պայքարում են մասշտաբի հետ: Եթե նրանցից խնդրեք 1500 GPU, նրանք հաճախ չեն կարողանում մատուցել, քանի որ իրենց բիզնես մոդելն իսկապես ապակենտրոնացված չէ: Նույնիսկ եթե նրանք ստեղծեն խելացի պայմանագրեր, եթե ունեն իրենց սեփական տվյալների կենտրոնները, մասշտաբը դառնում է չափազանց դժվար: Դա նույն խնդիրն է, որին բախվում է Azure-ը. դուք չեք կարող պնդել, որ ապակենտրոնացված եք միայն կենտրոնացված ենթակառուցվածքի վերևում խելացի պայմանագրեր ավելացնելով:

Իշան . Ծրագրային ապահովման մշակումը միշտ էլ դժվար է: Այս հարթակը մշակելիս, որն իսկապես նոր է, քանի որ ներկայումս չկան ապակենտրոնացված AI ճարտարապետություններ GPU հոսթինգի համար, ի՞նչ տեխնիկական խնդիրների եք հանդիպել:

Գաուրավ . Մենք բախվեցինք սպասվածից շատ ավելի արագ ընդլայնելու հետաքրքիր մարտահրավերի հետ. բիզնեսի տեսանկյունից լավ խնդիր, բայց ինժեներական տեսանկյունից բարդ: Պատկերացրեք, որ 100,000 GPU-ի համար հարթակ կառուցեք և հանկարծ կես միլիոն կամ ավելին զբաղվեք: Օդային արձակումների ժամանակ մենք բախվեցինք օգտատերերի զանգվածային հոսքերի և պոտենցիալ Sybil գրոհների՝ արագորեն մեծանալով:

Ապահով, կայուն հարթակի ստեղծումը, որը կարող է միաժամանակ կառավարել 50-100 կլաստերներ, առանց խցանումների, միաժամանակ թույլ տալով արագ մատակարարման ավելացումներ 1000 GPU-ի րոպեում. սրանք զգալի մարտահրավերներ էին: Հիմնադիրը գիտակցում էր, որ թեև ինքը կարող է ընկերությունը կառուցել որոշակի մակարդակի վրա, այն հետագայում վերցնելը պահանջում է մասշտաբային հարթակներ և բիզնեսներ կառուցելու փորձ ունեցող մարդիկ:

Դա այն է, ինչ ես հարգում եմ նրա մոտ. նա ընդունեց այս անհրաժեշտությունը և ինձ իրավունք տվեց կառուցել ճիշտ թիմ: Մենք տաղանդներ ենք բերել Amazon-ից, VMware-ից և տարբեր առաջատար ընկերություններից: Մենք ունենք մեքենայական ուսուցման ասպիրանտներ, արտադրանքի փորձագետներ խոշոր տեխնոլոգիական ընկերություններից. դուք կարող եք ստուգել այս նախադրյալները մեր կայքում:

Հիմնադիրներն աջակցել են այս մոտեցմանը` հասկանալով, որ ապրանքը իրական բիզնեսի վերածելու համար անհրաժեշտ են մարդիկ, ովքեր դա արել են նախկինում: Նրանց աջակցությունն այս անցումային փուլում վճռորոշ է եղել մեր հաջողության համար:

Չմոռանաք հավանել և կիսվել պատմությունով։