Twitter- ի Dynamic Product Ads- ում, որտեղ մենք ճշգրիտ ժամանակով համատեղել ենք միլիոնների օգտվողների եւ միլիոնների էլեկտրոնային առեւտրային արտադրանքի հետ: Այս արտադրանքը ամենամեծ 5-6 արտադրանքը էր, որոնք յուրաքանչյուր օգտվողը ամենամեծ կարող է գնել: Այս համակարգը օգտագործել է արտադրանքի եւ օգտվողի բաղադրիչները Classic ML մոդելների հետ, որպեսզի Twitter- ի մակարդակում մատակարարել մանրամասներ: Մենք տեսել ենք 15-18% բարելավումը CTR- ում եւ 12% բարելավումը վերլուծման մակարդակներում, համեմատաբար մանրամասների հետ: Բայց այժմ բոլորը խոսում են AI- ից եւ Large Language Models- ից, քանի որ նրանք ամեն ինչը փոխել են: Այնպես որ, ես կարծում եմ, թե եթե ես այսօր ստեղծել եմ Dynamic Product Ads- ը, ես օգտագործեմ LLM- ները: Եվ ավելի կարեւոր է, թե ինչը ոչինչ չի փոխել, եւ ինչու: Հաջորդը: Ես կարող եմ օգտագործել LLM- ները մոտ 20% համակարգի համար, մասնավորապես արտադրելու համար ներարկման համար, եւ վերցնել ամեն ինչ այլը. Մեր Original Approach- ը Հիմնական խնդիրը: առաջարկում են արտադրանքը օգտվողին, որ նրանք ամենամեծ հնարավորությամբ կտրում են եւ գնում են, իսկ նրանք արագ թռչում են իրենց ժամանակակիցը: Բացի այդ, շատ արտադրանքը կարող են ընտրել եւ մատակարարներ: Բացի այդ, շատ օգտվողները թռչում են միասին: համակարգը պետք է տպագրել միլիոնների օգտվողների համար sub-millisecond թռչողության ընթացքում: Ad Serving խողովակները պետք է ավարտել թռչողությունը 50 մուլիսսաբեկի ընթացքում, առավելագույնում: Դասընթացը շատ տպագրություն էր (մայիսի 2022-ի համար): Ապրանքներ Embeddings Մենք օգտագործել ենք յուրաքանչյուր արտադրանքի մետա-տուտակներ, ինչպիսիք են Title, Description, Category, Price, եւ այլն, եւ coded այն 128-dimensional հյուսված vektor space.We also used signals like user engagement with this product or conversion patrons to calculate embeddings. Օգտագործողներ Embeddings Օգտագործողները ներառում են vektor- ի վրա, որը հիմնված է սխալների, ինչպիսիք են իրենց գործառույթը պլատֆորմում, պրոֆիլային տեղեկատվություն, եւ առաջադեմ գնելները: Այստեղ նույնիսկ geographies եւ օրվա ժամանակը խաղացել են հիմնական գործառույթը: Matching մոդել Հիմնականում, մենք օգտագործում ենք երկու մակարդակը: Առաջին, մենք կատարում ենք արագ հարմարեցման մոտեցման ապրանքների հետազոտություն, որոնք ստանում են ապրանքներ, որոնց ներարկմանները հստակ են օգտագործողների ներարկմաններին: Այնուհետեւ, մենք օգտագործում ենք բաղադրիչը, որը բարձրացնում է որոշման խոշորը, որպեսզի ստանում ենք այդ ապրանքներին, որը ներառում է լրացուցիչ առանձնահատկություններ, ինչպիսիք են վերջին ժամանակը, գինը սխալներ եւ բաղադրիչները, ինչպիսիք են օրվա ժամանակը: Մոդելը եւ ANN- ը (համփորդական ամենամեծ հագուստը) կարող են բացահայտվել, debuggable, եւ առավել կարեւորը, հեշտ է Twitter- ի ծախսերի համար: Ինչպե՞ս կգտնեմ այս մասին այսօր։ Եթե ես այսօր ստեղծել եմ այս համակարգը, այստեղ է այն, ինչ ես իրականում փոխել եմ: Լավագույն արտադրանքի ներարկման հետ LLM Encoders Բարձրագույն բարելավումը կարող է լինել ավելի լավ արտադրանքի բաղադրիչների ստեղծում: Modern Large Language Models շատ լավ են իմանալ սենմենտային նշանակությունը եւ բաղադրիչը: Մինչեւ արտադրանքի բաղադրիչները միասին բաղադրիչ են, ես օգտագործում եմ LLM- ի հիմնված encoder- ը արտադրանքի բաղադրիչների ստեղծման համար: Դա կարեւոր է, քանի որ մի արտադրանքը, որը կոչվում է «նշելու կոճակներ», կախված է «նշելու կոճակների» հետ, նույնիսկ եթե նրանք չգիտեն ճշգրտական խոսքեր: Hugging Face- ի նորաձեւ սերտիֆիկներ, ինչպիսիք են: Արդյոք դա անմիջապես աշխատում է. all-MiniLM-L6-v2 Մենք մեկ անգամ ունենք Nike- ի արտադրանքի կատեգորիանը `Air Max 270 React`- ի անունով, որ մեր 2022- ի բաղադրիչները չի կարող սխալել օգտագործողների հետ, ովքեր փնտրում են `կամակված արվեստներ` կամ `լոգետիկ բաղադրիչներ`, քանի որ ոչ մի բաղադրիչ: Ապրանքը ստացել է 35-40% քիչ տպագրություններ, քան նման արտադրանքը իր առաջին շաբաթում, մինչեւ մենք հավաքել ենք पर्याप्त բաղադրիչների տվյալներ: LLM- ի վրա հիմնված coder- ը պետք է հասկանում է սենմետիկ հարաբերությունը անմիջապես: Բարձրացվել է սառուցման սկսած աշխատանքը LLM-ները կարող են նաեւ ավելի լավ դարձնել սեռական սկսած կառավարման: Երբ նոր արտադրանքը հայտնվում է կատեգորիանում, LLM- ը կարող է արտադրել խոշոր Signals- ից արտադրանքի նկարագրությունները, վերլուծություններ, եւ նկարագրություններ, որպեսզի արտադրել ճշգրտական առաջին ներարկման: Բացի այդ, նոր օգտագործողների համար, ովքեր անսահմանափակ են ներարկման պատմությամբ, आधुनिक coders- ը կարող են ավելի լավ հասկանալ իրենց պրոֆիլային տեղեկատվություն եւ առաջին tweet- ները (հարկե, եթե նրանք ունեն) ստեղծելու համար նշանակում են արտահայտություններ: Cold Start- ը միշտ էր մեր ցավագույն փնտրվածը սեռական ներարկման վրա հիմնված օգտագործողների արտադրանքի ներարկման լուծումներում: Ինչպե՞ս կարող են LLM-ները հարմարվել իրական դիզայնի մեջ: HYBRID- ի հետազոտություն Ես դեռ կարող եմ օգտագործել Classic ML- ը իրական պահեստելու եւ ծառայելու մակերեսների համար: Արդյունաբերությունը տեսնում է: Feature LLM or Classic LLM-based encoder to generate user and product embeddings LLM Match embeddings to generate candidate products per user Classic Final scoring and ranking Classic LLM- ի հիմնված encoder- ի համար օգտագործողների եւ արտադրանքի ներարկման ստեղծման համար LLM Match embeddings to generate candidate products per user-ի համար բաղադրիչ ապրանքներ Կլաստիկ Final Scoring եւ Ranking Կլաստիկ Ինչպե՞ս կարող եմ օգտագործել դասական մոդելներ ստանդարտման համար: Դասավորությունը, ծախսերը եւ բացառությունը: LLM-ները չգիտեն արտադրանքը միլիոնների օգտվողների համար 10 միլեսբիների ընթացքում: Նրանք հիդրավլներ են թվային հատկանիշների համատեղելու համար եւ տեղադրման որոշման համար: Կլաստիկ մոդելները դա կարող են անել microseconds- ում: Twitter- ի չափազանցում, 1ms- ի եւ 10ms- ի համոզվածության ժամանակի տարբերությունը փոխվում է միլիոնների դոլարով ինտրաֆորմացիայի ծախսերի եւ օգտագործողների ներգրավվածության մանրամասելի ցածրության համար: LLM- ի գործառույթը ցանկացած նախընտրական պահանջի համար կախված է 50-100x ավելի շատ, քան մեր պլաստիկ մուտք. Ինչպե՞ս ստեղծել Ad Copy- ը Կան շատ hype է ինտերնետում օգտագործման մասին LLMs ստեղծել մասնագիտացված ad copy- ի վրա թռիչք կամ խոսել օգտվողի նպատակը իրական ժամանակում. Սա այն է, որտեղ դա դժվար է որոշել, թե LLMs պետք է իրականում օգտակար է կամ ոչ. Ապրանքի առանձնահատկությունները, անսահմանափակ branding, եւ դժվար է վերահսկել բաղադրիչը այս քանակում: համակարգը պետք է ցույց տալ, որ մի քանի միլիոն բաղադրիչների օրվա ընթացքում, եւ չի կարող վերահսկել նրանց ճշգրտության եւ բաղադրիչի անվտանգության համար: One hallucinated claims about a product like "waterproof" when it is not, or "FDA-approved" when it is not, would create legal liability. The risk does not justify the marginal lift in engagement. Ո՞վ չի փոխվում Եթե համակարգը օգտագործում է 2022- ի կամ 2026- ի LLM- ի բաղադրիչները, հիմնական փորձը դեռ նույն է: որոշում է, թե ինչ է ցանկանում մեկին սխալային սխալներից: Մարդիկ, ովքեր Twitter- ում գրում են արեւի կոճակների մասին, կարող են լինել marathon runner- ի վաճառքները իրենց հաջորդ կոճակների համար, կամ անմիջական վերահսկողներ, ովքեր պարզապես տեսնում են վիդեոում արեւի համար: Այս խնդիրը պետք է լուծել լավ տվյալներ, սխալային առանձնահատկություններ, եւ շատ փորձարկման: Ոչ մոդելային դիզայնը լուծում է այս խնդիրը: Understanding user intent Արդյոք, թե ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ-որ բան, ինչ- Latency requirements Տեսակներ, ինչպիսիք են նոր արտադրանքի կամ օգտվողների սառուցման, եւ տվյալների որակի խնդիրները, երբ կատեգորիաների մեռնում են կամ սխալ արտադրանքի նկարագրություններ, դեռ կա: Այս խնդիրները կասկած են մոդել դիզայնի եւ պահանջում են համակարգի դիզայնի դիզայնը, ոչ մոդել դիզայնի կառուցման. Last-mile problems Մոդելային հարմարավետությունը ծախսում է մոդելային հարմարավետությունը: Մի թիմը, որը կարող է գործել 10 փորձերը շաբաթվա ընթացքում ավելի հեշտ մոդելով, միշտ կախված է մի թիմը, որը գործում է 1 փորձը շաբաթվա ընթացքում շատ հարմարավետ մոդելով: Խնդրում ենք արագ փորձել, չափել արդյունքները եւ թարմացնել, քան մոդելային որակը: Երբ մենք սկսել ենք Dynamic Product Ads- ը, մենք գործել ենք 3-4 փորձներ շաբաթվա ընթացքում: Մենք փորձել ենք տարբեր ներարկման չափերը, տարբեր ANN- ի ալբորմատոմսերը եւ տարբեր առանձնահատկություններ ստուգման մոդելում: Շատը փորձերը սխալ են: Բայց այդ փորձները աշխատել են: Այս արագությունը ավելի կարեւոր էր, քան ընտր Iteration speed Հիմնական հարցը այն է, թե որտեղ է բաղադրիչը: «Ինչպե՞ս կարող եք ստեղծել այն այսօր նոր AI- ի հետ» հարցը չի պետք է լինի, թե ինչ կարող է լինել նոր տեխնոլոգիանով: Դա պետք է լինի, «Ինչ է ձեր համակարգի ճշգրտությունը, որտեղ AI- ը կարող է օգնել»: Մեր համար բաղադրույքը երբեք չգիտվեց բաղադրույքների որակի մասին: Դա խոսում էր օգտագործողների նպատակների գիտության մասին, արտադրանքի կատեգորիաների տվյալների որակի խնդիրների կառավարման մասին, եւ սեռական սկսման խնդիրների կառավարման մասին, ինչպես նաեւ կառուցելու համակարգերի մասին, որոնք կարող են վերահսկել քանակը: Modern AI- ը իրականորեն օգնում է այդ որոշներին, եւ AI- ի օգտագործման մեջ իրական արժեքն է: Սակայն հիմնական համակարգային խնդիրները չի փոխվում: Եթե ես այսօր ստեղծել եմ այս համակարգը, ես 20 % իմ փորձի համար «լուսանկարների օգտագործման համար» եւ 80 % -ը նույն խնդիրների համար, ինչպիսիք են չափազանցությունը, տվյալների որակի, փորձարկման եւ օգտագործողների հավելվածության հասկանալը: Unpopular մեկնաբանություն Մեկ տարի առաջ Blockchain- ի եւ Web3- ի հետ միասին նման hype- ը էր: Բայց ճշմարտությունը այն է, որ շատ արտադրության ML համակարգեր աշխատում են, ծախսում են եւ գնում են գումար: LLM- ի օգտագործման ռեժիմիական մեթոդը կունենա 5% -ի բարելավումը, բայց կունենա 10x ավելի արագ եւ 100x ավելի ծախսված: Մոդելային AI- ը ճշմարտապես արժանի է, երբ օգտագործվում է պտուտակային խոշորության համար, ոչ մի փոխանակման համար ամբողջ համակարգի համար, որը այժմ աշխատում է:
