Mwen te dirije Dynamic Product Ads nan Twitter, kote nou korespondan dè milyon itilizatè ak dè santèn de milyon pwodwi komès elektwonik nan tan reyèl. pwodiksyon an te pi gwo 5-6 pwodwi ke chak itilizatè te pi pwobableman achte. Sistèm la te itilize pwodwi ak itilizatè embeddings ak modèl ML klasik yo bay piblisite pèsonalize sou skal Twitter la. Nou te wè 15-18% amelyorasyon nan CTR ak 12% amelyorasyon nan pousantaj konvèsyon konpare ak piblisite mak. Li te yon kèk ane de sa. Men, kounye a, tout moun pale sou AI ak Big Language Models tankou yo pral revolisyon tout bagay. Se konsa, mwen te reflete sou si mwen ta bati Dynamic Product Ads jodi a, mwen ta itilize LLMs? Epi pi enpòtan, ki sa ki pa pral chanje nan tout, ak poukisa? Repons: Mwen ta itilize LLMs pou apeprè 20% nan sistèm la, espesyalman pou kreye embeddings, ak kenbe tout lòt bagay la menm jan an. Pwodiksyon orijinal nou an Problèm la nan men: rekòmande pwodwi yo nan yon itilizatè ki yo pi kout yo klike ak achte, pandan y ap yo byen vit koule timeline yo. Gen milyon de pwodwi yo chwazi soti nan ak reklamè. Anplis de sa, te gen milyon de itilizatè koule nan menm tan an. Sistèm la te fè prediksyon pou milyon de itilizatè nan latèz sub-milisekond. Ad Serving pipeline ta dwe konplete prediksyon an nan anba 50 milisekond, nan maksimòm. Atik la te trè liv lekòl (pou 2022 nan mwens). Pwodwi entwodiksyon Nou te itilize metadata nan chak pwodwi, tankou tit, deskripsyon, kategori, pri, elatriye, ak kode li nan yon espas vètikal dense 128-dimansyon. Nou te tou itilize siyal tankou entèaktif itilizatè ak pwodwi sa a oswa modèl konvèsyon yo kalkil antrepriz. itilizatè Embeddings itilizatè yo te reprezante pa vektè ki baze sou sinyal tankou angaje yo sou platfòm la, enfòmasyon pwofil, ak achte anvan. Menm jeyografi ak èdtan nan jou te jwe yon wòl kle isit la. Modèl nan matching Nan tan inferans, nou pral sèvi ak yon apwòch de etap. Premye, nou pral kouri yon rechèch apwopriye vit nan granmoun ki pi pre jwenn pwodwi kandida ki entegre yo te tou pre nan entegre itilizatè yo. Lè sa a, nou pral sèvi ak yon gradient boosted decision tree yo ranpli kandida sa yo, entegre karakteristik adisyonèl tankou dènye, sinyal pri, ak konteks tankou tan nan jou. Modèl la ak ANN la (apreblemantè pwochen lannwit) te eksplike, debuggable, ak pi enpòtan, vit ase pou skal la nan Twitter. Ki jan yo apwòch sa a jodi a? Li se 2026 kounye a. Si mwen te bati sistèm sa a jodi a, isit la se sa mwen ta reyèlman chanje. Pi bon entegre pwodwi ak Encoders LLM Pi gwo amelyorasyon ta dwe nan kreye pi bon entegre pwodwi yo. Modèn Modèl lang gwo yo trè bon nan konprann sentèz semantik ak konteks. Anplis de siveyans ansanm deskripsyon pwodwi (ki pi fò nan yo te byen mal yo kòmanse ak), mwen ta itilize yon kodè ki baze sou LLM yo kreye entegre pwodwi yo. Li enpòtan paske yon pwodwi tit "pou kouri" ta dwe semantik fèmen nan "sneakers pou jogging", menm si yo pa pataje motè yo egzak. Modèn transformatè frè soti nan Hugging Face, tankou Kòmanse sa a san efò. all-MiniLM-L6-v2 Yon fwa nou te gen yon enskripsyon katalog pwodwi Nike tit 'Air Max 270 React' ke entegre nou yo nan 2022 pa te kapab koresponn ak itilizatè ki ap chèche pou 'pouchon kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous kous ko Pwoteje ranfòse frèt kòmanse LLMs pral tou fè manipilasyon a koud kòmanse yon ti kras pi bon. Lè yon nouvo pwodwi parèt nan yon kataloz, LLM ka ekstrè siyal rich soti nan deskripsyon pwodwi, revize, ak imaj yo kreye yon entegre prensipal rezonab. Anjeneral, pou nouvo itilizatè ak istwa entegre rilaks, coders modèn ka pi byen konprann enfòmasyon pwofil yo ak tweet inisyal yo (si yo gen nenpòt) yo kreye reprezantasyon enteresan. Kòl kòmanse te toujou pwen ki pi faib nou an nan klasik entegre ki baze sou solisyon pou konpare itilizatè-pwodwi. Se poutèt sa, ki kote LLMs yo mete nan estrikti reyèl la? Hybrid apwòch Mwen toujou sèvi ak ML klasik pou magazen aktyèl ak serve layers. Arkitektur la ta ka sanble tankou: Feature LLM or Classic LLM-based encoder to generate user and product embeddings LLM Match embeddings to generate candidate products per user Classic Final scoring and ranking Classic Encoder ki baze sou LLM yo kreye itilizatè ak pwodwi embeddings LLM nan Matche entwodiksyon yo kreye pwodwi kandida pou chak itilizatè Klasik Final pousantaj ak Ranking Klasik Poukisa mwen ta itilize modèl klasik pou pousantaj? Rezon yo se latans, pri, ak eksplike. LLMs pa kapab prezante pwodwi pou milyon itilizatè nan mwens pase 10 milisekond. Yo se yon overkill pou konbine karakteristik numerik ak fè yon desizyon ranpli. modèl klasik ta fè sa nan mikrosekond. Nan skal la nan Twitter, diferans ki genyen ant 1ms ak 10ms tan inferans tradui nan milyon dola nan pri enfrastrikti ak diminye mesurab nan angaje itilizatè. Kòmanse LLM inferans pou chak demann prediksyon ta koute 50-100x plis pase metòd klasik nou an. Ki jan yo kreye Ad Copy? Gen yon anpil nan hype sou entènèt sou lè l sèvi avèk LLMs yo kreye kopi ad pèsonèl sou vòl la oswa rezon sou entansyon itilizatè a nan tan reyèl. Sa a se kote li vin difisil deside si LLMs ta reyèlman itil oswa pa. Generating ad copy with LLMs introduces unacceptable risks such as hallucinations about product features, inconsistent branding, and hard-to-review content at this scale. Sistèm la ta dwe montre milyon de varyasyon ad pou chak jou, ak pa gen okenn fason yo revize yo pou akòzite ak sekirite mak. Yon alizyon hallucinated sou yon pwodwi tankou "waterproof" lè li se pa, oswa "FDA-apwouve" lè li se pa, ta kreye responsablite legal. Risk la pa justifye ogmantasyon marginal nan angaje. Ki sa ki pa chanje? se toujou pati ki pi difisil. Si sistèm la sèvi ak embeddings soti nan 2022 oswa LLMs soti nan 2026, rezo a debaz la rete menm: dedui sa yon moun vle soti nan siyal yo soude. Yon moun ki tweet sou kous kous ka yon maraton koutè achte pou pafwa pwochen yo, oswa yon observatè casual ki jis gade yon kous sou televizyon. Problèm sa a bezwen done bon solisyon, enjenyè karakteristik kontan, ak anpil eksperyans. Pa gen okenn estrikti modèl rezoud sa a. Understanding user intent se pa negosyab. Nan mas la, chak milisekond konsidere. itilizatè yo pral kite eksperyans ki santi lontan. Sistèm piblisite pa ka ralanti chaj la nan liy tan. Mwen te wè plizyè sistèm enfrastrikti ML kraze nan tès A / B paske yo te ajoute 100ms latans nan yon sistèm byen lwil olye. Modèl la ta ka pi bon, men kondisyon lan latans bat tout. Latency requirements Toujou pwoblèm tankou frèt kòmanse pou nouvo pwodwi oswa itilizatè, ak pwoblèm bon jan kalite done lè kataloz yo gen manke oswa deskripsyon pwodwi erè, yo toujou gen. Problèm sa yo se ortogonale nan arsitektur modèl la ak mande pou konsèp konsepsyon sistèm, e pa bati arsitektur modèl. Last-mile problems yon ekip ki ka kouri 10 eksperyans pou chak semèn ak yon modèl pi senp ap kontinyèlman depase yon ekip ki kouri 1 eksperyans pou chak semèn ak yon modèl trè sofistike. Kapasite nan tès vit, medye rezilta, ak itere se pi valè pase amelyorasyon marginal nan bon jan kalite modèl la. Lè nou te lanse Dynamic Product Ads, nou te kouri 3-4 eksperyans pou chak semèn. Nou te tès diferan gwosè enbalaj, diferan algorithms ANN, ak diferan karakteristik nan modèl la pousantaj. Pifò eksperyans te échoue. Men, moun ki te travay konpoze. Sa a vitès enpòtan plis pase chwazi "perfèkteman" aritèkti modèl la. Iteration speed Yon reyèl kesyon se: Ki kote se Bottleneck la? Pou egzanp, pifò nan diskisyon an "ki jan ou ta bati li jodi a ak AI modèn" manke pwen an. Demann la pa ta dwe sa ki se posib ak teknoloji a nouvo. Li ta dwe, "Ki sa ki se reyèl la nan boutèy la nan sistèm ou kote AI ka ede?" Pou nou, bouchon an pa janm te sou bon jan kalite a nan embeddings yo. Li te sou konprann entansyon itilizatè a, manyen pwoblèm bon jan kalite done nan kataloz pwodwi yo, ak jesyon pwoblèm koud-start, osi byen ke konstriksyon sistèm ki ka fè fas ak mas. Modèn AI reyèlman ede ak kèk nan sa yo, ak gen yon valè reyèl nan lè l sèvi avèk AI. Sepandan, defi sistèm fonksyonèl yo pa chanje. Si mwen te bati sistèm sa a jodi a, mwen ta pase 20% nan efò m 'yo sèvi ak LLM yo kreye embeddings pi bon' ak 80% sou pwoblèm yo menm nan skal, bon jan kalite done, eksperyans, ak konprann entansyon itilizatè. Opinyon an popilè endistri a teknoloji renmen revolisyonnatif narratives. Gen yon hype menm jan an sou blockchain ak Web3 yon kèk ane de sa. Men, verite a se, pi fò nan pwodiksyon ML sistèm travay, skal, ak fè lajan. Atraksyon a revolisyonyè nan lè l sèvi avèk LLM ta fè 5% amelyorasyon, men li ta dwe 10x pi lent ak 100x plis chè. Modèn AI se reyèlman valè lè yo aplike atansyon, pa kòm yon ranplase pou tout sistèm la ki deja ap travay.
