Twitter-də “Dynamic Product Ads” sistemini idarə etdim, orada milyonlarca istifadəçi ilə yüz milyonlarca e-ticarət məhsuluna real vaxtda qarşılaşdıq. “Dynamic Product Ads” sistemində hər bir istifadəçi ən çox satın ala bilən ən böyük 5-6 məhsul idi. “CTR”də 15-18% və “brend” reklamlarına qarşı 12% artım gördük. Bu, bir neçə il öncə idi.Ama şimdi, hər kəs AI və böyük dil modellərindən danışır, sanki onlar hər şeyi dəyişdirəcəklər.Şübhəsiz ki, mən bu gün dinamik məhsul reklamlarını yaratdığımı düşünürdüm, LLM-ləri istifadə edərdim? Cəmi 20% sistem üçün LLM-ləri istifadə edərdim, spesifik olaraq embeddings yaratmaq üçün və hər şeyi belə saxlayardım. Bizim orijinal görüşümüz Xatırladaq ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki Ürünlər embeddings Biz hər bir ürünün metadata, örnək, təsvir, kategoriya, qiymət, etc. kimi istifadə etdik və onu 128-dimensional qısa vektor boşluğa kodladıq. İnternet istifadəçiləri Kullanıcılar platformada iştirak etdikləri, profil xəbərləri və əvvəlki alış-verişləri kimi sinyallara dayandırılmış vektorlarla temsil olundu. Matching modeli İlk olaraq, ən yaxın yaxın komşu arzulayışını sürətləndirmək üçün, istifadəçilərin embeddings yaxın olan namizəd məhsulları almaq üçün istifadə edərdik.Sonra, biz bu namizədləri qiymətləndirmək üçün bir gradient artırılmış qərar ağacı istifadə edərdik, son zamanlar, qiymət sinyalləri və günün vaxtı kimi kontekst kimi başqa xüsusiyyətləri daxil edərdik. Bu model və ANN (apraktik ən yaxın komşu) Twitter-in ölçüsü üçün kifayət qədər izah edilə bilər, düzəldilə bilər və ən önemlisi də, kifayət qədər sürətli idi. Bu gün bu işə necə yaxınlaşacağam? “Əgər bu sistemin yaradılışında bu gün olsaydım, həqiqətən bunu dəyişərdim. LLM Encoders ilə daha yaxşı məhsul embeddings Modern böyük dil modelləri semantik anlamı və konteksti anlamada çox yaxşıdır. (bir çoxunun başlanğıcında çox pis olduğu) məhsul təsvirlərini birləşdirmək yerine, ürək embeddingsini yaratmaq üçün LLM-ə dayanan bir kodçu istifadə edərdim. VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Bunu çox çətindir. all-MiniLM-L6-v2 Biz bir zamanlar "Air Max 270 React" adlı "Nike" ürün kataloguna daxil olduq ki, 2022-ci ilin embeddingsimiz "cushioned running shoes" və ya "athletic sneakers" aradıqları istifadəçilərə eşidilməmişdi, çünki anahtar kelimələr birbaşa olmamışdı. Qış başlanğıcını yaxşılaşdırmaq LLM-lər də soğuk başlanğıc prosesi bir az daha yaxşılaşdıracaq. Bir katalogda yeni bir məhsul ortaya çıxdığında, LLM-lər ürək açıqlamalarından, recenziyalarından və görüntülərdən zengin sinyalləri çıxara bilərlər ki, nisbətli bir ilk embedding yaratsınlar. Aynı zamanda, az fərqlənməyən yeni istifadəçilər üçün modern kodlar profil informasiyalarını və ilk tweetlərini daha yaxşı anlayacaqlar (onlar varsa) anlamlı göstəricilər yaratmaq üçün. LLM-lər real architektura necə daxil ola bilər? Hybrid qələbə Mən də klassik ML-i həqiqətən layerlərin depolaması və servisi üçün istifadə edərdim. Feature LLM or Classic LLM-based encoder to generate user and product embeddings LLM Match embeddings to generate candidate products per user Classic Final scoring and ranking Classic LLM-ə dayanan kodlayıcı istifadəçi və məhsul embeddings yaratmaq üçün LLM Müştərilər üçün kandidat məhsulları yaratmaq üçün match embeddings Klassiklər Final və reytinq Klassiklər Niyə klassik modelləri qiymətləndirmək üçün istifadə edərəm?Nədir?Nədir?Nədir?Nədir?Nədir?Nədir? VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Hər bir öngörülmə istədiyi üçün LLM hökmünü sürmək klassik metodumuzdan 50-100 dəfə daha çox mal ola bilər. Ad Copy nə deməkdir? İnternetdə LLM-lərin istifadə etməsi ilə bağlı bir çox hype var, ya da real vaxtda istifadəçi niyyətini düşünmək üçün kişiselleştirilmiş reklam kopyası yaratmaq üçün. LLM-lər ilə reklam kopyası yaratmaq, məhsul xüsusiyyətləri haqqında halüsinasyonlar, uyğunsuz branding və bu ölçüdə baxmaq çətin olan içkilər kimi qəbul edilə bilməyən risklər gətirir.Sistem gün ərzində milyonlarca reklam variantını göstərmək lazımdır və onları doğruluq və markalı təhlükə üçün baxmaq mümkün olmayacaqdır.Bir "suya dayandırıcı" kimi bir ürək haqqında halüsinasyonlu iddia, yoxsa "FDA-nın qəbul etdiyi" kimi, yasal yükümlülük yaratacaqdır. Bəs nə dəyişməyəcək? VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Understanding user intent VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Latency requirements Yeni məhsullar və ya istifadəçilər üçün soğuk başlanma kimi problemlər və kataloglarda eksik və ya yanlış məhsul tarifləri olduğunda veritabanı xüsusiyyətləri problemlər də var. Last-mile problems Xatırladaq ki, “Dynamic Product Ads”ı təqdim etdiyimiz zaman “Dynamic Product Ads” modeli “Dynamic Product Ads” modeli “Dynamic Product Ads” modeli “Dynamic Product Ads” modeli “Dynamic Product Ads” modeli “Dynamic Product Ads” modeli “Dynamic Product Ads” modeli “Dynamic Product Ads” modeli “Dynamic Product Ads” modeli “Dynamic Product Ads” modeli “Dynamic Product Ads” modeli “Dynamic Product Ads” modeli “Dynamic Product Ads” modeli “Dynamic Product Ads” modeli “Dynamic Product Ads” modeli “Dynamic Product Ads” modeli “Dynamic Product Ads” modeli “Dynamic Product Ads” modeli “Dynamic Product Ads” modeli “Dynamic Product Ad Iteration speed Soruşmaq lazımdır ki, “Bottleneck” nədən ibarətdir? Qeyd edək ki, bu barədə “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin Bizə görə, butonlu qapı heç vaxt embeddings kalitəsi ilə bağlı olmamışdı. Bu istifadəçi niyyətini anlamak, məhsul kataloglarında data kalitəsi problemləri işləmək, soğuk başlanğıcı problemləri idarə etmək, həm də ölçüyü başa düşə biləcək sistemlər yaratmaq haqqında idi.Modern AI bunların bir qismi ilə həqiqətən kömək edir və AI istifadə etməkdə real qiymət var. Əgər bu sistemin yaradılmasında olsaydım, gücümün 20%-i “LLM-i daha yaxşı embeddings yaratmaq üçün” və 80%-i daşım, verilərinizin keyfiyyətini, eksperimentə və istifadəçi niyyətini anlamakla bağlı problemlərə xərcləyərdim. Populyar olmayan fikirlər VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu.
