Би Twitter-д динамик Бүтээгдэхүүний зар сурталчилгааг гүйцэтгэсэн бөгөөд бид хэрэглэгчдийн сая сая хэрэглэгчдэд тавтай морилноор сая и-мэйл худалдааны бүтээгдэхүүнийг харьцуулав. Бүтээгдэхүүн нь хэрэглэгчдийн хамгийн их худалдан авах боломжийг олгодог хамгийн их 5-6 бүтээгдэхүүнийг олж авсан. Систем нь стандарт ML загвартай бүтээгдэхүүний, хэрэглэгчдийн хавтан ашиглан Twitter-ийн хүрээтэй персонализирован зар сурталчилгааг хангахын тулд ашигласан. Бид 15-18% -ийн CTR-ийн сайжрууд, брэнд зар сурталчилгааны харьцуулахад 12% -ийн конверсийн түвшинд сайжруулдаг. Энэ нь хэд хэдэн жилийн өмнө байсан. Гэхдээ одоо бүхэн AI болон Large Language Models гэж хэлж байна. Тэгэхээр, би өнөөдөр динамик бүтээгдэхүүний зар сурталчилгааг бий болгож байгаа бол, би LLM-ийг ашиглана уу? Ангилал: Би LLM-ийг системийн 20% -ийг ашиглах, тусгайлан суулгалт үүсгэхийн тулд, бусад бүх зүйлүүдтэй байлгах. Бидний анхны арга Өнгөрсөн асуудал: хэрэглэгчдэд хэрэглэгддэг бүтээгдэхүүнийг санал болгож, тэд найдвартай байдаг, худалдан авах боломжтой бөгөөд тэд хурдан тэдний цаг хугацааны жагсаалтад хуваалцах болно. Илүү сая бүтээгдэхүүнийг сонгох, зар сурталчилгааны компаниуд байсан. Үүнээс гадна, олон сая хэрэглэгчид нэг удаа хуваалцах байсан. Систем нь миллионы хэрэглэгчдэд дор-миллисекунд давтамжтай байх ёстой. Харилцагчийн үйлчилгээний хоолой нь 50 миллисекунд дор, хамгийн их хэмжээгээр урьдчилан сэргийлэх хэрэгтэй. Ангилал нь маш суралцажтай байсан (марин 2022). Бүтээгдэхүүн Embeddings Бид бүрийн бүтээгдэхүүний метадангаа, гэх мэт нэр, тодорхойлолт, ангилал, үнэ, гэх мэт ашиглаж, 128-ийн хатуу вектор газар дээр кодируулсан. Бид мөн хэрэглэгчдийн хэрэглээний энэ бүтээгдэхүүний эсвэл конвертын загвар гэх мэт сигналуудыг ашиглаж байна. Хэрэглэгчийн эмчилгээ Хэрэглэгчид платформ дээр тэдний оролцох, профиль мэдээлэл, өмнөх худалдан авах гэх мэт сигналууд дээр суурилсан векторуудтай. Үүнээс гадна географи, өдөр тутмын цаг нь гол үүрэг тоглож байсан. Matching загвар Хэвлэх үед бид хоёр үе шаттай арга замыг ашиглаж байна. Эхлээд бид хэрэглэгчийн хавтгай нь хэрэглэгчийн хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай хавтгай. загварын болон ANN (оролцоогоор ойролцоогоор ойролцоогоор) нь тодорхойлолтгүй, debuggable, болон хамгийн чухал нь, Twitter-ийн түвшинд хялбар хурдан байсан. Өнөөдөр энэ талаар явах вэ? Одоо 2026 байна. Хэрэв би өнөөдөр энэ системийг бий болгож байгаа бол, энд би үнэхээр өөрчилж байна. LLM Encoders нь илүү сайн бүтээгдэхүүний шилжүүлэлт Хамгийн том сайжруулах нь илүү сайн бүтээгдэхүүний шилжүүлэлт үүсгэх болно. Modern Large Language Models semantic meaning and context understands remarkably well. Instead of stitching together product descriptions (most of which were pretty bad to start with), Би бүтээгдэхүүний шилжүүлэлт үүсгэхэд LLM-д суурилсан шилжүүлэгч ашиглах болно. Энэ нь чухал юм, учир нь "хөгжлийн боодлын" нэртэй бүтээгдэхүүнийг "хөгжлийн боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын боодлын Энэ нь хялбар ажиллуулах. all-MiniLM-L6-v2 Бид нэг удаа "Air Max 270 React" гэж нэрлэгдсэн Nike бүтээгдэхүүний каталог бичлэгтэй байсан бөгөөд бидний 2022-ийн тусламжүүд нь "хувцаслалт бөмбөг" эсвэл "атлетик босоо" -ийг хайж буй хэрэглэгчдэд тохиромжтой биш байсан. Бүтээгдэхүүний 35-40% -ийг анагаах нь зүйлсээс багатай байна. LLM-д суурилсан шифрлэдэг хэрэглэгчийн өгөгдлийг цуглуулахын тулд анхны долоо хоногт. Хүйтэн эх үүсвэрийг сайжруулах LLMs нь хүйтэн эх үүсвэрийг илүү сайн хийж болно. Шинэ бүтээгдэхүүний каталогд харуулсан үед LLM нь бүтээгдэхүүний тодорхойлолт, үнэлгээ, зураг нь бага сигналыг олж чадна. Үүнээс гадна, хүйтэн эх үүсвэртэй түүхтэй шинэ хэрэглэгчдэд зориулсан орчин үеийн шифрлэгчид өөрсдийн хэрэглэгчдийн бүтээгдэхүүний тохиргооны шийдлүүдэд хүйтэн эх үүсвэрийг бий болгохын тулд тэдний профиль мэдээлэл, эхний твитүүд (ямар ч) илүү мэдэгдэж чадна. Тэгэхээр, LLM-ийн үнэхээр архитектурын тохиромжтой байх вэ? Гибридын арга Би одоо ч байтугай класик ML-ийг хэрэглэдэг. Үнэндээ хадгалах, хуваалцах давхарга. Архитектур гэж үзнэ үү: Feature LLM or Classic LLM-based encoder to generate user and product embeddings LLM Match embeddings to generate candidate products per user Classic Final scoring and ranking Classic Хэрэглэгчийн болон бүтээгдэхүүний хавтан үүсгэх LLM-д суурилсан encoder Бүтээгдэхүүн Бүх хэрэглэгчдэд candidate бүтээгдэхүүнийг үүсгэхийн тулд Match embeddings Классик Эдүүлбэр / Final Scoreing and Ranking Классик Ямар ч байтугай сонгодог загварыг ашиглахыг хүсч байна уу? Заавар, зардал, тодорхойлолт. LLMs нь 10 миллисекунд дор хэрэглэгчдийн сая бүтээгдэхүүнийг урьдчилан сэргийлж чадахгүй. Тэд нь нумерик шинж чанарыг нэгтгэх, түгээмэл шийдлийг хийх нь overkill юм. Классик загварууд нь энэ нь микросекунд хийж чадах. Twitter-ийн масштаб дээр, 1ms болон 10ms-ийн түгээмэл хугацаа хооронд янз бүрийг инфраструктур зардал, хэрэглэгчийн оролцох нь хэмнэлттэй багасгах нь сая долларт өгдөг. Хүмүүс хүлээн зөвшөөрөх илүү үнэтэй зүйл юм. LLM-ийг эхлэх нь 50-100x манай класик аргаар илүү үнэтэй байх болно. Ad Copy үүсгэх талаар юу вэ? LLM-ийг ашиглах талаар интернет дээр олон ач холбогдолтай зар сурталчилгааны хувилбар үүсгэхийн тулд эсвэл хэрэглэгчийн хүсэлт тухай бодож байна. Энэ нь LLM-ийг үнэхээр ашигтай байхыг хүсч байгаа бол энэ нь харьцуулахад хэцүү байдаг. LLM-ийн ашиглан зар сурталчилгааны копийг үүсгэхийн тулд бүтээгдэхүүний шинж чанарын талаарх халюцинаци, нягтралтай брэндийн талаархи хязгаарлалт байдаг. Систем нь өдөрт сая зар сурталчилгааны хувилбарууд үзүүлэх хэрэгтэй бөгөөд тэднийг нарийвчлалтай байдал, брэнд аюулгүй байдлыг үзүүлэх боломжгүй байж болно. Бүтээгдэхүүний талаархи халюцинийг "водоодгүй" эсвэл "FDA-ийн баталгаатай" гэж нэрлэдэг боловч энэ нь хууль эрх зүйн ач холбогдол үүсгэдэг. Ямар ч байтугай юу? Энэ нь найдвартай хэсэг юм. Систем нь 2022-ийн суулгах эсвэл 2026-ийн LLM-ийг ашиглаж байгаа эсэх, үндсэн асуултууд нь хэзээ ч байтугай байдаг: шулуун сигналуудаас хэн нэгнийг хүсэж байгаа зүйлийг харуулдаг. Твиттерейг хуваалцах тусламжтай хүмүүст дараагийн хуваалцах нь маратон хоорондын худалдан авагч, эсвэл телевизийн дээр гоо сайжруулсан ачаалагч байж болно. Энэ асуултуудыг шийдэхийн тулд сайн өгөгдөл, нарийвчлалтай шинж чанарын инженерийн, олон туршилт хэрэгтэй. ямар ч загвар архитектура энэ нь шийддэг. Understanding user intent Бүх хэрэглэгчдэд хязгаарлагдмал туршлагатай байх болно. Харилцагчийн систем нь цаг хугацааны давтамж чадахгүй. Би A / B туршид хэд хэдэн ML инфраструктур системд хязгаарлагдмал харахын тулд 100ms-ийн латенц нэмж байна. Машинист илүү сайн байж болох боловч латенц шаардлага нь бүхнийг хамардаг. Latency requirements Шинэ бүтээгдэхүүн, хэрэглэгчдэд хүйтэн эхлэх, каталогд хязгаарлагдмал эсвэл хязгаарлагдмал бүтээгдэхүүний жагсаалттай өгөгдлийн чанарын асуудал гэх мэт асуултууд одоо ч байтугай байдаг. Эдгээр асуултууд нь загварын архитектурын ортогон байдаг бөгөөд системийн загварын санаа, загварын архитектурын барилга биш хэрэгтэй. Last-mile problems загварын шинж чанарыг сайжруулдаг. Хэвийн загварыг ашиглан долоо хоногт 10 туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын туршилтын тур Iteration speed Эдүүлбэр » Эдүүлбэр » Эдүүлбэр » Эдүүлбэр » Эдүүлбэр » Эдүүлбэр » Эдүүлбэр » Эдүүлбэр » Эдүүлбэр » Эдүүлбэр » Эдүүлбэр » Эдүүлбэр » Эдүүлбэр Ялангуяа, "ялангуяа таны системд шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг шилдэг ши Бидний хувьд бутлуур нь тав тулгарчгүй байсан. Энэ нь хэрэглэгчийн санаа, бүтээгдэхүүний каталогид өгөгдлийн чанарын талаархи асуултуудыг ойлгох, хүйтэн эхлэх талаархи асуултуудыг удирдах, түүнчлэн дэлхий даяар ажиллуулах системийг бий болгох тухай юм. Modern AI нь эдгээр зарим нь тавтай морилно уу, AI-ийг ашиглахад үнэхээр үнэ цэнэтэй байдаг. Гэсэн хэдий ч, үндсэн системийн асуултууд өөрчилжгүй. Хэрэв би Өнөөдөр энэ системийг бий болгож байгаа бол би 20% -ийг "LLM-ийг сайжруулахын тулд" ашиглах, 80% -ийг масштаб, өгөгдлийн чанарын, туршилтын, хэрэглэгчийн хүсэлтийг мэдэгдэх тусламжтай асуудал дээр ашиглах. Непопуляртай Мэргүүцэл Техникийн салбарт революцийн хэлбэлзэл дуртай. Блокчейн болон Web3 хооронд зарим жилийн өмнө харьцуулахад харьцуулагддаг. Гэхдээ үнэхээр, ихэнх үйлдвэрлэлийн ML системийн ажил, масштаб, мөнгө авах. LLM-ийг ашиглах революцийн арга нь 5% -ийг сайжруулах болно, гэхдээ 10x хялбар, 100x илүү үнэтэй байх болно. орчин үеийн AI нь маш их үнэ цэнэтэй байдаг.
