Men Salesforce ichidagi mahalliy LLMlar bilan tajriba o'tkazdim va natijada men ishlab chiqqan komponent haqida aytib bermoqchiman. U kontekst uchun Salesforce yozuvlaridan foydalanadigan allaqachon tanish chat interfeysiga ega. U sizning kompyuteringizda mahalliy ishlaydi, shuning uchun qayta ishlangan ma'lumotlar hech qanday uchinchi tomon xizmatiga yuborilmaydi. Agentforce-ning kiritilishi menga komponentni ishlab chiqishga ta'sir qildi. Agentforce agentlardan foydalanadi - qarorlar qabul qiladigan va turli xil harakatlarni amalga oshiradigan tizimlar. Yordamchilar, aksincha, ma'lumotni faqat reaktiv tarzda qayta ishlaydilar. Pico LLM yordamida mahalliy agent yaratish mumkinligiga ishonsam ham, bu juda katta kuch talab qiladi. Shunday qilib, men o'rniga yordamchi ishlab chiqishga qaror qildim. https://youtu.be/QKkRJ8RAlnE?embedable=true Xususiyatlari LLM ishlashini kutganingizdek, u har qanday mavzu bo'yicha javoblarni yaratadi, chunki u juda ko'p ma'lumotlar to'plamida oldindan o'rganilgan. Bundan tashqari, u qo'shimcha kontekst uchun Salesforce yozuvlaridan foydalanishi mumkin. Komponentning xususiyatlari quyidagilardan iborat: Gemma, Llama yoki Phi kabi Pico veb-saytidagi har qanday ochiq kodli modeldan foydalanish mumkin. Bu erda yagona cheklov - bu sizning kompyuteringizdagi RAM miqdori. Model qanchalik og'ir bo'lsa, u shunchalik ko'p RAM iste'mol qiladi. Bir nechta modellarni qo'llab-quvvatlaydi. Komponent yozuvlar sahifasiga joylashtirilganida, u kontekst uchun yozuvga kirish imkoniyatiga ega bo'ladi. Masalan, Hisob qaydnomasi tafsilotlari sahifasida bo'lgan holda, u maydon qiymatlari asosida javob yaratishi mumkin. Bitta yozuv bilan ishlaydi. Yozuvda tegishli yozuvlar bo'lsa, komponent ularni so'rashi va javoblarga qo'shishi mumkin. Tegishli yozuvlarni qo'llab-quvvatlaydi. Komponentni konfiguratsiya qalqib chiquvchi oynasi yordamida tezda sozlash mumkin. Bu tugallanish belgisi chegarasi, harorat va yuqori P kabi avlod parametrlarini o'zgartirish imkonini beradi. Sozlanishi mumkin. Bu qanday ishlaydi Yakuniy foydalanuvchi nuqtai nazaridan, jarayon oddiy. Siz modelni yuklaysiz, tizim so'rovini tanlaysiz, yozuvlarni tanlaysiz, foydalanuvchi so'rovini yozasiz va yaratilayotgan natijaga qaraysiz. Pico LLM nima? Brauzerda LLMlarni ishga tushirish modelning o'lchami, tarmoqli kengligi talablari va RAM ehtiyojlari tufayli resurs talab qiladigan vazifadir. Shu sababli, Pico jamoasi o'zlarining picoLLM Compression texnikasini ishlab chiqdilar, bu esa kompyuterlar uchun mahalliy LLMlardan foydalanishni ancha samarali qiladi. Ular picoLLM Inference Engine-ni JavaScript SDK sifatida taqdim etdilar, bu esa front-end ishlab chiquvchilarga LLM-larni brauzerlar bo'ylab mahalliy ravishda ishga tushirishga imkon beradi. U Chrome, Safari, Edge, Firefox va Opera kabi barcha zamonaviy brauzerlarni qo'llab-quvvatlaydi. picoLLM Inference Engine qanday ishlashi haqida ko'proq bilish uchun siz o'qishingiz mumkin. ularning maqolasini LWC qismi Komponent foydalanuvchi va PicoLLM interfeysi o'rtasida ko'prik bo'lib xizmat qiladi. Komponentning asosiy qismida iframe sifatida o'rnatilgan Visualforce sahifasi joylashgan. Sahifa PicoLLM SDK-ni yuklaydi va LWC bilan aloqa o'rnatadi, bu esa oxirgi SDK-dan xabarlar orqali foydalanishga imkon beradi. Elementlarning butun kombinatsiyasi quyidagilarni bajaradi: LWC da siz tanlagan modelni yuklash imkonini beruvchi tugma mavjud. U iframe ichida yashiringan fayl kiritish elementini ishga tushiradi. Model yuklangandan so'ng, Pico SDK veb-ishchilarni yaratadi va komponent foydalanuvchi kiritishini qayta ishlashga tayyor. Model yuklanmoqda. Har safar tizim so'rovini yozishingiz shart emas, ob'ektining istalgan saqlangan yozuvini tanlash oson. Tugmani bosgandan so'ng, u mavjud tizimni tanlashni taklif qiladigan qalqib chiquvchi oynani ko'rsatadi. Tizim so'rovini o'rnatish. System_Prompt__c Foydalanuvchi ma'lumotlarini yig'ish uchun o'lchamini o'zgartirish mumkin bo'lgan matn maydoni mavjud. Yigʻilganda u iframeʼga foydali yuk sifatida yuboriladi va suhbatlar tarixiga qoʻshiladi. Foydalanuvchi kiritish qabul qilinmoqda. Ikkita tugma mavjud: Maydonlarni tanlang va Tegishli yozuvlarni tanlang. Birinchisi, LWC joylashgan yozuv sahifasida yozuvning maydon qiymatlarini to'playdi. Ikkinchisi sizga tegishli ob'ektni tanlash va tanlangan maydon qiymatlari bilan birga uning yozuvlarini so'rash imkonini beradi. Ushbu ma'lumot iframe-ga foydali yuk sifatida ham yuboriladi. Salesforce yozuvlariga kirish. Agar so'ralsa, tugatish belgisi chegarasi, harorat va yuqori P parametrlari komponentdagi maxsus tugma orqali o'zgartirilishi mumkin. Ushbu ma'lumot iframe-ga foydali yuk sifatida ham yuboriladi. Ishlab chiqarish variantlarini o'zgartirish. Iframe foydali yukni qabul qilganda, yuklangan modeldan foydalanish va natijani yaratish uchun Pico SDK dan foydalanadi. Agar ishlab chiqarish variantlari taqdim etilgan bo'lsa, ular hisobga olinadi. Bundan tashqari, dialog har safar yangilanadi, shuning uchun LLM uning tarixini eslab qoladi. Natija hosil qilish. LWC foydalanuvchi tomonidan taqdim etilgan chiquvchi xabarlarni ko'rsatishi mumkin. Yaratilgan javobni o'z ichiga olgan kiruvchi xabarlar, komponent foydalanuvchiga aytadigan gaplari bo'lganidan keyin dinamik ravishda taqdim etiladi. Yaratilgan natijalar yoki ma'lumot va xato xabarlari kabi. Chat xabarlarini ko'rsatish. Bir oz Apex kodi Ishlarning orqa tomonida hech qanday ajoyib narsa yo'q. Apex kodi yozuvlar sahifasidagi yozuv identifikatori yordamida ob'ektlar orasidagi munosabatlarni aniqlash bilan bog'liq barcha og'ir ishlarni bajaradi. Bundan tashqari, u bir nechta SOQL so'rovlarini bajaradi va shu bilan uning vazifasi shu erda bajariladi. Rivojlanish muammolari Veb ishchilari Ilgari men LWC komponentidagi tugun modulidan kodni bajarish uchun unpkg vositasidan foydalanganman. Ushbu yondashuv qo'shimcha konfiguratsiya bosqichlariga olib keldi va uni ishlashning kamroq xavfsiz usuli edi. Bu safar men PicoLLM modulini to'g'ridan-to'g'ri Salesforce-dan va nafaqat ilgari qilgan Experience Cloud saytidan, balki Lightning Experience interfeysidan ham amalga oshirmoqchi bo'ldim. Qopqoq ostida PicoLLM veb ishchilarini parallel ishlov berish uchun ishlatadi va bu asosiy muammo edi, chunki ularni LWCdan ishga tushirishga ruxsat berilmagan. Yaxshiyamki, hech kim bizga Visualforce sahifasidan veb ishchilarni ishga tushirishga ruxsat berishdan bosh tortdi va bu men qo'llagan yondashuv edi. Men xom PicoLLM kodini yuklab oldim va uni visualforce sahifasiga statik manba sifatida qo'shdim. LWCda men Visualforce sahifasini o'z ichiga olgan iframe-dan foydalanardim. LWC va iframe ichidagi sahifa o'rtasidagi aloqa menga veb ishchilaridan foydalanishga imkon berdi. Sahifa Lightning veb komponentidan PicoLLM bilan bog'liq kodni ishga tushiradi. Kontekst uchun Salesforce yozuvlaridan foydalanish Salesforce yozuvlarini JSON yoki CSV formatida nusxalash va joylashtirish, uni istalgan onlayn LLMga tashlang va tomosha qiling. U yozuvlarni iste'mol qiladi, ularni qo'shimcha kontekst uchun ishlatadi va javob hosil qiladi. Mahalliy ishlov berish uchun siqilgan modellardan foydalanish unchalik oson emasligi ma'lum bo'ldi. Avvaliga men oddiygina yozuvlarni JSON formatida foydalanuvchi so'roviga qo'ydim. Keyin men taklifni men taqdim etgan qo'shimcha kontekstdan ajrata oladigan darajada aqlli bo'lishini kutdim. Men har xil o'lchamdagi turli modellardan foydalandim va nima uchun javoblarni yaratish uchun JSON dan foydalanmayotganini tushunmadim. Bu, asosan, men so'ragan narsam bilan bog'liq bo'lmagan uydirma ma'lumotlarimga javob berishni rad etish edi. Men kontekst ma'lumotlarining turli formatlari bilan tajriba o'tkazishni boshladim: CSV-dan foydalanish, JSON-dan foydalanish, tezkor bo'linishlarni kontekstdan qat'iy ajratish uchun - hech narsa yordam bermadi. Men bu fikrdan deyarli voz kechdim, chunki asosiy xususiyat ishlamayapti. Bir necha oy o'tgach, men to'satdan ahmoqona oddiy miya to'lqinini oldim. Tezkor qismlar tartibini o'zgartirsam nima bo'ladi? Birinchi bo'lib foydalanuvchi so'rovi va ikkinchidan kontekst, birinchi bo'lib kelgan kontekst va ikkinchi so'rovgacha. Ajablanarlisi shundaki, u ishladi va men ishlatgan har qanday model darhol Salesforce yozuvlarini kontekst sifatida tushuna boshladi. Ishlash Komponentning funksionalligi ushbu mashinalarda sinovdan o'tkazildi: AMD Ryzen 9 9900X protsessorli va 32 Gb tezkor xotiraga ega kompyuter (5600 MT/s). Microsoft Surface Laptop 7 Snapdragon X-Elite ARM protsessoriga ega, 16 Gb tezkor xotiraga ega (8448 MT/s). Modelni yuklash tezligi - barchasi xotiraga bog'liq Komponentdan foydalanishning eng ko'p vaqt talab qiladigan qismi modelni dastlabki yuklashdir. Siz 9900X Snapdragon X-Elite’dan osonlik bilan o‘zib ketishini kutishingiz mumkin, lekin siz adashasiz. Ajablanarlisi shundaki, ikkinchisi tezroq. Tezroq xotiraga ega bo'lganligi sababli, sizning operativ xotirangiz qanchalik tez bo'lsa, model tezroq yuklanadi deb o'ylayman. Malumot uchun modelni yuklash tezligini taqqoslash jadvali: Javobni yaratish tezligi Javobni yaratish tezligi bilan bir xil hikoya. Men tushunganimdek, eng tez avlodni olish uchun protsessor va RAMning tezkor kombinatsiyasiga ega bo'lishingiz kerak. Javob ishlab chiqarish bir xil tezlikda o'zgarganligi sababli, men aniq tezlik testlarini o'tkazmadim. Shunga qaramay, avlod tezligi juda tez, deyarli onlayn muqobillar kabi. GPU dan foydalanish haqida nima deyish mumkin? Haqiqatan ham, javoblarni yaratish uchun GPU-dan foydalanish ancha samarali bo'ladi. PicoLLM bilan GPUdan foydalanish mumkin bo'lsa-da, men bu konfiguratsiyani o'zim sinab ko'rmadim. Buning bir nechta sabablari bor. Birinchidan, u WebGPU xususiyatidan foydalanishiga ishonaman, bu ko'pgina brauzerlarda (Edgedan tashqari) sukut bo'yicha yoqilmagan. Ikkinchidan, menda mavjud bo'lmagan modelni yuklash uchun bir necha gigabayt VRAM kerak bo'ladi. Xulosa Ushbu yordamchini ishlab chiqish qiziqarli kashfiyot sayohati bo'ldi. Veb-ishchi cheklovlari bilan kurashishdan tortib kontekstni ta'minlashda tezkor tartibning muhim rolini aniqlashgacha bo'lgan qiyinchiliklar ham rag'batlantiruvchi, ham foydali bo'ldi. Natijada Salesforce ekotizimida Katta tilli modellar kuchidan foydalanish uchun noyob yondashuvni taklif qiluvchi Lightning veb-komponenti paydo bo'ldi. Dastlabki modelni yuklash vaqti, ayniqsa kattaroq modellar uchun e'tiborga olinishi mumkin bo'lsa-da, ma'lumotlarni mahalliy ravishda qayta ishlash qobiliyati ma'lumotlar xavfsizligi, sezgirlik va iqtisodiy samaradorlik nuqtai nazaridan muhim afzalliklarni taqdim etadi. Kontent yaratishni avtomatlashtirishdan tortib aqlli yordam ko'rsatishgacha bo'lgan potentsial foydalanish holatlari juda katta va o'rganilishini kutmoqda. tekshiring. GitHub repo-ni
