paint-brush
Salesforce Desarrollador ukax LLM Yanapt’ir lurayi ukax Localmente Maquinamanw apnaqasiukata@akutishevsky
548 ullart’awinaka
548 ullart’awinaka

Salesforce Desarrollador ukax LLM Yanapt’ir lurayi ukax Localmente Maquinamanw apnaqasi

ukata Anton Kutishevsky7m2025/03/17
Read on Terminal Reader

Sinti jaya pachanakawa; Uñxatt’añataki

Nayax mä Salesforce Lightning Web Component lurawayta, ukax ch’aman modelos de lenguaje AI (LLMs) ukanak chiqak computadoraman Salesforce ukan apnaqañapatakiw yanapt’i. Ukax Pico LLM tecnología ukampiw datos locales ukar apnaqañatakix apnaqasi, yatiyawinakamx jan kuna jan walt’awis utjañapataki ukhamarak jank’ak jaysañataki. Ukax correo electróniconak lurañatakiw apnaqasispa, contenido qillqt’añataki, aljirinakax datos ukanakat uñakipañataki, ukat juk’ampinaka, taqi ukanakx jan anqäx servicios ukar atinisisaw apnaqasispa. ¡Demostración video ukat GitHub repo ukanak uñakipt’añäni juk’amp yatxatañataki!
featured image - Salesforce Desarrollador ukax LLM Yanapt’ir lurayi ukax Localmente Maquinamanw apnaqasi
Anton Kutishevsky HackerNoon profile picture

Nayax Salesforce ukanx LLMs locales ukanakamp yant’asiwaytwa ukatx componente ukar uñt’ayañ munapxsma, ukax mä resultado ukhamawa. Ukax nayratpach uñt’at interfaz de chat ukampiw utji ukax Salesforce ukan registronakap contexto ukar apnaqi. Ukax computadoraman local ukan irnaqt’i, ukhamax datos procesados ukax janiw kuna servicio tercero ukar apayatäkiti.


Agentforce ukan uñt’ayawipax kunatix componente ukar uñstayañatak ch’amanchawayitu. Agentforce ukax agentenak apnaqi — sistemas ukanakax amtawinak lurañ yatipxi ukat kunayman lurawinakat lurapxaspa. Yanapt’irinakax ukampis yatiyawinak reactivamente ukakiw lurapxi. Nayax Pico LLM apnaqasa mä agente local lurañax wakisispawa sasin amuyta, ukampirus wali jach’a ch’amanchawiw munasispa. Ukhamatwa, uka lantix mä yanapiri uñstayañ amtawayta.

Uñjawinaka

Kunjamtix mä LLM irnaqañapatak suyt’apkta ukhamarjamax kuna temas ukan jaysäwinakap uñstayi, kunatix mä jach’a conjunto de datos ukan nayraqat yatichatawa. Ukhamarus, Salesforce ukan qillqatanakap apnaqañax juk’amp contexto ukatakiw. Uka componente ukan lurawinakapaxa akanakawa:


  • Walja modelos ukanakaruw yanapt’i. Kawkïr modelo abierto de código fuente Pico ukan sitio web ukanx Gemma, Llama, jan ukax Phi ukanakax apnaqasispawa. Aka chiqanx mä limitación ukakiw RAM ukax computadoraman utji. Modelo ukax juk’amp pesaje ukax juk’amp RAM ukaruw apnaqasi.
  • Mä sapa qillqatampi irnaqawi. Kunawsatix componente ukax mä registro ukan uñt’ayat ukhax ukax registro ukarux contexto ukar mantañapatakiw ch’amanchasi. Amuyt’añataki, mä Cuenta registro detalle ukan utjatapata, ukax mä jaysaw uñstayaspa, ukax yapu valores ukarjamawa.
  • Uñt’ata qillqatanakaru yanapt’aña. Kunawsatix mä qillqatanx uñt’at qillqatanakax utjki ukhax componente ukax jiskt’asispawa ukatx jaysawinakaruw uñt’ayaspa.
  • Configurable ukhamawa. Componente ukax configurado ukhamawa, ukax configuración popup ukampiw lurasispa. Ukax generación ukan amtawinakap mayjt’ayañatakiw jayti, kunjamatix límite de token de completación, temperatura ukat pata P.

Kunjamsa irnaqtʼi

Mä tukuyir apnaqirin uñjatapatxa, lurawix chiqapawa. Mä modelo ukar apkatañamawa, sistema ukan jiskt’äwip ajlliñamawa, registros ukar ajlliñamawa, mä usuario ukan jiskt’äwip qillqt’añamawa, ukatx resultado uñstayañ uñakipt’añamawa.

¿Kunas Pico LLM ukax?

LLMs ukanakax mä navegador ukan apnaqañax mä recurso-consumidor lurawiwa kunatix modelo ukan jach’atapa, ancho de banda ukax munasiwa ukat RAM ukax munasiwa. Ukatwa, Pico ukankirinakax técnica de Compresión picoLLM ukar uñstayapxi, ukax LLMs local ukan apnaqañax computadoranakatakix juk’amp askiwa. Jupanakax picoLLM Inference Engine ukaruw churapxäna, mä JavaScript SDK ukhama, front-end ukan lurayirinakarux LLMs ukanakax local ukan navegadores ukan apnaqapxañapataki. Taqi jichha pacha uñakipirinakaruw yanapt’i, Chrome, Safari, Edge, Firefox ukat Opera ukanakampi. Kunjams picoLLM Inference Engine ukax irnaqt’i uk juk’amp yatxatañatakix jupanakan qillqatap uñakipt’apxasmawa .

LWC ukax mä chiqawa

Componente ukax mä puente ukhamaw mä usuario ukat interfaz PicoLLM ukanakamp chika. Componente uksanx mä Visualforce ukan uñt’ayatawa, ukax iframe ukham uñt’ayatawa. Uka pankax PicoLLM SDK ukaruw apkataraki ukatx LWC ukampiw aruskipt’i qhipa apnaqañapatakix SDK ukax post mensajes tuqiw jaytawayi. Taqi elementos ukanakan mayacht’asitapax akanak apnaqi:


  • Mä modelo ukar cargaña. LWC ukax mä botón ukaniwa ukax mä modelo ukar ajlliñapatakiw yanapt’i. Ukax mä elemento de entrada de ficheros ukar iframe ukan imantat uñstayi. Mä kutix modelo ukax cargado ukhax Pico SDK ukax web ukan irnaqirinakaruw uñstayi, ukatx componente ukax wakicht’atawa apnaqirin mantawipar lurañataki.
  • Mä sistema prompt ukar uñt’ayaña. Janiwa sapa kuti sistema jiskt’awi qillqañaxa wakiskiti, System_Prompt__c objeto ukana kuna qillqt’ata qhispiyata ajlliñaxa jasakiwa. Mä kutix botón ukar ch’allt’atax mä popup uñacht’ayi kunatix utjki uka sistema ukan mayiwinakapamp ajlliñatakiwa.
  • Usuario ukan amuyunakap katuqaña. Usuario ukan qillqt’atanakap apthapiñatakix mä jach’a qillqañ chiqaw utji. Kunawsatix apthapitäki ukhax iframe ukaruw mä carga útil ukham apayata ukatx aruskipäw sarnaqäwiruw yapxatatäna.
  • Salesforce ukan qillqatanakapar mantañaxa. Pä botón ukaw utji: Campos ukanaka ajlliñani ukat Registros relacionados ukanaka ajlliñani. Nayrïrix mä qillqt’at pankaruw qillqt’at yapu chimpunak apthapi, kawkhantix LWC ukax jakaski. Payïrix mä uñt’at yänak ajlliñatakiw jayti ukatx qillqatanakap jiskt’añatakiw ajllit yapu chimpunakamp chika. Aka yatiyawix iframe ukarux mä carga útil ukhamaw apayataraki.
  • Generación ukan amtawinakap mayjt’ayaña. Munata ukhaxa, límite de token de completación, temperatura ukatxa P superior ukanakaxa mayjt’ayatarakispawa mä botón dedicado tuqi componente ukanxa. Aka yatiyawix mä payload ukhamaw iframe ukar apayataraki.
  • Mä resultado uñstayaña. Kunawsatix iframe ukax carga útil ukax katuqki ukhax Pico SDK ukampiw modelo cargado uka apnaqañatakix apnaqasi ukatx mä resultado uñstayañataki. Uka generación opciones ukanakax churatäni ukhaxa, ukax wali askiwa. Ukhamaraki, aruskipäwix sapa kutiw machaqar tukuyata, ukhamat LLM ukax sarnaqäwip amtasi.
  • Chat yatiyawinak uñacht’ayaña. LWC ukax mistuñ yatiyawinak uñacht’ayañ yati, ukax apnaqirin churatawa. Uka mantaniri yatiyawinakaxa, ukaxa luratarakiwa jaysawimpi, ukaxa dinámicamente uñacht’ayatawa mä kuti componente ukaxa kunatixa utjki uka apnaqiriru. Kunjamatixa luratarakiwa resultados jan ukaxa yatiyawi ukhamaraki pantjasiwi yatiyawi.

Mä juk’a Apex ukan chimpupa

Kunanakas qhipa tuqinx janiw kunas fantasía ukax utjkiti. Código Apex ukax taqi jach’a apthapiwinak luraraki, ukax yänakan mayacht’asiwip uñt’ayañatakiw lurasi, mä Id de registro ukampiw registro ukan pankapat. Ukhamaraki, mä qawqha SOQL jiskt’awinak luraraki, ukat ukhamat lurawipax akan lurasi.

Desarrollo ukan jan walt’awinaka

Web ukan irnaqirinaka

Nayraqatax unpkg herramienta ukampiw componente LWC ukan módulo de nodo ukan código ukar phuqhañatak apnaqawayta. Aka amtawix yaqha configuración lurawinakaruw puriyatayna, ukatx mä juk’a seguro thakhiw irnaqañapataki. Aka kutix, PicoLLM módulo ukax Salesforce ukan chiqak phuqhañ munta ukatx janiw Experience Cloud ukan sitio ukakikiti, ukax nayrax lurawayta, jan ukasti Lightning Experience ukan interfaz ukan phuqhañ munta.


Capucha manqhanxa, PicoLLM ukax web ukan irnaqirinakaruw apnaqi, paralelo proceso ukataki, ukatx ukax nayrïr jan walt’äwiwa kunatix janiw LWC ukan apnaqañapatak jaysatäkiti. Suertenixa, janiw khitis mä visualforce ukan web ukan irnaqirinakax apnaqañ munapkituti, ukat ukax nayan apnaqat uñakipañawa.


Nayax PicoLLM crudo código ukar apkatawaytwa ukatx mä recurso estático ukhamaw visualforce ukar yapxatta. LWC ukanx mä iframe apnaqawayta ukax visualforce ukan uñt’ayatawa. LWC ukat iframe manqhankir panka ukanakan aruskipäwipax web ukan irnaqirinakaruw apnaqañ yanapt’itu. Uka pankax PicoLLM ukamp chikt’at chimpunak componente web lightning ukan ch’amanchatawa.

Salesforce ukan qillqatanakap contexto ukar apnaqaña

Salesforce ukan qillqatanakap JSON jan ukax CSV formato ukan copia ukat pegar, kuna LLM online ukar jaquntaña ukat uñjaña. Ukax registros ukanakaruw manq’antani, ukax extra contexto ukatakiw apnaqasini ukatx mä respuesta ukaw utjani. Ukhamatwa, modelos comprimidos ukanak apnaqañax local proceso ukatakix janiw ukhamakiti.


Qalltanx nayax registros ukanakak uñstayañakiw munta, formato JSON ukan, chiqaw usuario prompt ukar. Ukatx uka yäx ch’ikhi ukhamäñap suyt’ayäta, ukhamat prompt ukax pachpa contexto adicional ukat yaqhachañataki. Nayax kunayman modelos kunayman tama apnaqawayta ukatx janiw amuyawaykti kunats jan JSON ukax jaysawinak uñstayañatak apnaqaski. Jilapartx janiw jaysañ munapkti jan ukax generación de datos ficticios ukax janiw kuntix nayax lurañapatak mayiwaykta ukampi saskiti. Nayax kunayman formatos de datos de contexto ukanakamp yant’añ qalltawayta: CSV apnaqaña, JSON apnaqaña, prompt divisores apnaqaña, prompt ukat contexto ukar wali mayjt’ayañataki — janiw kunas yanapt’kiti.


Niya uka amuyt’äw jaytawayta kunatix clave ukax janiw irnaqkänti. Mä qhawqha phajjsinakatjja, mä akatjamatwa mä loqhe sapuru pʼeqejj chʼalljjtayasiyäta. ¿Prompt partenakan ordenap mayjtʼayañakix kamachasmasa? Usuario prompt ukax nayrïr juti ukat contexto ukax payïr juti, contexto ukax nayrïr juti ukat prompt payïr juti. Nayatakix muspharkañawa ukax irnaqawayiwa, ukatx kuna modelos ukanakatix apnaqkta ukax jank’akiw Salesforce ukan registronakap contexto ukham amuyañ qalltawayi.

Ukhakama

Uka componente ukan lurawipax aka maquinanakan yant’atarakïnwa:

  • PC ukax AMD Ryzen 9 9900X procesor ukampiw 32GB RAM (5600 MT/s) ukampiw apnaqasi.
  • Microsoft Surface Laptop 7 ukax Snapdragon X-Elite ARM ukampiw apnaqasi, ukax 16 GB RAM (8448 MT/s) ukampiw apnaqasi.

Modelo carga velocidad— taqi kunas memoria tuqitwa

Componente apnaqañax juk’amp pacha apt’atawa, ukax qallta modelo carga ukawa. Inas 9900X ukax Snapdragon X-Elite ukat sipans jasakiw jilxattaspa sasaw suyt’asma, ukampis pantjasismawa. Qhipïrix juk’amp jank’akiw puri, ukax nayatakix wali muspharkañawa. Niyakejjay jukʼamp jankʼak memorianïchejja, RAM ukajj jukʼamp jankʼak luraspa ukhajja, modelojj jukʼamp jankʼakiw cargaski sasaw amuyta. Akax mä modelo de carga velocidad comparación tabla ukawa, ukax referencia ukatakiw:


Respuesta generación ukax jank’akiw lurasi

Pachpa sarnaqäwix respuesta generación velocidad ukampi. Kunjamtix nayax amuyktxa, mä juk’a jaya CPU ukat RAM ukanakamp mayacht’asiñaw wakisi, ukhamat juk’amp jaya generación ukar puriñapataki. Kunatix generación de respuesta ukax pachpa prompt ukampiw mayjt’i, janiw precisos pruebas de velocidad ukanak lurawaykti. Ukhampachasa, generación ukan jank’akïtapax wali jach’awa, niyas alternativas en línea ukar uñtasit juk’amp jaya.

¿GPU apnaqañax kunjamasa?

Chiqans, mä GPU apnaqañax jaysäwinak uñstayañatakix juk’amp askïspawa. PicoLLM ukamp GPU apnaqañax utjkchispas ukhamakipans, janiw naya pachpax uka configuración ukar yant’kti. Ukatakejj mä qhawqha razonanakaw utji. Nayraqatxa, nayax amuyta WebGPU ukan lurawip apnaqi, ukax janiw jilpach navegadores ukanx default ukarjam ch’amanchatäkiti (jan ukax Edge). Payïri, inas walja gigabytes VRAM ukax munaschispa modelo ukar apkatañataki ukax nayatakix janiw utjkiti.

Tukuyawi

Aka yanapirir uñstayañax mä muspharkañ thakhiw yatxatäwinx utjawayi. Web ukan irnaqirinakax limitaciones ukanakamp ch’axwañat qalltasa, jank’ak orden ukan wali wakiskir lurawip jikxatañkama, contexto ukar churañatakix jan walt’awinakax ch’amanchañ ukhamarak askinjam uñjata. Ukax mä Componente Web Lightning ukawa, ukax mä sapa thakhiw uñacht’ayi, Modelos de Jach’a Lenguas ukan ch’amap ecosistema Salesforce ukan aprovechañataki.


Qallta modelo carga pachaxa mä amuyt’awiwa, juk’ampirusa jach’a modelonakatakixa, localmente datos ukanaka luraña yatiñaxa, seguridad de datos, respuesta, ukhamaraki costo-efectividad uka tuqita wali askinakxa churaraki. Casos de uso potenciales, generación de contenido automatización ukat amuyt’ir yanapt’äwinak churañkamax jach’awa ukatx yatxatañ suyt’atawa.


GitHub repo ukar uñakipt'añäni.