Disa muaj më parë, kam folur për Ishte e mirëpritur dhe freskuese të jesh në gjendje të japësh një bisedë ku aplikacionet mobile mund të përfitojnë nga rritja e përdorimit të modelit të gjuhës. duke punuar në pajisjet SLM në aplikacione Pas bisedës, kam pasur disa reagime nga pjesëmarrësit përgjatë linjave të "Do të ishte mirë të shihja një shembull të një aplikacioni duke përdorur një SLM të fuqishëm nga RAG". Këto janë komente të ndershme. Gjëja e vështirë këtu është koha e parë që duhet për të krijuar një model dhe për të treguar diçka kuptimplotë për zhvilluesit në një kohë të kufizuar. Nëse jeni duke kërkuar hapat për të shtuar një model të gjuhës me fuqi RAG në aplikacionin tuaj Android, ky është postimi për ju! Çfarë është RAG? Nëse nuk jeni të njohur me termin, RAG qëndron për Kjo është një teknikë për modelet e gjuhës për të hyrë në informacionin e jashtëm që nuk është në dispozicion në grupin e tyre të të dhënave pas trajnimit.Kjo lejon modelet të jenë të vetëdijshëm për informacionin e përditësuar që ata mund të përdorin për të dhënë përgjigje më të sakta për thirrjet. Retrieval Augmented Generation Le të shohim një shembull të shpejtë.Imagjinoni se keni dy modele gjuhësore, një model është duke përdorur RAG për të marrë informacion të jashtëm për kryeqytetet në Evropë, ndërsa tjetri është duke u mbështetur vetëm në njohuritë e veta. You are an expert on the geography of Europe. 

Give me the name of 3 capital cities.

Also give me an interesting fact for each of them.
 Rezultati mund të duket diçka si kjo: Siç ilustron diagrami, ju keni më shumë gjasa të merrni një përgjigje të dobishme nga modeli i gjuhës duke përdorur RAG, në vend që modeli të mbështetet në njohuritë e veta. Kjo është me të vërtetë e gjitha që ju duhet të dini për RAG në një nivel të lartë. Tjetra, le të shkojmë më thellë dhe të shkruajmë disa kod për të aktivizuar modelin tuaj të gjuhës të fuqizuar nga RAG brenda aplikacionit tuaj! Zgjidhni aplikacionin tuaj Android Le të supozojmë se doni të krijoni një aplikacion duke përdorur një model të gjuhës për të luajtur lojën e Simon Says. Dëshironi që modeli të jetë Simon, dhe përdorni RAG për të hyrë në një burim të të dhënave të detyrave për të ndihmuar të vendosni se çfarë të kërkoni nga përdoruesi. Mënyra më e thjeshtë për ta bërë këtë në Android është me , një koleksion mjetesh për të ndihmuar aplikacionin tuaj të përdorë teknikat e AI dhe të mësimit automatik. : MediaPipë build.gradle dependencies {
  implementation("com.google.mediapipe:tasks-genai:0.10.27")
  implementation("com.google.ai.edge.localagents:localagents-rag:0.3.0")
}
 Tjetra, ju duhet të shtoni një model të gjuhës në pajisjen tuaj të testimit përmes kompjuterit tuaj. , një model i lehtë i gjuhës që mban 1 miliard parametra me vlerë të informacionit. Shkëndija1B 
 
 Shënim anësor: Para se të shkarkoni modelin, mund të duhet të regjistroheni në Kaggle dhe të pajtoheni me Termat dhe Kushtet e AI të Google. Side Note: Before downloading the model, you may have to sign upto Kaggle and agree to Google’s AI Terms and Conditions. Pasi modeli është shkarkuar, është koha për të shtuar modelin në pajisjen tuaj. $ adb shell mkdir -p /data/local/tmp/slm/ # Create a folder to store the model
$ adb push output_path /data/local/tmp/slm/gemma3-1B-it-int4.task # Copy the model over to the file
 Alternativisht, ju mund të përdorni duke përdorur Android Studio për të krijuar dosjet vetë dhe të tërhiqni modelin në pajisjen tuaj. Shfletuesi i dosjeve Me modelin e shtuar, ju mund të vazhdoni të ndërtoni tubacionin RAG për të ushqyer Gemma me informacion. Krijimi i embeddings Modelet e gjuhës së informacionit që mbështeten për të kryer RAG nuk janë të njëjtat informacione që i kaloni në të. . Embeddings Këto janë rreshta matematikore që përfaqësojnë kuptimin semantik të tekstit. Kur modeli merr një këshillë, ai do ta përdorë atë për të kërkuar informacionin më të rëndësishëm që përputhet me të dhe do ta përdorë atë së bashku me informacionin e vet për të dhënë një përgjigje. . Embedder Embeddings janë një temë e tërë në vetvete; ju janë të inkurajuar për të lexuar rreth tyre. Për këtë post, ju vetëm duhet të dini se si për të krijuar ato. . Gecko Embedder Përshkrimi Së pari, shkarkoni Tokenizer dhe të shkarkoni skedarët e modelit në kompjuterin tuaj. Pastaj shtypni në pajisjen tuaj: sentencepiece.model Gecko_256_f32.tflite $ adb push sentencepiece.model /data/local/tmp/slm/sentencepiece.model # Push the tokenizer to the device
$ adb push Gecko_256_f32.tflite /data/local/tmp/slm/Gecko_256_f32.tflite # Push the embedder model to the device
 Me embedder instaluar në pajisjen tuaj, është koha për të siguruar një skedar mostër për të krijuar embeddings nga. Krijimi i një skedari të quajtur Pastaj, në dosje, shtoni tekstin e mëposhtëm: assets simon_says_responses.txt <chunk_splitter>
Go for a walk
<chunk_splitter>
Jump and down 10 times
<chunk_splitter>
Sing your favourite song!
<chunk_splitter>
Text your best friend a funny meme
<chunk_splitter>
Do 10 press ups!
<chunk_splitter>
 Dosja përmban disa përgjigje të ndryshme që mund të jepen në një lojë të Simon Says, secila e ndarë me një Kjo i jep embedder një sinjal për të ditur se si për të ndarë çdo përgjigje kur ndarjen e tekstit në embeddings. <chunk_splitter> Ky proces quhet dhe mund të ketë një ndikim të madh në se sa mirë RAG performon përmes modelit të gjuhës. Eksperimentimi me copa të madhësive të ndryshme dhe përgjigjet inkurajohen për të gjetur kombinimin e duhur për nevojat tuaja! chunking Një gjë për të marrë në konsideratë është ruajtja e aplikacioneve. Mos harroni, ju tashmë keni instaluar një model të gjuhës dhe një embedder në pajisjen tuaj. Këto marrin gigabytes të hapësirës, kështu që sigurohuni që të mos mbingarkoni më tej një pajisje duke përdorur një skedar tekst që është shumë i madh! Dëshironi të konsideroni ruajtjen e skedarit të mostrës në cloud dhe shkarkimin e tij përmes rrjetit për të zvogëluar problemet me ruajtjen. Me dosjen e tekstit në vend, është koha për të inicializuar embedder: private const val GeckoEmbedderPath = "/data/local/tmp/slm/gecko_256_f32.tflite"
private const val TokenizerModelPath = "/data/local/tmp/slm/sentencepiece.model"
private const val UseGpuForEmbeddings = true

val embedder: Embedder<String> = GeckoEmbeddingModel(
    GeckoEmbedderPath,
    TokenizerModelPath,
    UseGpuForEmbeddings,
  )
 Embedder merr tre parametra: rruga e embedder dhe tokenizer në pajisje, me një parametër përfundimtar për të vendosur nëse embedder mund të përdorë GPU pajisjen kur krijon embeddings. Vendosja e kësaj në të vërtetë do të përshpejtojë krijimin e embeddings nëse një GPU është në dispozicion. sigurohuni që të kontrolloni aftësitë e pajisjes para se të vendosni për të aktivizuar këtë vlerë. Pastaj, krijoni një instancë të modelit të gjuhës: private const val GemmaModelPath = "/data/local/tmp/slm/gemma3-1B-it-int4.task"

val llmInferenceOptions = LlmInferenceOptions.builder()
            .setModelPath(GemmaModelPath)
            .setPreferredBackend(LlmInference.Backend.CPU) // Change to GPU if you have a GPU powered device.
            .setMaxTokens(1200)
            .build()

val llmInferenceSessionOptions = LlmInferenceSessionOptions.builder()
            .setTemperature(0.6f)
            .setTopK(5000)
            .setTopP(1f)
            .build()

val languageModel = MediaPipeLlmBackend(
            context, // This is the application context
            languageModelOptions,
            languageModelSessionOptions)

    languageModel.initialize().get()
 Ka shumë parametra të përfshirë më sipër; mos u shqetësoni për këto për momentin. Me modelin e gjuhës të krijuar, ju mund të përqendroheni përsëri në embeddings.Modeli ka nevojë për një vend për të marrë embeddings çdo herë që merr një thirrje. MediaPipe ofron një SQLite , e cila është një mjet i zakonshëm për ruajtjen e embeddings. Le të krijojmë një: Vector Store private const val PromptTemplate: String = """
    You are Simon in a game of Simon Says.
    
    Your task is to ask the player to perform a task from the following list: {0}.
    
    Your response must only contain the task that the player must do.
    
    Your response must be based on the players request: {1}. 
    
    Do not ask the player to do the same thing twice.
    
    You must not ask the player to do anything that is dangerous, unethical or unlawful.
"""

val chainConfig = ChainConfig.create(
    languageModel, PromptBuilder(PromptTemplate),
    DefaultSemanticTextMemory(
    SqliteVectorStore(768), embedder
    )
)
 Këtu, gjithçka fillon të lidhet së bashku si modeli i gjuhës dhe embedder janë të dy kaluar në ChainConfig. është madhësia e çdo "vektori" që baza e të dhënave mund të ruajë. përdoret për të siguruar një nxitje për të ndihmuar në drejtimin e procesit RAG. 786 PromptBuilder Së fundi, le të ngarkojmë skedarin e tekstit që kemi krijuar më parë në dosjen e aseteve në embedder.Së pari, ngarkoni skedarin nga pajisja dhe ndani tekstin në një listë të rreshtave: // This is an extension function to read the file from disk.
val gameResponses: List<String> = context.getTextFromFile("simon_says_responses.txt")
 Tjetra, ngarkoni përgjigjet në chainConfig krijuar më parë. chainConfig.semanticMemory.getOrNull()
    ?.recordBatchedMemoryItems(ImmutableList.copyOf(gameResponses))
    ?.get()
 Në varësi të pajisjes suaj dhe madhësisë së skedarit të tekstit, kjo mund të marrë disa sekonda deri në disa minuta për të përfunduar. Një rregull i mirë i gishtit të madh është për të parandaluar përdorimin e modelit të gjuhës ndërsa kjo ndodh. Me këtë të bërë, ju keni konvertuar vetëm skedarin tuaj tekst në një grup të embeddings mbajtur në një dyqan vektor. ju gjithashtu keni lidhur modelin tuaj të gjuhës me dyqanin në mënyrë që ajo tani mund të marrë informacion! Seksioni i ardhshëm do të tregojë se si t'i përdorni këto embeddings duke kaluar modelin e gjuhës në thirrjet tuaja. Pastrimi i shpejtë për modelin tuaj RAG Powered Me shumicën e konfigurimit të ndërlikuar të përfunduar, kalimi i një thirrje në modelin e gjuhës është çuditërisht e lehtë. duke përdorur zinxhirin config dhe duke e thirrur atë. RetrievalAndInferenceChain val retrievalAndInferenceChain = RetrievalAndInferenceChain(chainConfig)
 Pastaj, krijoni një kërkesë dhe e kaloni atë në zinxhir. val prompt = "Tell me something to do Simon involving jumping!"

val retrievalRequest =
    RetrievalRequest.create(
        prompt,
        RetrievalConfig.create(
            50, // topK
            0.1f, // minSimilarityScore
            RetrievalConfig.TaskType.RETRIEVAL_QUERY
        )
    )

val response = retrievalAndInferenceChain!!.invoke(retrievalRequest).get().text
 Gjatë përpunimit, ajo do të referohet në futjet në dyqanin tuaj vektor për të dhënë atë që mendon se është përgjigja më e saktë. Siç do të prisnit, ajo që do t'i kërkoni modelit do të rezultojë në përgjigje të ndryshme.Pasi embeddings përmbajnë një gamë të përgjigjeve simon thotë, është e mundur që ju do të merrni një përgjigje të mirë! Çfarë për rastet kur ju merrni një rezultat të papritur? Në këtë pikë, ju duhet të shkoni prapa dhe të rregullojë parametrat e objekteve tuaja nga seksioni i mëparshëm. Le ta bëjmë këtë në seksionin e ardhshëm. Fine-Tuning tuaj RAG Powered Language Model Nëse ka një gjë që kemi mësuar gjatë viteve nga Generative AI, është se nuk është shkencë e saktë. Nuk ka dyshim se keni parë histori ku modelet e gjuhës kanë “bërë gabime” dhe kanë prodhuar një rezultat më pak të dëshiruar, duke shkaktuar turp dhe dëmtime reputacioni për kompanitë. Kjo është rezultat i testimit jo të mjaftueshëm të kryer për të siguruar që përgjigjet nga një model janë të pritshme.Testimi jo vetëm që ndihmon në shmangien e sikletit, por gjithashtu mund të ndihmojë për të eksperimentuar me prodhimin tuaj të modelit të gjuhës në mënyrë që të funksionojë edhe më mirë! Le të shohim se cilat levers ne mund të rregullojmë për të përshtatur modelin tonë të gjuhës me fuqi RAG. : LLmInferenceOptions.Builder LlmInferenceOptions.builder()
    .setModelPath(GemmaModelPath)
    .setPreferredBackend(LlmInference.Backend.CPU) // Change to GPU if you have a GPU powered device.
    .setMaxTokens(1200)
    .build()
 Parametri i parë që mund të ndryshohet është Ky është sasia e "input" ose "output" që modeli i gjuhës mund të trajtojë. Sa më i madh të jetë vlera, aq më shumë të dhëna mund të trajtojë modeli i gjuhës në të njëjtën kohë. setMaxTokens() Në shembullin tonë, kjo do të thotë se modeli mund të trajtojë një hyrje teksti dhe të gjenerojë një prodhim që përbëhet nga 1200 tokenë. një vlerë më të vogël. MaxTokens Jini të kujdesshëm me këtë vlerë, pasi mund të gjeni se modeli juaj papritur merret me më shumë tokenë se sa pret. Le të lëvizim atje : LlmInferenceSessionOptions.Builder() llmInferenceSessionOptions = LlmInferenceSessionOptions.builder()
    .setTemperature(0.6f)
    .setTopK(5000)
    .setTopP(1f)
    .build()
 Këtu, ju mund të vendosni disa parametra të ndryshëm. të dhe Le t’i zhytim në secilin prej tyre. .setTemperature() .setTopK() .setTopP() mund të mendohet se sa "rastësisht" përgjigjet nga modeli i gjuhës mund të jenë.Sa më e ulët vlera, aq më "të parashikueshme" përgjigjet nga modeli mund të jenë.Sa më e lartë vlera, aq më "kreative" përgjigjet do të jenë, duke çuar në më shumë përgjigje të papritura. .setTemperature() Për këtë shembull, është vendosur për , që do të thotë se modeli do të ofrojë përgjigje gjysmë-kreative, por jo të paimagjinueshme. 0.6 Temperatura është një vlerë e mirë për të eksperimentuar me, si ju mund të gjeni vlera të ndryshme ofrojnë përgjigje më të mira në varësi të rastit tuaj të përdorimit. është një mënyrë për të thënë "vetëm konsideroni rezultatet e lartë K për t'u kthyer tek përdoruesi." modelet e gjuhës, ndërsa përpunojnë një thirrje, gjenerojnë një numër përgjigjesh, potencialisht mijëra! .setTopK() Secili prej këtyre përgjigjeve i jepet një probabilitet për sa mund të jetë përgjigja e saktë. Vlera mund të vendoset për të ndihmuar në fokusimin e modelit.Nëse jeni të kënaqur me përgjigjet më pak të mundshme që po merren parasysh, do të dëshironit ta vendosni këtë vlerë të lartë. topK Ju mund të gjeni se modeli punon më mirë me më pak ose më shumë përgjigje për të marrë parasysh, në varësi të nevojave tuaja. Për një lojë të Simon thotë, ne duam që modeli të jetë duke menduar për shumë përgjigje të ndryshme për të mbajtur lojë të freskët. Duket si një vlerë e mirë. 5000 ndërtuar mbi kufijtë e përcaktuar nga duke thënë "vetëm konsideroni rezultatet që kanë një probabilitet të P".Siç u përmend më parë, modelet e gjuhës caktojnë një probabilitet për çdo përgjigje që gjeneron në lidhje me se sa e mundshme mund të jetë. Kjo do të thotë se modeli mund të heqë lehtësisht çdo përgjigje që nuk ka probabilitetin minimal të nevojshëm. .setTopP() topK topP Për të treguar një shembull, nëse modeli kishte një Vendosni të dhe po shqyrton përgjigjet e mëposhtme: topP 0.4 Simons Says clap 5 times! = 0.7 // This response has a probablility of 0.7 of being correct

Simons Says jump up and down! = 0.5

Find a car and drive it. = 0.3
 Dy përgjigjet e para do të merren parasysh sepse probabiliteti është më i lartë se Përgjigja në lidhje me makinën do të hiqet, pasi ajo ka vetëm një probabilitet të . 0.4 0.3 të ngjashme dhe të Nëse dëshironi të konsideroni përgjigje më pak të mundshme për thirrjet, vendosja e një vlere të ulët P do të ndihmojë. temperature topK topP Në shembullin tonë, ajo është vendosur për Kjo është për shkak se ne duam që modeli të jetë absolutisht i sigurt për përgjigjet e tij. 1.0 Eksperimentimi me këto vlera do të gjenerojë rezultate shumë të ndryshme nga modelet tuaja gjuhësore. Ku të shkojmë më pas? Shpresoj se ju keni gëzuar këtë përshkrim se si të shtoni një model të gjuhës me fuqi RAG në aplikacionin tuaj Android! Nëse jeni duke kërkuar për të mësuar më shumë rreth RAG dhe Android, këtu janë disa lidhje unë rekomandoj: 
 
 
 
 
 
  Clone and run the   for this blog post to see it in action. It shows how to setup the RAG pipeline with Gemma using Android architecture best practices. Simons Says App: sample code 
 
 : Check out the RAG section on the MediaPipe   - Highly recommended reading. MediaPipe RAG Google Developer docs 
 
 : Learn more about how setting the Temperature, TopK, and TopP values can   the results from language models. Another highly recommended article. Setting Temperature, TopK, and TopP in LLMs help control

This story contains new, firsthand information uncovered by the writer.

Buy Me a Coffee

Read My Stories

Hire Me

Software Engineer

Kjo audio është prodhuar në gjuhën origjinale të tregimit!

Si të drejtojmë një model të gjuhës me RAG në Android me ndihmën e MediaPipe

About Author

KOMENTE

VARUR TAGS

KY ARTIKU U PARAQIT NË

Related Stories

Rrjeti SQD sapo vrau emetimet e tokenëve.Ja çfarë paguan 16 miliardë dollarë në DeFi TVL

Rrjeti SQD sapo vrau emetimet e tokenëve.Ja çfarë paguan 16 miliardë dollarë në DeFi TVL

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps