Как да стартирате езиков модел на RAG на Android с помощта на MediaPipe

Преди няколко месеца говорихме за Беше добре прието и освежаващо да може да се даде разговор, където мобилните приложения могат да получат предимство от нарастването на използването на езикови модели. Използване на SLMs в приложения След разговора имах няколко отзиви от участниците по линия на „Би било хубаво да видим пример за приложение, използващо SLM, задвижван от RAG“. Това са честни коментари. Трудното нещо тук е времето, необходимо за създаване на модел и показване на нещо смислено на разработчиците в ограничено време. Ако търсите стъпки за добавяне на езиков модел, задвижван от RAG, към вашето приложение за Android, това е постът за вас! Какво е RAG? Ако не сте запознати с термина, RAG означава Това е техника за езикови модели за достъп до външна информация, която не е налична в техния набор от данни след обучение.Това позволява на моделите да са наясно с актуална информация, която могат да използват, за да предоставят по-точни отговори на покани. Retrieval Augmented Generation Представете си, че имате два езикови модела, единият използва RAG, за да извлича външна информация за европейските столици, а другият разчита само на собствените си знания. You are an expert on the geography of Europe. Give me the name of 3 capital cities. Also give me an interesting fact for each of them. Резултатът може да изглежда така: Както илюстрира диаграмата, по-вероятно е да получите полезен отговор от езиковия модел, използващ RAG, вместо моделът да разчита на собствените си знания. Това е наистина всичко, което трябва да знаете за RAG на високо ниво.След това, нека отидем по-дълбоко и напишете някакъв код, за да активирате собствения си модел на езика, задвижван от RAG, във вашето приложение! Настройване на вашето Android приложение Да предположим, че искате да създадете приложение, използващо езиков модел, за да играете играта на Simon Says. Искате моделът да бъде Simon, и използвайте RAG, за да получите достъп до източник на данни за задачи, за да решите какво да попитате потребителя. Най-лесният начин да направите това на Android е с , колекция от инструменти, които ще помогнат на приложението ви да използва AI и техники за машинно обучение.За начало, добавете зависимостта MediaPipe към приложението си : медия build.gradle dependencies { implementation("com.google.mediapipe:tasks-genai:0.10.27") implementation("com.google.ai.edge.localagents:localagents-rag:0.3.0") } След това трябва да добавите езиков модел към тестовото устройство чрез вашия компютър. , лек езиков модел, който съдържа 1 милиард параметри на стойност информация. ГЕММА3-1Б Странична забележка: Преди да изтеглите модела, може да се наложи да влезете в Kaggle и да се съгласите с Условията и условията на Google за AI. Side Note: Before downloading the model, you may have to sign upto Kaggle and agree to Google’s AI Terms and Conditions. След като моделът бъде изтеглен, е време да добавите модела към устройството си. $ adb shell mkdir -p /data/local/tmp/slm/ # Create a folder to store the model $ adb push output_path /data/local/tmp/slm/gemma3-1B-it-int4.task # Copy the model over to the file Алтернативно можете да използвате използвате Android Studio, за да създадете папките сами и да плъзнете модела на устройството си. Файловият Explorer С добавения модел можете да продължите да изграждате тръбопровода RAG, за да захранвате Gemma с информация. Създаване на вградени Моделите на езика на информацията, на които разчитат, за да изпълняват RAG, не са същата информация, която предавате в него. . Embeddings Това са математически нишки, които представляват семантичното значение на текста.Когато моделът получи покана, той ще го използва, за да търси най-подходящата информация, съответстваща на него, и да го използва заедно със собствената си информация, за да даде отговор.Тези математически нишки се създават от инструмент, наречен . Embedder Вгражданията са цяла тема сама по себе си; насърчаваме ви да прочетете за тях. За тази публикация, просто трябва да знаете как да ги създадете. . Гьоко Ембедър Първо, изтеглете Токенизаторът и вмъкване на файлове с модел на вашия компютър. След това ги натиснете на устройството си: sentencepiece.model Gecko_256_f32.tflite $ adb push sentencepiece.model /data/local/tmp/slm/sentencepiece.model # Push the tokenizer to the device $ adb push Gecko_256_f32.tflite /data/local/tmp/slm/Gecko_256_f32.tflite # Push the embedder model to the device С инсталирането на вградителя на вашето устройство е време да предоставите образец на файла, за да създадете вгражданията от. папка, създайте файл, наречен След това в файла добавете следния текст: assets simon_says_responses.txt Go for a walk Jump and down 10 times Sing your favourite song! Text your best friend a funny meme Do 10 press ups! Файлът съдържа няколко различни отговора, които бихме могли да дадем в игра на Саймън Казва, всеки от които се разделя с Това дава на вграждащия сигнал да знае как да раздели всеки отговор при разделяне на текста на вграждания. Този процес се нарича и може да има голямо влияние върху това колко добре RAG изпълнява чрез езиковия модел. Експериментиране с различни размери парчета и отговори се насърчава да се намери правилната комбинация за вашите нужди! chunking Едно нещо, което трябва да се има предвид, е съхранението на приложения. Не забравяйте, че вече сте инсталирали езиков модел и вграждащ файл на устройството си. Те заемат гигабайти пространство, така че не забравяйте да не надувате устройството, като използвате текстов файл, който е твърде голям! Искате да обмислите съхранението на образеца на файла в облака и изтеглянето му чрез мрежата, за да намалите проблемите със съхранението. С текстовия файл на място, е време да инициализирате вградителя: private const val GeckoEmbedderPath = "/data/local/tmp/slm/gecko_256_f32.tflite" private const val TokenizerModelPath = "/data/local/tmp/slm/sentencepiece.model" private const val UseGpuForEmbeddings = true val embedder: Embedder = GeckoEmbeddingModel( GeckoEmbedderPath, TokenizerModelPath, UseGpuForEmbeddings, ) Вграждащият взема три параметъра: пътя на вграждащия и токенизатора на устройството, с краен параметър, за да определи дали вграждащият може да използва GPU на устройството при създаването на вграждания. Това ще ускори създаването на вгражданията, ако GPU е наличен. Уверете се, че сте проверили възможностите на устройството, преди да решите да разрешите тази стойност. След това създайте пример на езиковия модел: private const val GemmaModelPath = "/data/local/tmp/slm/gemma3-1B-it-int4.task" val llmInferenceOptions = LlmInferenceOptions.builder() .setModelPath(GemmaModelPath) .setPreferredBackend(LlmInference.Backend.CPU) // Change to GPU if you have a GPU powered device. .setMaxTokens(1200) .build() val llmInferenceSessionOptions = LlmInferenceSessionOptions.builder() .setTemperature(0.6f) .setTopK(5000) .setTopP(1f) .build() val languageModel = MediaPipeLlmBackend( context, // This is the application context languageModelOptions, languageModelSessionOptions) languageModel.initialize().get() Има много параметри, включени по-горе; не се притеснявайте за тези засега. С езиковия модел, създаден, можете да се съсредоточите отново върху вгражданията. Моделът се нуждае от място, където да извлича вгражданията всеки път, когато получава покана. MediaPipe предоставя SQLite , което е общ инструмент за съхранение на вграждания. Нека създадем един: Vector Store private const val PromptTemplate: String = """ You are Simon in a game of Simon Says. Your task is to ask the player to perform a task from the following list: {0}. Your response must only contain the task that the player must do. Your response must be based on the players request: {1}. Do not ask the player to do the same thing twice. You must not ask the player to do anything that is dangerous, unethical or unlawful. """ val chainConfig = ChainConfig.create( languageModel, PromptBuilder(PromptTemplate), DefaultSemanticTextMemory( SqliteVectorStore(768), embedder ) ) Тук всичко започва да се свързва, тъй като езиковият модел и вградителят са прехвърлени в ChainConfig. е размерът на всеки "вектор", който базата данни може да съхранява. Използва се, за да предостави сигнал за подпомагане на процеса на RAG. 786 PromptBuilder И накрая, нека зареждаме текстовия файл, който сме създали по-рано в папката "Активи" в вградителя.Първо, заредете файла от устройството и разделете текста на списък от струни: // This is an extension function to read the file from disk. val gameResponses: List = context.getTextFromFile("simon_says_responses.txt") След това заредете отговорите в chainConfig, създаден по-рано. chainConfig.semanticMemory.getOrNull() ?.recordBatchedMemoryItems(ImmutableList.copyOf(gameResponses)) ?.get() В зависимост от вашето устройство и размера на текстовия файл, това може да отнеме няколко секунди до няколко минути, за да завършите. Добро правило е да предотвратите използването на езиковия модел, докато това се случва. С това просто сте конвертирали вашия текстов файл в набор от вграждания, съхранявани в векторно магазина. Вие също сте свързали вашия езиков модел с магазина, така че сега може да извлече информация! Следващият раздел ще покаже как да използвате тези вграждания, като прехвърлите езиковия модел на вашите покани. Прехвърляне на бутони към вашия RAG Powered модел С по-голямата част от сложната настройка завършена, прехвърлянето на покана в езиковия модел е изненадващо лесно. Използвайте конфигурацията на веригата и я извикайте. RetrievalAndInferenceChain val retrievalAndInferenceChain = RetrievalAndInferenceChain(chainConfig) След това създайте заявка и я прехвърлете в веригата. val prompt = "Tell me something to do Simon involving jumping!" val retrievalRequest = RetrievalRequest.create( prompt, RetrievalConfig.create( 50, // topK 0.1f, // minSimilarityScore RetrievalConfig.TaskType.RETRIEVAL_QUERY ) ) val response = retrievalAndInferenceChain!!.invoke(retrievalRequest).get().text По време на обработката той ще се позове на вгражданията във вашия вектор, за да предостави това, което смята, че е най-точният отговор. Както бихте очаквали, това, което питате модела, ще доведе до различни отговори.Тъй като вгражданията съдържат редица отговори на Simon казва, вероятно ще получите добър отговор! Какво ще кажете за случаите, в които получавате неочакван резултат?В този момент трябва да се върнете и фино да настроите параметрите на вашите обекти от предишния раздел. Нека го направим в следващия раздел. Настройване на вашия RAG Powered Language Model Ако има едно нещо, което сме научили през годините от Generative AI, това е, че това не е точна наука. Несъмнено сте виждали истории, в които езиковите модели са „погрешили“ и са произвели по-малко от желания резултат, причинявайки срам и вреда на репутацията на компаниите. Това е резултат от това, че не се извършват достатъчно тестове, за да се гарантира, че отговорите от модела се очакват.Тестовете не само помагат да се избегне неудобството, но също така могат да помогнат да се експериментира с изхода на езиковия модел, така че да работи още по-добре! Нека да разгледаме какви лостове можем да коригираме, за да фино настройваме нашия модел на езика с RAG. : LLmInferenceOptions.Builder LlmInferenceOptions.builder() .setModelPath(GemmaModelPath) .setPreferredBackend(LlmInference.Backend.CPU) // Change to GPU if you have a GPU powered device. .setMaxTokens(1200) .build() Първият параметър, който може да бъде променен, е параметър. Това е количеството „вход“ или „изход“, с което езиковият модел може да се справи.Колкото по-голяма е стойността, толкова повече данни езиковият модел може да се справи наведнъж. setMaxTokens() В нашия пример това означава, че моделът може да обработва текстово въвеждане и да генерира изход, състоящ се от 1200 токена. с по-малка стойност MaxTokens Бъдете внимателни с тази стойност, тъй като може да откриете, че вашият модел неочаквано обработва повече токени, отколкото очаква. Да се преместим на : LlmInferenceSessionOptions.Builder() llmInferenceSessionOptions = LlmInferenceSessionOptions.builder() .setTemperature(0.6f) .setTopK(5000) .setTopP(1f) .build() Тук можете да зададете няколко различни параметъра. , и Нека ги потопим във всеки един от тях. .setTemperature() .setTopK() .setTopP() Може да се помисли за това колко "случайни" могат да бъдат отговорите от езиковия модел.Колкото по-ниска е стойността, толкова по- "предсказуеми" могат да бъдат отговорите от модела.Колкото по-висока е стойността, толкова по- "креативни" ще бъдат отговорите, водещи до повече неочаквани отговори. .setTemperature() За този пример е предвидено да се , което означава, че моделът ще осигури полукреативни, но не и невъобразими отговори. 0.6 Температурата е добра стойност за експериментиране, тъй като може да откриете, че различни стойности осигуряват по-добри отговори в зависимост от вашия случай на употреба. е начин да се каже "само разгледайте най-добрите K резултати, за да се върнете към потребителя." езикови модели, докато обработвате покана, генерират редица отговори, потенциално хиляди! .setTopK() Всеки от тези отговори има вероятност да бъде правилният отговор.За да се ограничи броят на отговорите, които трябва да се вземат предвид, стойност може да бъде зададена, за да помогне за фокусиране на модела.Ако сте доволни от по-малко вероятни отговори, които се разглеждат, бихте искали да зададете тази стойност висока. topK Може да откриете, че моделът работи по-добре с по-малко или повече отговори, за да разгледате, в зависимост от вашите нужди. За една игра на Саймън казва, искаме моделът да мисли за много различни отговори, за да запази играта свежа. Изглежда като добра стойност. 5000 Изграждане на границата, установена от Както бе споменато по-рано, езиковите модели присвояват вероятност на всеки отговор, който генерира, за това колко вероятно може да бъде. Това означава, че моделът може лесно да отхвърли всички отговори, които нямат необходимата минимална вероятност. .setTopP() topK topP Пример за това е, че ако моделът е Поставете Той обмисля следните отговори: topP 0.4 Simons Says clap 5 times! = 0.7 // This response has a probablility of 0.7 of being correct Simons Says jump up and down! = 0.5 Find a car and drive it. = 0.3 Първите два отговора ще бъдат разгледани, защото вероятността е по-висока от Отговорът за колата ще бъде изхвърлен, тъй като има само вероятност за . 0.4 0.3 Подобни на и , Ако искате да разгледате по-малко вероятни отговори на обаждания, задаването на ниска P стойност ще помогне. temperature topK topP В нашия пример, тя е поставена на Това е така, защото искаме моделът да е абсолютно сигурен в отговорите си.В края на краищата, той играе детска игра! 1.0 Експериментирането с тези стойности ще генерира много различни резултати от вашите езикови модели. Къде да отидем следващо? Надявам се, че сте се насладили на това проучване как да добавите езиков модел с RAG към приложението си за Android! Ако искате да научите повече за RAG и Android, ето няколко връзки, които препоръчвам: Clone and run the for this blog post to see it in action. It shows how to setup the RAG pipeline with Gemma using Android architecture best practices. Simons Says App: sample code : Check out the RAG section on the MediaPipe - Highly recommended reading. MediaPipe RAG Google Developer docs : Learn more about how setting the Temperature, TopK, and TopP values can the results from language models. Another highly recommended article. Setting Temperature, TopK, and TopP in LLMs help control