MediaPipe کی مدد سے Android پر ایک RAG Powered زبان ماڈل چلانے کے لئے کس طرح

چند ماہ پہلے، میں نے ایک بات کی یہ اچھی طرح سے قبول کیا گیا تھا اور ایک بات چیت کرنے کے قابل ہو جائے گا جہاں موبائل ایپز زبان کے ماڈل کے استعمال میں اضافہ سے فائدہ اٹھا سکتے ہیں. ایپلی کیشنز میں SLMs پر چلنا بات چیت کے بعد، میں نے "RAG کی طرف سے طاقتور SLM کا استعمال کرتے ہوئے ایک اپلی کیشن کا ایک مثال دیکھنا اچھا ہو جائے گا" کے خطوط کے ساتھ شرکاء کی طرف سے چند پیغامات حاصل کی تھیں. یہ مناسب تبصرے ہیں. یہاں پیچیدہ بات یہ ہے کہ یہ ایک ماڈل قائم کرنے اور ایک محدود وقت میں ڈویلپرز کو کچھ اہم دکھانے کے لئے وقت لگتا ہے. خوش قسمتی سے، یہ بہت اچھا بلاگ پوسٹ بناتا ہے! لہذا، یہاں یہ ہے! اگر آپ اپنے لوڈ، اتارنا Android اپلی کیشن میں ایک RAG طاقتور زبان ماڈل شامل کرنے کے اقدامات کے لئے تلاش کر رہے ہیں تو، یہ آپ کے لئے پوسٹ ہے! RAG کیا ہے؟ اگر آپ کو اس اصطلاح سے واقف نہیں ہیں تو، RAG کا معنی ہے یہ زبان کے ماڈلوں کے لئے ایک تکنیک ہے جو تربیت کے بعد ان کے ڈیٹا سیٹ میں دستیاب نہیں ہے کہ بیرونی معلومات تک رسائی حاصل کرنے کے لئے.یہ ماڈلوں کو اپ ڈیٹ کی معلومات کے بارے میں جاننے کی اجازت دیتا ہے جو وہ درخواستوں کے لئے زیادہ درست جوابات فراہم کرنے کے لئے استعمال کرسکتے ہیں. Retrieval Augmented Generation آپ کو دو زبان کے ماڈل ہیں، ایک ماڈل RAG کا استعمال کرتا ہے یورپ کے شہروں کے بارے میں بیرونی معلومات حاصل کرنے کے لئے، جبکہ دوسرا صرف اپنے علم پر منحصر ہے. You are an expert on the geography of Europe. Give me the name of 3 capital cities. Also give me an interesting fact for each of them. نتیجہ کچھ اس طرح لگ سکتا ہے: جیسا کہ ڈرامہ دکھاتا ہے، آپ کو RAG استعمال کرتے ہوئے زبان کے ماڈل سے ایک مفید جواب حاصل کرنے کی زیادہ امکان ہے، اس کے بجائے ماڈل اپنے علم پر منحصر ہے. یہ واقعی سب کچھ ہے جو آپ کو ایک اعلی سطح پر RAG کے بارے میں جاننے کی ضرورت ہے. اس کے بعد، ہم آپ کے ایپ کے اندر اپنے RAG طاقتور زبان کے ماڈل کو فعال کرنے کے لئے کچھ کوڈ لکھیں! آپ کے Android اپلی کیشن کو قائم کریں مثال کے طور پر، آپ ایک زبان کے ماڈل کا استعمال کرتے ہوئے ایک اپلی کیشن بنانا چاہتے ہیں کہ سیمون کہتے ہیں کے کھیل کو کھیلنے کے لئے. آپ چاہتے ہیں کہ ماڈل سیمون ہے، اور آپ کو استعمال کرنے کے لئے RAG کاموں کی ایک ڈیٹا فائل تک رسائی حاصل کرنے میں مدد کرنے کے لئے استعمال کرتے ہیں کہ صارف کو کیا پوچھنا ہے. Android پر ایسا کرنے کا سب سے آسان طریقہ یہ ہے کہ ، آپ کے ایپ کو AI اور مشین سیکھنے کی تکنیکوں کا استعمال کرنے میں مدد کرنے کے لئے آلات کا ایک مجموعہ. : میڈیا کے build.gradle dependencies { implementation("com.google.mediapipe:tasks-genai:0.10.27") implementation("com.google.ai.edge.localagents:localagents-rag:0.3.0") } اس کے بعد، آپ کو اپنے کمپیوٹر کے ذریعے اپنے ٹیسٹ آلہ میں ایک زبان ماڈل شامل کرنے کی ضرورت ہوگی. ایک ہلکے زبان کے ماڈل ہے جس میں 1 ملین پیرامیٹر معلومات کی قدر ہے. جیمما 3 - 1B Side Note: ماڈل ڈاؤن لوڈ کرنے سے پہلے، آپ کو Kaggle پر سائن اپ کرنے اور Google کے AI شرائط و ضوابط سے اتفاق کرنے کی ضرورت ہوسکتی ہے. Side Note: Before downloading the model, you may have to sign upto Kaggle and agree to Google’s AI Terms and Conditions. ایک بار ماڈل ڈاؤن لوڈ کیا گیا ہے، یہ آپ کے آلے میں ماڈل شامل کرنے کا وقت ہے. آپ یہ adb کے ذریعے کر سکتے ہیں: $ adb shell mkdir -p /data/local/tmp/slm/ # Create a folder to store the model $ adb push output_path /data/local/tmp/slm/gemma3-1B-it-int4.task # Copy the model over to the file متبادل طور پر، آپ استعمال کر سکتے ہیں Android سٹوڈیو کا استعمال کرتے ہوئے اپنے آپ کو فارمز بنائیں اور ماڈل کو اپنے آلے پر چلا دیں. فائل Explorer اس ماڈل کو شامل کرتے ہوئے، آپ Gemma کو معلومات کے ساتھ فراہمی کرنے کے لئے RAG پائپ لائن کی تعمیر جاری کرسکتے ہیں. Embeddings کی تعمیر معلومات کی زبان کے ماڈل RAG کو انجام دینے کے لئے پر منحصر نہیں ہیں وہ معلومات جو آپ اس میں منتقل کرتے ہیں ماڈل معلومات کو ایک مخصوص فارمیٹ میں ہونا ضروری ہے جس کا نام ہے . Embeddings یہ ریاضی کے سیریز ہیں جو متن کے معنی کی نمائندگی کرتے ہیں.جب ماڈل کو ایک نوٹ ملتا ہے، تو یہ اس کے ساتھ سب سے زیادہ متعلقہ معلومات کے لئے تلاش کرنے کے لئے اس کا استعمال کرے گا اور اس کا جواب دینے کے لئے اس کی اپنی معلومات کے ساتھ اس کا استعمال کرے گا. . Embedder داخلات خود ایک مکمل موضوع ہیں؛ آپ کو ان کے بارے میں پڑھنے کے لئے حوصلہ افزائی کی جاتی ہے. اس پوسٹ کے لئے، آپ کو صرف یہ جاننے کی ضرورت ہے کہ انہیں کیسے بنانا ہے. . جیکو انٹرفیس سب سے پہلے، ڈاؤن لوڈ کریں Tokenizer اور اس آپ کے کمپیوٹر پر ماڈل فائلوں کو embedder کریں.Then push them to your device: sentencepiece.model Gecko_256_f32.tflite $ adb push sentencepiece.model /data/local/tmp/slm/sentencepiece.model # Push the tokenizer to the device $ adb push Gecko_256_f32.tflite /data/local/tmp/slm/Gecko_256_f32.tflite # Push the embedder model to the device آپ کے آلے پر انسٹال شدہ embedder کے ساتھ، یہ آپ کے ایپلی کیشن ماڈل میں، Android سٹوڈیو میں، آپ کے ایپلی کیشن ماڈیول سے انسٹال کرنے کے لئے ایک نمونہ فائل فراہم کرنے کا وقت ہے. ایک فائل بنائیں جس کا نام پھر، فائل میں، مندرجہ ذیل متن شامل کریں: assets simon_says_responses.txt Go for a walk Jump and down 10 times Sing your favourite song! Text your best friend a funny meme Do 10 press ups! فائل میں چند مختلف جوابات ہیں جو ایک Simon Says کھیل میں دے سکتے ہیں، ہر ایک ایک کے ساتھ تقسیم. یہ embedder کو ایک سگنل دیتا ہے کہ ہر جواب کو انبیاء میں متن کو تقسیم کرتے وقت تقسیم کرنے کے لئے کس طرح جانتا ہے. یہ عمل کہا جاتا ہے اور زبان کے ماڈل کے ذریعے RAG کتنا اچھی طرح سے کام کرتا ہے پر ایک بڑا اثر پڑ سکتا ہے. مختلف سائز کے ٹکڑے اور جوابات کے ساتھ تجربات آپ کی ضروریات کے لئے صحیح مجموعہ تلاش کرنے کے لئے حوصلہ افزائی کی جاتی ہے! chunking ایک بات پر غور کرنے کے لئے ایپ اسٹوریج ہے. یاد رکھیں، آپ نے پہلے ہی آپ کے آلے پر ایک زبان ماڈل اور ایک انٹرفر انسٹال کیا ہے. یہ گیگابائٹ کی جگہ لیتے ہیں، لہذا اس بات کو یقینی بنائیں کہ آپ ایک ٹیکسٹ فائل کا استعمال کرتے ہوئے ایک آلہ کو مزید بڑھانے کے لئے نہیں ہے جو بہت بڑا ہے! آپ کو اسٹوریج کے ساتھ مسائل کو کم کرنے کے لئے نیٹ ورک کے ذریعے اس نمونہ فائل کو اڑانے اور ڈاؤن لوڈ کرنے پر غور کرنا چاہئے. متن فائل کے ساتھ، یہ انٹرفیس کو ابتدائی کرنے کا وقت ہے: private const val GeckoEmbedderPath = "/data/local/tmp/slm/gecko_256_f32.tflite" private const val TokenizerModelPath = "/data/local/tmp/slm/sentencepiece.model" private const val UseGpuForEmbeddings = true val embedder: Embedder = GeckoEmbeddingModel( GeckoEmbedderPath, TokenizerModelPath, UseGpuForEmbeddings, ) انبیڈر تین پیرامیٹر لیتا ہے: انبیڈر کا راستہ اور آلہ پر tokenizer، اور ایک آخری پیرامیٹر اس بات کا تعین کرنے کے لئے کہ انبیڈر انبیڈروں کی تخلیق کرتے وقت آلہ GPU کا استعمال کرسکتا ہے. اگر ایک GPU دستیاب ہے تو، یہ حقیقی طور پر مقرر کیا جائے گا تو داخلات کی تخلیق کو تیز کرے گا. اس قیمت کو فعال کرنے کا فیصلہ کرنے سے پہلے آلہ کی صلاحیتوں کی جانچ پڑتال کریں. اس کے بعد، زبان کے ماڈل کا ایک انسٹال بنائیں: private const val GemmaModelPath = "/data/local/tmp/slm/gemma3-1B-it-int4.task" val llmInferenceOptions = LlmInferenceOptions.builder() .setModelPath(GemmaModelPath) .setPreferredBackend(LlmInference.Backend.CPU) // Change to GPU if you have a GPU powered device. .setMaxTokens(1200) .build() val llmInferenceSessionOptions = LlmInferenceSessionOptions.builder() .setTemperature(0.6f) .setTopK(5000) .setTopP(1f) .build() val languageModel = MediaPipeLlmBackend( context, // This is the application context languageModelOptions, languageModelSessionOptions) languageModel.initialize().get() مندرجہ بالا بہت سے پیرامیٹر شامل ہیں؛ ابھی تک ان کے بارے میں فکر مت کرو. زبان کے ماڈل کے ساتھ پیدا کیا گیا، آپ داخلات پر دوبارہ توجہ مرکوز کرسکتے ہیں. ماڈل کو داخلات کو ہر وقت وصول کرنے کے لئے ایک جگہ کی ضرورت ہوتی ہے. MediaPipe ایک SQLite فراہم کرتا ہے ، جس میں داخلات کو ذخیرہ کرنے کے لئے ایک عام آلہ ہے. ہم ایک بنائیں: Vector Store private const val PromptTemplate: String = """ You are Simon in a game of Simon Says. Your task is to ask the player to perform a task from the following list: {0}. Your response must only contain the task that the player must do. Your response must be based on the players request: {1}. Do not ask the player to do the same thing twice. You must not ask the player to do anything that is dangerous, unethical or unlawful. """ val chainConfig = ChainConfig.create( languageModel, PromptBuilder(PromptTemplate), DefaultSemanticTextMemory( SqliteVectorStore(768), embedder ) ) یہاں، سب کچھ ایک دوسرے سے منسلک ہوتا ہے کیونکہ زبان کے ماڈل اور embedder دونوں ChainConfig میں منتقل ہوتے ہیں. ہر "وییکٹر" کا سائز ہے جو ڈیٹا بیس ذخیرہ کرسکتا ہے. RAG عمل کو چلانے میں مدد کرنے کے لئے ایک پروموشن فراہم کرنے کے لئے استعمال کیا جاتا ہے. 786 PromptBuilder آخر میں، ہم نے ماضی میں مصنوعات کے فارم میں پیدا کردہ متن فائل کو embedder میں لوڈ کریں. سب سے پہلے، آلہ سے فائل کو لوڈ کریں اور متن کو لائنوں کی فہرست میں تقسیم کریں: // This is an extension function to read the file from disk. val gameResponses: List = context.getTextFromFile("simon_says_responses.txt") اگلا، جوابات کو پہلے پیدا chainConfig میں لوڈ کریں. chainConfig.semanticMemory.getOrNull() ?.recordBatchedMemoryItems(ImmutableList.copyOf(gameResponses)) ?.get() آپ کے آلہ اور متن فائل کا سائز پر منحصر ہے، یہ مکمل کرنے کے لئے چند سیکنڈ سے چند منٹ لگ سکتے ہیں. ایک اچھا انگوٹی کا ایک اصول یہ ہے کہ جب یہ ہوتا ہے تو زبان کے ماڈل کو استعمال کرنے سے روکنے کے لئے. ایسا کرنے کے بعد، آپ نے اپنے ٹیکسٹ فائل کو ایک ویکٹر اسٹور میں رکھنے والے انبساطوں کی ایک سیٹ میں تبدیل کر دیا ہے. آپ نے اپنے زبان کے ماڈل کو اس اسٹور سے منسلک کیا ہے تاکہ وہ اب معلومات حاصل کرسکتا ہے! اگلے سیکشن میں آپ کو دکھائے گا کہ کس طرح آپ اپنی درخواستوں پر زبان کے ماڈل کو منتقل کرکے ان داخلات کا استعمال کریں. آپ کے RAG Powered ماڈل کے لئے Prompts زیادہ تر پیچیدہ سیٹ اپ مکمل ہونے کے بعد، زبان کے ماڈل میں ایک نوٹ منتقل کرنے کے لئے حیرت انگیز طور پر آسان ہے. چیلنج کا استعمال کریں اور اس کا استعمال کریں. RetrievalAndInferenceChain val retrievalAndInferenceChain = RetrievalAndInferenceChain(chainConfig) اس کے بعد، ایک درخواست بنائیں اور اسے زنجیر میں منتقل کریں. val prompt = "Tell me something to do Simon involving jumping!" val retrievalRequest = RetrievalRequest.create( prompt, RetrievalConfig.create( 50, // topK 0.1f, // minSimilarityScore RetrievalConfig.TaskType.RETRIEVAL_QUERY ) ) val response = retrievalAndInferenceChain!!.invoke(retrievalRequest).get().text پروسیسنگ کے دوران، یہ آپ کے ویکٹر اسٹور میں انبساطات کی طرف اشارہ کرے گا تاکہ وہ سب سے زیادہ درست جواب فراہم کرے. جیسا کہ آپ توقع کرسکتے ہیں، آپ ماڈل سے پوچھتے ہیں، اس کے نتیجے میں مختلف جوابات ہوں گے. آپ کو ایک غیر متوقع نتیجہ ملتا ہے کہ صورتوں کے بارے میں کیا ہے؟ اس وقت، آپ کو واپس جانا اور گزشتہ سیکشن سے آپ کے اشیاء کے پیرامیٹرز کو اچھی طرح سے تنصیب کرنے کی ضرورت ہے. ہم اگلے سیکشن میں ایسا کریں گے. آپ کے RAG Powered زبان کے ماڈل کو اچھی طرح سے تنصیب کریں اگر ہم نے سالوں کے دوران Generative AI سے سیکھا ہے تو یہ ہے کہ یہ ایک درست سائنس نہیں ہے. آپ نے یقینی طور پر ایسی کہانیوں کو دیکھا ہے جہاں زبان کے ماڈل "بھارتے ہیں" اور خواہشات سے کم نتائج پیدا کرتے ہیں، کمپنیوں کو شرمندہ اور مشہور نقصان کا سبب بناتے ہیں. یہ ایک ماڈل سے جوابات کا انتظار کرنے کے لئے کافی ٹیسٹ نہیں کیا جا رہا ہے کے نتیجے میں ہے. ٹیسٹنگ نہ صرف شرمندگی سے بچنے میں مدد ملتی ہے، یہ بھی آپ کی زبان کے ماڈل پیداوار کے ساتھ تجربہ کرنے میں مدد ملتی ہے تاکہ یہ بھی بہتر کام کرتا ہے! ہم دیکھتے ہیں کہ ہم اپنے RAG طاقتور زبان کے ماڈل کو اچھی طرح سے ٹیون کرنے کے لۓ کس ہاربرز کو منظم کرسکتے ہیں. : LLmInferenceOptions.Builder LlmInferenceOptions.builder() .setModelPath(GemmaModelPath) .setPreferredBackend(LlmInference.Backend.CPU) // Change to GPU if you have a GPU powered device. .setMaxTokens(1200) .build() پہلا parameter جو تبدیل کیا جا سکتا ہے یہ ہے parameter. This is the amount of “input” or “output” the language model can handle. The larger the value, the more data the language model can handle at once. setMaxTokens() ہمارے مثال میں، اس کا مطلب یہ ہے کہ ماڈل ایک ٹیکسٹ انٹرویو کا انتظام کر سکتا ہے اور ایک پیداوار پیدا کر سکتا ہے جس میں 1200 ٹکینز شامل ہیں. ایک کم قیمت کے لئے. MaxTokens اس قدر محتاط رہو، کیونکہ آپ اپنے ماڈل کو غیر متوقع طور پر زیادہ ٹکینز کا انتظام کرسکتے ہیں. چلو ہم چلے جاؤ : LlmInferenceSessionOptions.Builder() llmInferenceSessionOptions = LlmInferenceSessionOptions.builder() .setTemperature(0.6f) .setTopK(5000) .setTopP(1f) .build() یہاں، آپ کچھ مختلف پیرامیٹر مقرر کر سکتے ہیں. ، اور ہم ان میں سے ہر ایک میں ان کو ڈھونڈیں. .setTemperature() .setTopK() .setTopP() زبان کے ماڈل سے جوابات کو کتنا "انصاف" ہوسکتا ہے کے بارے میں سوچا جا سکتا ہے. قیمت کم ہوسکتا ہے، ماڈل سے جوابات زیادہ "مستحب" ہوسکتا ہے. قیمت زیادہ ہوسکتا ہے، جوابات زیادہ "خوددار" ہوں گے، زیادہ غیر متوقع جوابات کی وجہ سے. .setTemperature() مثال کے طور پر، یہ مقرر کیا گیا ہے اس کا مطلب یہ ہے کہ ماڈل نصف تخلیقی، لیکن غیر قابل تصور جوابات فراہم کرے گا. 0.6 درجہ حرارت کے ساتھ تجربہ کرنے کے لئے ایک اچھا معیار ہے، کیونکہ آپ کو آپ کے استعمال کے معاملے پر منحصر ہے کہ مختلف معیاروں کو بہتر جواب فراہم کرسکتے ہیں. یہ کہنے کا ایک طریقہ ہے کہ "صرف صارف کو واپس کرنے کے لئے سب سے اوپر K نتائج پر غور کریں." زبان کے ماڈل، ایک نوٹ کو پروسیسنگ کرتے وقت، جوابات کی ایک تعداد پیدا کرتے ہیں، ممکنہ طور پر ہزاروں! .setTopK() ان میں سے ہر ایک کے جوابات کو ایک امکان دیا جاتا ہے کہ وہ صحیح جواب ہونے کا امکان کتنا ہے. اگر آپ کم ممکنہ جوابات پر غور کیا جا رہا ہے کے ساتھ خوش ہیں تو، آپ اس قدر اعلی کو مقرر کرنا چاہتے ہیں. topK درجہ حرارت کی خصوصیات کے طور پر، یہ تجربہ کرنے کے لئے ایک اچھا خصوصیات ہے. آپ کو آپ کی ضروریات پر منحصر ہے کہ آپ کو غور کرنے کے لئے کم یا زیادہ جوابات کے ساتھ ماڈل بہتر کام کر سکتا ہے. Simon Says کے کھیل کے لئے، ہم چاہتے ہیں کہ ماڈل کھیل کو تازہ رکھنے کے لئے بہت سے مختلف جوابات کے بارے میں سوچ رہا ہے. ایک اچھا قیمت لگتا ہے. 5000 کی طرف سے مقرر کردہ حدود کی بنیاد پر کہتے ہوئے "نہیں صرف نتائج پر غور کریں جو ایک امکان P ہے". جیسا کہ پہلے ذکر کیا گیا ہے، زبان کے ماڈلوں کو اس کے پیدا ہونے والے ہر جواب کے لئے ایک ممکنہ طور پر ایک ممکنہ طور پر منسلک کرتے ہیں. اس کا مطلب یہ ہے کہ ماڈل آسانی سے کسی بھی جواب کو ہٹا سکتا ہے جو کم از کم امکان کی ضرورت نہیں ہے. .setTopP() topK topP ایک مثال کے طور پر، اگر ماڈل ایک مقرر کریں اور مندرجہ ذیل جوابات پر غور کیا گیا تھا: topP 0.4 Simons Says clap 5 times! = 0.7 // This response has a probablility of 0.7 of being correct Simons Says jump up and down! = 0.5 Find a car and drive it. = 0.3 پہلی دو جوابات پر غور کیا جائے گا کیونکہ امکان زیادہ سے زیادہ ہے گاڑی کے بارے میں جواب کو ہٹا دیا جائے گا، کیونکہ اس کے پاس صرف ایک امکان ہے . 0.4 0.3 اسی طرح اور ، آپ کو آپ کی زبان کے ماڈل کو کتنا تخلیقی سمجھا جا سکتا ہے کی وضاحت کرنے کی اجازت دیتا ہے.If you want to consider less likely responses to prompts, setting a low P value will help. temperature topK topP مثال کے طور پر، یہ مقرر کیا گیا ہے کیونکہ ہم چاہتے ہیں کہ ماڈل اس کے جوابات کے بارے میں مکمل طور پر یقین رکھے. 1.0 ان معیاروں کے ساتھ تجربات آپ کی زبان کے ماڈل سے بہت مختلف نتائج پیدا کریں گے. ان کا تجربہ کریں اور دیکھیں کہ کیا ہوتا ہے! Next کہاں جاؤں؟ مجھے امید ہے کہ آپ نے اپنے Android اپلی کیشن میں ایک RAG طاقتور زبان کے ماڈل کو شامل کرنے کے لئے کس طرح اس طریقہ کار سے لطف اندوز کیا ہے! اگر آپ RAG اور Android کے بارے میں مزید جاننے کے لئے چاہتے ہیں تو، یہاں کچھ لنکس ہیں جو میں سفارش کرتا ہوں: Clone and run the for this blog post to see it in action. It shows how to setup the RAG pipeline with Gemma using Android architecture best practices. Simons Says App: sample code : Check out the RAG section on the MediaPipe - Highly recommended reading. MediaPipe RAG Google Developer docs : Learn more about how setting the Temperature, TopK, and TopP values can the results from language models. Another highly recommended article. Setting Temperature, TopK, and TopP in LLMs help control