ວິທີການເຮັດວຽກຂອງ RAG Powered Language Model ໃນ Android ມີການຊ່ວຍເຫຼືອຂອງ MediaPipe

ຂ້າພະເຈົ້າສືບຕໍ່ໄດ້ຮັບການປະທັບໃຈຂອງພວກເຮົາ . ມັນໄດ້ຖືກເຂົ້າເຖິງຢ່າງງ່າຍດາຍແລະປະຫວັດສາດເພື່ອສາມາດໃຫ້ການໂທຫາທີ່ app mobile ສາມາດໄດ້ຮັບຜົນປະໂຫຍດຈາກການເພີ່ມຂຶ້ນຂອງການນໍາໃຊ້ຮູບແບບດິຈິຕອນ. ການເຮັດວຽກໃນອຸປະກອນ SLMs ໃນ Apps ຫຼັງຈາກການສອບເສັງ, ຂ້າພະເຈົ້າມີລາຍລະອຽດຕ່າງໆຈາກຜູ້ຊ່ຽວຊານໂດຍຜ່ານເສັ້ນທາງຂອງ "ມັນຈະເປັນທີ່ດີທີ່ຈະຊອກຫາຕົວຢ່າງຂອງ app ທີ່ນໍາໃຊ້ SLM Powered by RAG." ພວກເຮົາ ກໍາ ລັງ ຊອກ ຫາ ຄູ່ ຮ່ວມ ງານ ຂອງ ຊີ ວິດ, ສັດ ລ້ຽງ ຫຼື ພຽງ ແຕ່ ຜູ້ ໃດ ຜູ້ ຫນຶ່ງ ຂອງ ທ່ານ ທີ່ ຈະ ວາງ ສາຍ ອອກ ກັບ, ທີ່ ນີ້ ທ່ານ ຈະ ສາ ມາດ ຊອກ ຫາ ໄດ້ ຜູ້ ທີ່ ທ່ານ ກໍາ ລັງ ຊອກ ຫາ ສໍາ ລັບ - pet lovers ຄື ຕົວ ທ່ານ ເອງ. ຖ້າຫາກວ່າທ່ານກໍາລັງຊອກຫາຄໍາຮ້ອງສະຫມັກ RAG ສໍາລັບ Android ຂອງທ່ານ, ນີ້ແມ່ນຄໍາຮ້ອງສະຫມັກສໍາລັບທ່ານ! RAG ເປັນຫຍັງ? ຖ້າຫາກວ່າທ່ານບໍ່ໄດ້ຮູ້ສຶກວ່າມັນແມ່ນ RAG ມັນເປັນເຕັກໂນໂລຊີສໍາລັບມາດຕະຖານພາສາທີ່ຈະເຂົ້າເຖິງຂໍ້ມູນພາຍໃຕ້ທີ່ບໍ່ສາມາດເຂົ້າເຖິງໃນຊຸດຂໍ້ມູນຂອງເຂົາເຈົ້າຫຼັງຈາກການຝຶກອົບຮົມ. ນີ້ອະນຸຍາດໃຫ້ມາດຕະຖານໄດ້ຮັບຄວາມຮູ້ກ່ຽວກັບຂໍ້ມູນທີ່ທັນສະໄຫມທີ່ພວກເຂົາເຈົ້າສາມາດນໍາໃຊ້ເພື່ອສະຫນອງການຕອບສະຫນອງທີ່ຖືກຕ້ອງກັບຄໍາຮ້ອງສະຫມັກ. Retrieval Augmented Generation ສະແດງໃຫ້ເຫັນວ່າທ່ານມີສອງມາດຕະຖານພາສາ, ໃນຂະນະທີ່ມາດຕະຖານຫນຶ່ງແມ່ນນໍາໃຊ້ RAG ເພື່ອຊອກຫາຂໍ້ມູນພາຍນອກກ່ຽວກັບເມືອງຕົ້ນຕໍໃນເອີຣົບ, ໃນຂະນະທີ່ມາດຕະຖານອື່ນໆແມ່ນພຽງແຕ່ເຊື່ອມຕໍ່ກັບຄວາມຮູ້ຂອງຕົນເອງ. You are an expert on the geography of Europe. Give me the name of 3 capital cities. Also give me an interesting fact for each of them. ຜົນປະໂຫຍດສາມາດສະແດງໃຫ້ເຫັນວ່ານີ້: ຖ້າຫາກວ່າທ່ານກໍາລັງຊອກຫາຂໍ້ມູນເພີ່ມເຕີມກ່ຽວກັບການນໍາໃຊ້ RAG, ທ່ານຍັງສາມາດຊອກຫາຂໍ້ມູນເພີ່ມເຕີມກ່ຽວກັບການນໍາໃຊ້ RAG. ຖ້າຫາກວ່າທ່ານກໍາລັງຊອກຫາຂໍ້ມູນເພີ່ມເຕີມກ່ຽວກັບການນໍາໃຊ້ RAG, ທ່ານສາມາດຊອກຫາຂໍ້ມູນເພີ່ມເຕີມ. ມັນເປັນສິ່ງທຸກຢ່າງທີ່ທ່ານຕ້ອງການຮູ້ກ່ຽວກັບ RAG ໃນລະດັບສູງ. ຫຼັງຈາກນັ້ນ, ກະລຸນາຂ້າງລຸ່ມຂ້າງລຸ່ມນີ້ແລະຂຽນລະຫັດຫຼັງຈາກນັ້ນເພື່ອດໍາເນີນການໂຄງສ້າງໂຄງສ້າງໂຄງສ້າງໂຄງສ້າງ RAG ຂອງທ່ານເອງໃນ app ຂອງທ່ານ! ດາວນ໌ໂຫລດ Android App ຖ້າຫາກວ່າທ່ານຕ້ອງການທີ່ຈະສ້າງ app ໂດຍໃຊ້ມາດຕະຖານພາສາເພື່ອດາວໂຫລດເກມຂອງ Simon Says. ທ່ານຕ້ອງການມາດຕະຖານແມ່ນ Simon, ແລະໃຊ້ RAG ເພື່ອເຂົ້າເຖິງປະເພດຂໍ້ມູນຂອງການເຮັດວຽກເພື່ອຊ່ວຍຄົ້ນຄວ້າສິ່ງທີ່ທ່ານຕ້ອງການໃຫ້ຜູ້ໃຊ້. ວິທີການເຮັດວຽກນີ້? ວິທີທີ່ງ່າຍທີ່ສຸດທີ່ຈະເຮັດສິ່ງນີ້ໃນ Android ແມ່ນກັບ , ລະບົບເຄື່ອງມືທີ່ຊ່ວຍໃຫ້ app ຂອງທ່ານນໍາໃຊ້ AI ແລະເຕັກໂນໂລຊີການຝຶກອົບຮົມເຄື່ອງ. ເພື່ອເລີ່ມຕົ້ນ, add the MediaPipe dependency to your app : ວັດສະດຸ build.gradle dependencies { implementation("com.google.mediapipe:tasks-genai:0.10.27") implementation("com.google.ai.edge.localagents:localagents-rag:0.3.0") } ຫຼັງຈາກນັ້ນ, ທ່ານຈໍາເປັນຕ້ອງເພີ່ມຮູບແບບພາສາກັບອຸປະກອນການທົດສອບຂອງທ່ານໂດຍຜ່ານຄອມພິວເຕີຂອງທ່ານ. ສໍາລັບຕົວຢ່າງນີ້, ພວກເຮົາຈະນໍາໃຊ້ຮູບແບບຂອງ Google , ໂມເລກຸນແສງສະດວກທີ່ມີຂະຫນາດນ້ອຍທີ່ມີ 1 ມິຖຸນາ parameter ທີ່ມີຄ່າໃຊ້ຈ່າຍຂໍ້ມູນ. ຊື່ຫຍໍ້ຂອງ : Gemma3-1B ຊື່ຫຍໍ້ຂອງ : Antes of downloading the model, you may have to sign up to Kaggle and agree to Google’s AI Terms and Conditions. Side Note: Before downloading the model, you may have to sign upto Kaggle and agree to Google’s AI Terms and Conditions. ຫຼັງຈາກການດາວໂຫລດຮູບແບບ, ມັນເປັນເວລາທີ່ຈະເພີ່ມຮູບແບບໃນອຸປະກອນຂອງທ່ານ. You can do this via adb: $ adb shell mkdir -p /data/local/tmp/slm/ # Create a folder to store the model $ adb push output_path /data/local/tmp/slm/gemma3-1B-it-int4.task # Copy the model over to the file Alternative, ທ່ານສາມາດນໍາໃຊ້ ການນໍາໃຊ້ Android Studio ເພື່ອສ້າງ folder ຂອງທ່ານເອງແລະ drag model ໃນອຸປະກອນຂອງທ່ານ. ປະເພດ File Explorer ມີຮູບແບບເພີ່ມຂຶ້ນ, ທ່ານສາມາດເພີ່ມຂຶ້ນການກໍ່ສ້າງ RAG pipeline ເພື່ອສະຫນັບສະຫນູນ Gemma ກັບຂໍ້ມູນ. ຫຼັງຈາກນັ້ນ, ກະລຸນາເບິ່ງການເພີ່ມຂໍ້ມູນ Gemma ຈະລົງທະບຽນເພື່ອຕອບສະຫນອງ. ການສ້າງ Embeddings ໂມເລກຸນຂໍ້ມູນທີ່ຄົ້ນຄວ້າສໍາລັບການປະຕິບັດ RAG ແມ່ນບໍ່ແມ່ນຂໍ້ມູນທີ່ທ່ານສົ່ງໄປໃນມັນ. ໂມເລກຸນຄວາມຕ້ອງການຂໍ້ມູນຈະຢູ່ໃນຮູບແບບພິເສດທີ່ຄ້າຍຄືກັນ . Embeddings ພວກເຮົາ ກໍາ ລັງ ຊອກ ຫາ ຄູ່ ຮ່ວມ ງານ ຂອງ ຊີ ວິດ, ສັດ ລ້ຽງ ຫຼື ພຽງ ແຕ່ ຜູ້ ໃດ ຜູ້ ຫນຶ່ງ ຂອງ ທ່ານ ທີ່ ຈະ ວາງ ສາຍ ອອກ ກັບ, ທີ່ ນີ້ ທ່ານ ຈະ ສາ ມາດ ຊອກ ຫາ ໄດ້ ຜູ້ ທີ່ ທ່ານ ກໍາ ລັງ ຊອກ ຫາ ຄູ່ ຮ່ວມ ງານ ຂອງ ຊີ ວິດ. . Embedder ການເຊື່ອມໂລຫະແມ່ນບັນຫາທັງຫມົດໂດຍບໍ່ມີການເຊື່ອມໂລຫະ; ທ່ານກໍາລັງຊອກຫາຂໍ້ມູນກ່ຽວກັບການເຊື່ອມໂລຫະ. ສໍາລັບບົດຄວາມນີ້, ທ່ານພຽງແຕ່ຕ້ອງຮູ້ວິທີການສ້າງມັນ. ທ່ານສາມາດເຮັດວຽກນີ້ໃນອຸປະກອນໂດຍໃຊ້ການເຊື່ອມໂລຫະ . ປະເພດ Gecko Embedder ດາວນ໌ໂຫລດ The Tokenizer ແລະ The ດາວນ໌ໂຫລດ embedder model files to your computer. Then push them to your device: sentencepiece.model Gecko_256_f32.tflite $ adb push sentencepiece.model /data/local/tmp/slm/sentencepiece.model # Push the tokenizer to the device $ adb push Gecko_256_f32.tflite /data/local/tmp/slm/Gecko_256_f32.tflite # Push the embedder model to the device ໃນເວລາທີ່ embedder ໄດ້ຕິດຕັ້ງຢູ່ໃນອຸປະກອນຂອງທ່ານ, ມັນເປັນເວລາທີ່ຈະສະຫນອງ file sample ເພື່ອສ້າງ embeddings ຈາກ. ໃນ Android Studio, ໃນ module app ຂອງທ່ານ folder, ເຮັດໃຫ້ເອກະສານທີ່ມີຊື່ສຽງ ຫຼັງຈາກນັ້ນ, ໃນເອກະສານ, add the following text: assets simon_says_responses.txt Go for a walk Jump and down 10 times Sing your favourite song! Text your best friend a funny meme Do 10 press ups! ເອກະຊົນບໍລິການບໍລິການບໍລິການບໍລິການບໍລິການບໍລິການບໍລິການບໍລິການບໍລິການບໍລິການບໍລິການບໍລິການບໍລິການບໍລິສັດ ການດໍາເນີນການນີ້ໃຫ້ embedder ການທົດສອບທີ່ຈະຮູ້ວິທີການແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ່ນແຜ ການປິ່ນປົວນີ້ແມ່ນຊື່ ແລະສາມາດມີຜົນປະໂຫຍດຂະຫນາດໃຫຍ່ກ່ຽວກັບການເຮັດວຽກທີ່ດີຂອງ RAG ໂດຍຜ່ານມາດຕະຖານພາສາ. ການທົດສອບທີ່ມີຂະຫນາດຕ່າງໆແລະຄໍາຮ້ອງສະຫມັກແມ່ນອະນຸຍາດເພື່ອຊອກຫາການເຊື່ອມຕໍ່ທີ່ເຫມາະສົມສໍາລັບຄວາມຕ້ອງການຂອງທ່ານ! chunking ເປັນສິ່ງຫນຶ່ງທີ່ຄ້າຍຄືກັນແມ່ນອັບໂຫລດອັບໂຫລດ. ກະລຸນາຮູ້ວ່າທ່ານໄດ້ຕິດຕັ້ງມາດຕະຖານພາສາແລະ embedder ໃນອຸປະກອນຂອງທ່ານ. ພວກເຂົາເຈົ້າໃຊ້ເວລາ gigabytes ຂອງສະຖານທີ່, ດັ່ງນັ້ນ, ໃຫ້ແນ່ໃຈວ່າທ່ານບໍ່ໄດ້ປັບປຸງອຸປະກອນໂດຍໃຊ້ເອກະສານທີ່ມີຂະຫນາດໃຫຍ່ຫຼາຍ! ທ່ານຕ້ອງການສອບເສັງກ່ຽວກັບການເກັບຮັກສາເອກະສານ sample ໃນ cloud ແລະດາວໂຫລດມັນໂດຍຜ່ານເຄືອຂ່າຍເພື່ອຫຼຸດຜ່ອນບັນຫາທີ່ມີການເກັບຮັກສາ. ໃນຂະນະທີ່ເອກະສານບົດຄວາມໃນສະຖານທີ່, ມັນເປັນເວລາທີ່ຈະເລີ່ມຕົ້ນ embedder: private const val GeckoEmbedderPath = "/data/local/tmp/slm/gecko_256_f32.tflite" private const val TokenizerModelPath = "/data/local/tmp/slm/sentencepiece.model" private const val UseGpuForEmbeddings = true val embedder: Embedder = GeckoEmbeddingModel( GeckoEmbedderPath, TokenizerModelPath, UseGpuForEmbeddings, ) ການ embedder ໃຊ້ເວລາສາມສະຖາບັນ: ການເດີນທາງຂອງ embedder ແລະ tokenizer ໃນອຸປະກອນ, ມີສະຖາບັນທຶກຫຼັງຈາກນັ້ນເພື່ອປິ່ນປົວວ່າ embedder ສາມາດນໍາໃຊ້ GPU ຂອງອຸປະກອນໃນເວລາທີ່ສ້າງ embeddings. ການຕັ້ງຄ່ານີ້ເປັນທີ່ແທ້ຈິງຈະເຮັດໃຫ້ການສ້າງການເຊື່ອມຕໍ່ຢ່າງວ່ອງໄວ, ຖ້າຫາກວ່າ GPU ແມ່ນມີ. ກະລຸນາກວດສອບຄວາມສາມາດຂອງອຸປະກອນຫຼັງຈາກການຄັດເລືອກທີ່ຈະອະນຸຍາດປະສິດທິພາບນີ້. ຫຼັງຈາກນັ້ນ, ສ້າງຕົວແທນຂອງຕົວແທນຂອງຕົວແທນພາສາ: private const val GemmaModelPath = "/data/local/tmp/slm/gemma3-1B-it-int4.task" val llmInferenceOptions = LlmInferenceOptions.builder() .setModelPath(GemmaModelPath) .setPreferredBackend(LlmInference.Backend.CPU) // Change to GPU if you have a GPU powered device. .setMaxTokens(1200) .build() val llmInferenceSessionOptions = LlmInferenceSessionOptions.builder() .setTemperature(0.6f) .setTopK(5000) .setTopP(1f) .build() val languageModel = MediaPipeLlmBackend( context, // This is the application context languageModelOptions, languageModelSessionOptions) languageModel.initialize().get() ມີຫຼາຍກ່ວາຄໍາຮ້ອງສະຫມັກທີ່ກ່ຽວຂ້ອງໃນປັດຈຸບັນ; ກະລຸນາບໍ່ເສຍຄ່າກ່ຽວກັບການນີ້ໃນປັດຈຸບັນ. ພວກເຮົາຈະໄປຢ້ຽມຢາມພວກເຂົາຫຼັງຈາກນັ້ນ. ໃນຖານະເປັນບໍລິສັດທີ່ໃຫ້ບໍລິການໃຫ້ບໍລິການໃຫ້ບໍລິການໃຫ້ບໍລິການໃຫ້ບໍລິການໃຫ້ບໍລິການລູກຄ້າຂອງພວກເຮົາ. MediaPipe ສະຫນອງ SQLite , ທີ່ເປັນເຄື່ອງມືປົກກະຕິສໍາລັບການເກັບຮັກສາ embeddings. ກະລຸນາສ້າງຫນຶ່ງ: Vector Store private const val PromptTemplate: String = """ You are Simon in a game of Simon Says. Your task is to ask the player to perform a task from the following list: {0}. Your response must only contain the task that the player must do. Your response must be based on the players request: {1}. Do not ask the player to do the same thing twice. You must not ask the player to do anything that is dangerous, unethical or unlawful. """ val chainConfig = ChainConfig.create( languageModel, PromptBuilder(PromptTemplate), DefaultSemanticTextMemory( SqliteVectorStore(768), embedder ) ) Here, everything begins to link together as the language model and embedder are both passed into the ChainConfig. ແມ່ນຂະຫນາດຂອງແຕ່ລະ "vector" ທີ່ database ສາມາດເກັບ. ມັນຖືກນໍາໃຊ້ເພື່ອສະຫນອງຄວາມປອດໄພເພື່ອຊ່ວຍໃຫ້ RAG ການເຮັດວຽກ. 786 PromptBuilder ຫຼັງຈາກນັ້ນ, ພວກເຮົາຈະດາວໂຫລດເອກະສານເອກະສານທີ່ພວກເຮົາກໍາລັງສ້າງຕັ້ງຂຶ້ນໃນເອກະສານອຸປະກອນໃນ embedder. ການທໍາອິດ, ດາວໂຫລດເອກະສານຈາກອຸປະກອນແລະແຜ່ນເອກະສານໃນລາຍລະອຽດຂອງ string: // This is an extension function to read the file from disk. val gameResponses: List = context.getTextFromFile("simon_says_responses.txt") ຫຼັງຈາກນັ້ນ, ດາວນ໌ໂຫລດການຕອບສະຫນອງໃນ chainConfig ສ້າງຕັ້ງຂຶ້ນທີ່ຜ່ານມາ. chainConfig.semanticMemory.getOrNull() ?.recordBatchedMemoryItems(ImmutableList.copyOf(gameResponses)) ?.get() ຖ້າຫາກວ່າທ່ານກໍາລັງຊອກຫາຂໍ້ມູນເພີ່ມເຕີມກ່ຽວກັບເວັບໄຊທ໌ຂອງພວກເຮົາ, ກະລຸນາຕິດຕໍ່ຂໍ້ມູນເພີ່ມເຕີມກ່ຽວກັບເວັບໄຊທ໌ນີ້. ຫຼັງຈາກນັ້ນ, ທ່ານພຽງແຕ່ໄດ້ຮັບການປ່ຽນແປງເອກະສານ Textfile ຂອງທ່ານໃນກຸ່ມຂອງ Embeddings ທີ່ຖືກຈັດຂຶ້ນໃນອຸປະກອນ vector. ທ່ານຍັງໄດ້ເຊື່ອມຕໍ່ມາດຕະຖານ भाषा ຂອງທ່ານກັບອຸປະກອນເພື່ອໃຫ້ມັນສາມາດຊອກຫາຂໍ້ມູນ! ລະບົບທີ່ຜ່ານມາຈະສະແດງໃຫ້ເຫັນວິທີການນໍາໃຊ້ embeddings ນີ້ໂດຍຜ່ານຮູບແບບດິຈິຕອນຂອງຄໍາແນະນໍາຂອງທ່ານ. ການຂົນສົ່ງ Prompts ກັບ RAG Powered Model ຂອງທ່ານ ໃນເວລາທີ່ການຕິດຕັ້ງຢ່າງກວ້າງຂວາງຢ່າງວ່ອງໄວທີ່ສຸດ, ການຂຽນຄໍາແນະນໍາໃນມາດຕະຖານພາສາແມ່ນງ່າຍທີ່ສວຍງາມ. ການນໍາໃຊ້ Chain Config ແລະນໍາໃຊ້ມັນ. RetrievalAndInferenceChain val retrievalAndInferenceChain = RetrievalAndInferenceChain(chainConfig) ຫຼັງຈາກນັ້ນ, ສ້າງຄໍາຮ້ອງສະຫມັກແລະຜ່ານມັນໃນສາຍ. val prompt = "Tell me something to do Simon involving jumping!" val retrievalRequest = RetrievalRequest.create( prompt, RetrievalConfig.create( 50, // topK 0.1f, // minSimilarityScore RetrievalConfig.TaskType.RETRIEVAL_QUERY ) ) val response = retrievalAndInferenceChain!!.invoke(retrievalRequest).get().text ໃນໄລຍະການປິ່ນປົວ, ມັນຈະຕິດຕໍ່ກັບການປິ່ນປົວໃນອຸປະກອນ vector ຂອງທ່ານເພື່ອສະຫນອງສິ່ງທີ່ມັນຄາດວ່າເປັນຄໍາສັ່ງທີ່ຖືກຕ້ອງທີ່ສຸດ. ໃນຂະນະທີ່ທ່ານຄາດວ່າຈະໄດ້ຄາດຄະເນດຽວກັນ, ສິ່ງທີ່ທ່ານຖ້າຫາກວ່າມາດຕະຖານຈະໄດ້ຮັບການຕອບສະຫນັບສະຫນູນທີ່ແຕກຕ່າງກັນ. ໃນຂະນະທີ່ embeddings ມີຂະຫນາດໃຫຍ່ຂອງການຕອບສະຫນັບສະຫນູນ Simon ເວົ້າວ່າ, ມັນເປັນປະໂຫຍດທີ່ທ່ານຈະໄດ້ຮັບການຕອບສະຫນັບສະຫນູນທີ່ດີ! ຂ້າພະເຈົ້າສືບຕໍ່ໄດ້ຮັບການປະທັບໃຈກໍໂດຍກົງກັບລູກຄ້າຂອງພວກເຮົາ ຂໍຂອບໃຈວ່າພວກເຮົາຈະເຮັດວຽກນີ້ໃນພາກສ່ວນທີ່ຜ່ານມາ. Fine-Tuning ຂອງທ່ານ RAG Powered Language Model If there is one thing we have learned over the years from Generative AI, it is that it is not an exact science. ຖ້າຫາກວ່າທ່ານກໍາລັງຊອກຫາຄໍາເຫັນທີ່ມາດຕະຖານຂອງມາດຕະຖານໄດ້ "ການຄຸ້ມຄອງ" ແລະຜະລິດຜົນປະໂຫຍດທີ່ບໍ່ແມ່ນຄາດວ່າຈະໄດ້, ເຮັດໃຫ້ຄວາມຍົນໃຈແລະການປິ່ນປົວຄວາມຍົນໃຈຂອງບໍລິສັດ. ມັນເປັນຜົນກະທົບຂອງການທົດສອບທີ່ບໍ່ພຽງພໍທີ່ຖືກນໍາໃຊ້ເພື່ອຮັບປະກັນວ່າການຕອບສະຫນອງຈາກຮູບແບບແມ່ນຄາດວ່າ. ການທົດສອບບໍ່ພຽງແຕ່ຊ່ວຍຫຼຸດຜ່ອນການກະຕຸ້ນ, ມັນຍັງສາມາດຊ່ວຍໃຫ້ການທົດສອບກັບ output ຂອງຮູບແບບພາສາຂອງທ່ານເພື່ອເຮັດວຽກດີກວ່າ! ຂໍຂອບໃຈວ່າທ່ານຈະໄດ້ຮັບການປັບປຸງແລະປັບປຸງສິ່ງທີ່ທ່ານກໍາລັງຊອກຫາ. : LLmInferenceOptions.Builder LlmInferenceOptions.builder() .setModelPath(GemmaModelPath) .setPreferredBackend(LlmInference.Backend.CPU) // Change to GPU if you have a GPU powered device. .setMaxTokens(1200) .build() ຂະຫນາດໃຫຍ່ທີ່ສຸດທີ່ສາມາດປ່ຽນແປງແມ່ນ Parameter. This is the amount of “input” or “output” the language model can handle. ຖ້າຫາກວ່າມີຂະຫນາດໃຫຍ່ຫຼາຍ, ຫຼາຍ data the language model can handle at once. resulting in better answers. setMaxTokens() ໃນປະເພດຂອງພວກເຮົາ, ມັນหมายความວ່າມາດຕະຖານສາມາດປິ່ນປົວການເຂົ້າລະຫັດເອກະສານແລະສ້າງການເຂົ້າລະຫັດທີ່ປະກອບດ້ວຍ 1200 tokens. ຖ້າຫາກວ່າພວກເຮົາມີຄວາມຕ້ອງການທີ່ຈະປິ່ນປົວບັນຊີລາຍລະອຽດຕ່ໍາແລະຍັງສ້າງການຕອບສະຫນອງຂະຫນາດນ້ອຍ, ພວກເຮົາສາມາດຕິດຕັ້ງ ຂະ ຫນາດ ນ້ອຍ MaxTokens ຖ້າຫາກວ່າທ່ານກໍາລັງຊອກຫາຂໍ້ມູນເພີ່ມເຕີມ, ທ່ານສາມາດຊອກຫາຂໍ້ມູນເພີ່ມເຕີມທີ່ທ່ານກໍາລັງຊອກຫາ. ຂໍຂອບໃຈຫຼາຍດັ່ງນັ້ນ : LlmInferenceSessionOptions.Builder() llmInferenceSessionOptions = LlmInferenceSessionOptions.builder() .setTemperature(0.6f) .setTopK(5000) .setTopP(1f) .build() ທີ່ນີ້, ທ່ານສາມາດຕິດຕັ້ງບັນຫາທີ່ແຕກຕ່າງກັນ. ຂໍຂອບໃຈ , ແລະ ພວກເຮົາມີຄວາມຮູ້ສຶກທີ່ດີທີ່ສຸດ ສໍາ ລັບຜູ້ຊ່ຽວຊານ. .setTemperature() .setTopK() .setTopP() ການຄາດຄະເນດິນດີຕ້ອນຮັບຂອງພວກເຮົາແມ່ນການຄາດຄະເນດິນດີຕ້ອນຮັບຂອງພວກເຮົາ. ການຄາດຄະເນດິນດີຕ້ອນຮັບຂອງພວກເຮົາແມ່ນການຄາດຄະເນດິນດີຕ້ອນຮັບ. .setTemperature() ໃນຖານະເປັນຕົວຢ່າງນີ້, ມັນຖືກສ້າງຕັ້ງຂຶ້ນເພື່ອ ໂມເລກຸນຈະສະຫນອງການຕອບສະຫນອງ semi-creative, ແຕ່ບໍ່ unimaginable. 0.6 ອຸນຫະພູມແມ່ນຄຸນນະພາບທີ່ດີທີ່ຈະທົດສອບ, ໃນຂະນະທີ່ທ່ານສາມາດຊອກຫາຄຸນນະພາບທີ່ແຕກຕ່າງກັນເພື່ອສະຫນອງການຕອບສະຫນອງທີ່ດີກວ່າຫຼັກສູດການນໍາໃຊ້ຂອງທ່ານ. ມັນເປັນວິທີການຂອງລັກສະນະ "ພຽງແຕ່ຈຸດປະສົບການ K ທີ່ດີທີ່ສຸດເພື່ອໄປຢ້ຽມຢາມຜູ້ໃຊ້." ໂມເລກຸນດ້ານ, ໃນເວລາທີ່ການປິ່ນປົວຄໍາຮ້ອງສະຫມັກ, generate a number of responses, potentially thousands! .setTopK() ການຄາດຄະເນດິນຟ້າອິນເຕີເນັດ - ການຄາດຄະເນດິນຟ້າອິນເຕີເນັດ ຄ່າໃຊ້ຈ່າຍທີ່ສາມາດໄດ້ຮັບການຕິດຕັ້ງເພື່ອຊ່ວຍໃຫ້ມາດຕະຖານຂອງມາດຕະຖານ. ຖ້າຫາກວ່າທ່ານມີຄວາມສຸກກັບຄໍາຮ້ອງສະຫມັກທີ່ບໍ່ແມ່ນປະໂຫຍດ, ທ່ານຄວນຕິດຕັ້ງຄຸນນະພາບນີ້ສູງ. topK ທ່ານສາມາດຊອກຫາຮູບແບບການເຮັດວຽກທີ່ດີກວ່າທີ່ມີການຕອບສະຫນອງຫຼາຍກວ່າຫຼືຫຼາຍກວ່າທີ່ຈະກວດສອບ, ປະມານຄວາມຕ້ອງການຂອງທ່ານ. ສໍາລັບເກມຂອງ Simon Says, ພວກເຮົາມີຄວາມຕ້ອງການຂອງມາດຕະຖານຈະຊອກຫາການຕອບສະຫນອງທີ່ແຕກຕ່າງກັນຢ່າງກວ້າງຂວາງເພື່ອເຮັດໃຫ້ເກມທັນສະໄຫມ. ຂໍຂອບໃຈວ່າມີຄຸນນະພາບທີ່ດີ. 5000 ການກໍ່ສ້າງໂດຍກໍານົດໄວ້ໂດຍ ໃນຖານະເປັນຜູ້ຊ່ຽວຊານຂອງການຝຶກອົບຮົມການຝຶກອົບຮົມການຝຶກອົບຮົມການຝຶກອົບຮົມ, ຜູ້ຊ່ຽວຊານໃນການຝຶກອົບຮົມການຝຶກອົບຮົມການຝຶກອົບຮົມການຝຶກອົບຮົມການຝຶກອົບຮົມການຝຶກອົບຮົມການຝຶກອົບຮົມການຝຶກອົບຮົມການຝຶກອົບຮົມການຝຶກອົບຮົມການຝຶກອົບຮົມ ວິທີການດໍາເນີນການທີ່ດີເລີດຂອງການດໍາເນີນການທີ່ດີເລີດຂອງການດໍາເນີນການທີ່ດີເລີດ .setTopP() topK topP ໃນຖານະເປັນຕົວຢ່າງ, ຖ້າຫາກວ່າຮູບແບບນີ້ມີ ລະຫັດ QR ຂໍຂອບໃຈວ່າທ່ານກໍາລັງຊອກຫາຂໍ້ມູນເພີ່ມເຕີມ topP 0.4 Simons Says clap 5 times! = 0.7 // This response has a probablility of 0.7 of being correct Simons Says jump up and down! = 0.5 Find a car and drive it. = 0.3 ຄໍາຖາມທີ່ຜ່ານມາຈະຖືກກວດສອບໂດຍສະເພາະວ່າ probabilities ແມ່ນສູງກວ່າ ຄໍາຖາມກ່ຽວກັບລົດຈະຖືກກວດສອບ, ໃນຂະນະທີ່ມັນມີພຽງແຕ່ probabilities ຂອງ . 0.4 0.3 ປະເພດ ແລະ ຂໍຂອບໃຈ ຖ້າຫາກວ່າທ່ານຕ້ອງການກວດສອບຄວາມປອດໄພທີ່ບໍ່ແມ່ນປະສິດທິພາບກັບຄໍາຮ້ອງສະຫມັກ, ການຕັ້ງຄ່າຄຸນນະພາບ P ນ້ໍາຫນັກຈະຊ່ວຍ. temperature topK topP ໃນຕົວຢ່າງຂອງພວກເຮົາ, ມັນຖືກຕັ້ງຂຶ້ນເພື່ອ . ມັນແມ່ນວ່າພວກເຮົາມີຄວາມຕ້ອງການຂອງມາດຕະຖານເພື່ອຮັບປະກັນຢ່າງງ່າຍດາຍກ່ຽວກັບລັກສະນະຂອງຕົນ. ຫຼັງຈາກນັ້ນ, ມັນເປັນເກມຂອງເດັກນ້ອຍ! 1.0 ການທົດສອບມີຄຸນນະພາບເຫຼົ່ານີ້ຈະຜະລິດຜົນປະໂຫຍດທີ່ແຕກຕ່າງກັນຈາກຮູບແບບດິຈິຕອນຂອງທ່ານ. ກະລຸນາທົດສອບພວກເຂົາແລະເບິ່ງສິ່ງທີ່ເກີດຂຶ້ນ! ຂໍຂອບໃຈວ່າທ່ານຈະໄປຢ້ຽມຢາມ ຂໍຂອບໃຈວ່າທ່ານໄດ້ຊອກຫາຂໍ້ມູນເພີ່ມເຕີມກ່ຽວກັບວິທີການເພີ່ມຮູບແບບພາສາ RAG ກັບ App Android ຂອງທ່ານ! ຖ້າຫາກວ່າທ່ານກໍາລັງຊອກຫາຂໍ້ມູນເພີ່ມເຕີມກ່ຽວກັບ RAG ແລະ Android, here are a few links I recommend: Clone and run the for this blog post to see it in action. It shows how to setup the RAG pipeline with Gemma using Android architecture best practices. Simons Says App: sample code : Check out the RAG section on the MediaPipe - Highly recommended reading. MediaPipe RAG Google Developer docs : Learn more about how setting the Temperature, TopK, and TopP values can the results from language models. Another highly recommended article. Setting Temperature, TopK, and TopP in LLMs help control