Հիմնական Google-ը հայտարարել է Gemini File Search- ը, եւ փորձագետները ասում են, որ դա է homebrew RAG- ի (Retrieval Augmented Generation- ի) մահացույցը: Հիմնական պատճառը այն է, որ այժմ app- ի արտադրողը չի պետք է վախենում chunking- ում, embedding- ում, ֆայլերի պահեստում, vektor databases- ում, metadata- ում, վերահսկողության optimization- ում, contextual management- ում եւ այլն: Եվ ամբողջ ֆայլը Q&A stack- ում (հարկվում է Middleware- ում եւ app layer logic- ում) այժմ ներառվում է Gemini- ի մոդելը եւ իր վերահսկողային կլանի առաջարկները: Այս հոդվածում, մենք կարող ենք փորձել Gemini File Search- ը եւ համեմատել այն Homebrew RAG համակարգի հետ հզորության, կատարման, ծախսերի, հարմարավետության եւ հսկողության մասին: Դուք կարող եք ստանալ գիտական ընտրություն ձեր օգտագործման գործի համար: եւ արագացնել ձեր զարգացման, ես ներառում եմ . My Example App- ը GitHub- ում My Example App- ը GitHub- ում Ահա առաջինը : Google Վիքիպահեստում Google Վիքիպահեստում Տեղադրեք ձեր սեփական Agentic RAG Հիմնական RAG - A Refresher Հիմնական RAG- ի դիզայնը տեսնում է այսպես, որը ներառում է մի քանի միավոր քայլեր: Տեսանյութերը առաջին անգամ կտրված են, ներառված են եւ տեղադրվում են vektor databases- ում: Բացի այդ, հետազոտական metadata- ը ներառում է databases- ում: User Query- ը տեղադրվել է եւ փոխարինվել է vector DB- ի որոնման համար, որպեսզի վերցնել relevant բաղադրիչները: Իհարկե, առաջին օգտվողի հարցը եւ վերցված բաղադրիչները (հարկե kontekst) մատակարարվում են AI մոդելների համար, որպեսզի օգտագործողը ստեղծել է պատասխանը: Գործարան RAG Agentic- ի RAG համակարգի դիզայնը ավելացել է թարգմանություն եւ պատասխանատվություն սխալը, որտեղ գործիչը ստուգում է, որ արդյունքները կարեւոր են եւ ամբողջական են, եւ ապա վերլուծում է փոստը, որպեսզի հասկանում է փոստի որակի: Այսպիսով, AI մոդելը օգտագործվում է մի քանի վայրերում: օգտագործողի փոստի վերլուծման համար vektor DB փոստի համար, վերլուծման համար, թե ինչպես է վերլուծումը բավարար, եւ վերջապես, օգտագործողների համար պատասխանը: Օգտագործման մանրամասներ - Camera Manual Q&A Շատ նոր Ֆիլմատեր են, ովքեր հետաքրքրված են օգտագործել նոր ֆիլմային կատեգորիաների համար: Նրանք համար ամենամեծ խնդիրը այն է, որ շատ տաք կատեգորիաներ ունեն միավոր եւ երբեմն կատեգորիաների մեթոդներ աշխատելու համար, նույնիսկ հիմնական բաները, ինչպիսիք են ֆիլմը բեռնել եւ ֆիլմային կատեգորիանը վերադառնալով: Լավագույնը, դուք կարող եք նույնիսկ կատեգորիաներ լինել, եթե դուք որոշ բաները անում եք «պատեգորիաների ճշգրտության» վրա: Հետեւաբար, ճշգրտ եւ ճշգրտական մոդելներ կատեգորիաների մոդելից անհրաժեշտ են: Հիմնական գրասենյակը տեղադրում է 9,000 տունային կատեգորիաներ, հիմնականում scanned PDFs: Հիմնական աշխարհում, դուք պետք է պարզապես բեռնել մի քանի ձեր կատեգորիաների համար, ուսումնասիրել նրանց, սովորել, եւ կատարվել, որ. Բայց մենք բոլորը նորմալ մարդներ, ովքեր ոչ միայն վտանգավոր, ոչ pre-planned. Այնպես որ, մենք պետք է Q&A- ի հետ կատեգորիաների PDF- ի հետ ճանապարհորդում, ինչպիսիք են, հեռախոս app. Այսպես որ, ես հավատում եմ, որ դա ամբողջականորեն կիրառելի է բազմաթիվ բաղադրիչների համար (լուսանկարներ, Hi-Fi սարքավորումներ, վիդեո մեքենաներ), որոնք պահանջում են գտնել տեղեկատվություն առաջադեմ օգտագործող մոդելների կողմից: Հիմնական հոդված՝ Homebrew RAG for PDF Q&A Մեր RAG համակարգը ստեղծվել է այս տարի առաջ, որը հիմնված է Բարձր customization համար: LLaMAIndex RAG աշխատանքային արագությունը LLaMAIndex RAG աշխատանքային արագությունը Օգտագործեք Qrrant vektor database- ը: լավ գինը եւ կատարումը, աջակցություն metadata. Օգտագործեք Mistral OCR API-ը PDF- ի ներբեռնման համար: լավ կատարումը հասկանում է պլաստիկ PDF ֆայլերը, ներբեռնման եւ թերթիկների հետ: Տեղադրեք յուրաքանչյուր PDF էջի նկարները, որպեսզի օգտագործողները կարող են ուղղակիորեն հասնել սեղմել սեղմված սեղմված սեղմված սեղմված սեղմված սեղմված սեղմված սեղմված սեղմված սեղմված սեղմված սեղմված սեղմված սեղմված սեղմված սեղմված սեղմված սեղմված սեղմված սեղմված սեղմված սեղմված սեղմված սեղմված սեղմված սեղմված սեղմված սեղմված սեղմված սեղմված սեղմված Ավելացնել agentic փաթեթը պտուտակ եւ պատասխանել, որը հիմնված է Google / Langchain- ի օրինակը agentic search- ի համար: Google- ի / Langchain- ի օրինակը Agentic Search- ի համար Ինչպե՞ս են Multi-Modal LLMs 2024- ից, multimodal LLM- ները շատ լավ են ստանում: Հիմնական տարբերակն է, որ օգտագործողի հարցը եւ ամբողջ PDF-ը մատակարարվում են LLM- ում եւ ստանում են պատասխանը: Սա շատ պարզ լուծում է, որը չի պահանջում որեւէ vector DB- ի կամ middleware- ի պահպանման համար: Մեր հիմնական խնդիրը ծախսերը էր, այնպես որ մենք կատարում ենք ծախսերի հաշվարկը եւ համեմատություն: Ե՞րբ RAG- ը արագ է, ավելի արդյունավետ է, եւ շատ ավելի հեշտ է ծախսել, երբ հաճախորդների հարցերի քանակը ամեն օր ավելի մեծ է, քան 10- ը: Այսպիսով, «լայնորեն մատակարարելով հաճախորդների հարցը եւ ամբողջ սեղմելով PDF- ը Multi-modal LLM- ի համար» միայն իրականում աշխատում է պտտոֆիլմում կամ շատ ցածր քանակի օգտագործման համար (մատ հարցեր ամեն օր). Այդ ժամանակ, դա հաստատել է մեր հավատը, որ homebrew RAG- ը դեռ կարեւոր է, մինչեւ Google- ը կտրում է Gemini File Search- ը. The Gemini File Search - մի օրինակ Ես կառուցել եմ սմարթ app- ից սմարթային սմարթային մոդելի Q&A- ի օգտագործման սմարթը, որը հիմնված է Google AI Studio- ի սմարթում: Այսպիսով, դուք կարող եք փորձել այն շատ արագ: Այսպիսով, մի screenshot է օգտագործող ինտերֆեյսը եւ chat thread. , Open Source- ը GitHub-ում Open Source- ը GitHub-ում Տեղադրել Q&A- ը PDF-ների հետ, օգտագործելով Gemini File Search- ը: https://github.com/zbruceli/pdf_qa https://github.com/zbruceli/pdf_qa Հիմնական քայլերը, որոնք ներառում են Source Code- ում: Կրացեք File Search Store- ը եւ վերցրեք այն տարբեր sesions- ում: Բեռնել բազմաթիվ ֆայլեր միասին, եւ Google backend- ը աշխատում է բոլոր chunking- ի եւ embedding- ի համար: Այն նույնիսկ ստեղծում է մոդել հարցեր օգտագործողների համար: Բացի այդ, դուք կարող եք փոխել chunking- ի ռազմավարությունը եւ բեռնել custom metadata: Standard Generation Query- ը (RAG): Դա պլանավոր է եւ կարող է ճշմարտել արդյունքների որակությունը, նախքան արտադրել վերջնական պատասխանը: Ավելի շատ Developer տեղեկություններ Հիմնական հոդված՝ GEMINI File Search https://ai.google.dev/gemini-api/docs/file-search https://ai.google.dev/gemini-api/docs/file-search Ֆիլ Schmidt Վիքիպահեստում https://www.philschmid.de/gemini-file-search-javascript https://www.philschmid.de/gemini-file-search-javascript Gemini File Search Վիքիպահեստում Developer- ը բաղադրիչների համար բաղադրիչների համար բաղադրիչների գինը ($0.15 per 1M tokens) տեղադրման ժամանակը: Սարքավորումը անվճար է. Արդյոք, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն, թե ինչ է այն: Տեղադրված թվային տոմսերը բեռնում են որպես ստանդարտ թվային տոմսեր: Բրիտանիայի գինը Հիմնական Tokens Ո՞րն է ավելի լավ Քանի որ Gemini File Search- ը դեռ շատ նոր է, իմ արժեքը պարզապես հիմնված է մի շաբաթվա ընթացքում առաջին փորձարկման վրա: հզորության համեմատություն Gemini File Search- ը ունի Homebrew RAG համակարգի բոլոր հիմնական առանձնահատկությունները Chunking ( կարող է կարգավորել չափը եւ վերլուծություն) Բրիտանիա Vector DB- ը աջակցում է Custom MetaData Input- ը Retrieval-ի մասին Generative արտադրանքը Ավելի առաջադեմ առանձնահատկությունները կոճի տակ: Agentic հզորությունը վերահսկելու որակը Եթե ես պետք է nitpick, տեսանյութը արտադրանքը այժմ չկան: Այժմ, Google File Search- ի արտադրանքը ընդգրկված է միայն տեքստով, իսկ custom-built RAG- ը կարող է վերցնել տեսանյութերը ստուգված PDF- ից: Ես կարծում եմ, որ Gemini File Search- ի համար շատ դժվար չէ առաջարկել multimodal արտադրանքը ապագայում: Performance- ի համեմատություն Բարձր ճշգրիտությունը: Նրանք չեն հասկանում, որ վերցնել կամ արտադրել որակի բնական բարելավում են: Gemini File Search- ը կարող է մի փոքր ավելի արագ լինել, քանի որ vektor DB- ը եւ LLM- ը բոլորը «բենում են» Google Cloud- ի ինտրաթելացիայում: Վճարման համեմատություն Հաջորդը, Gemini File Search- ը ամբողջությամբ տպագրված համակարգ է, որը կարող է ծախսել Մինչեւ Homebrew համակարգը. less Ապրիշների ներգրավումը կատարվել է միայն մեկ անգամ, եւ այն ծախսում է $0.15 մեկ միլիոն տոմս: Սա պտուտակային ծախսություն է, որը սովորվում է բոլոր RAG համակարգերի համար, եւ կարող է ծախսվել գրասենյակային Q&A ծրագրի կյանքի ընթացքում: Ի իմ օգտագործման գործառույթների համար, այս պտուտակային ծախսությունը մի փոքր մաս է ամբողջական ծախսության: Քանի որ Gemini File Search- ը առաջարկում է «վճար» ֆայլերի սարքավորումներ եւ բազաններ, դա մի պահեստ է Homebrew RAG համակարգի վրա: Inference ծախսերը մոտավորապես նույն են, քանի որ input tokens (կարդը plus vektor search results as context) եւ output tokens համեմատելի են Gemini File Search- ի եւ homebrew համակարգի միջեւ: Պլաստիկություն եւ հզորությունը Tuning եւ Debugging Հիմնականորեն, Gemini File Search- ը ամուսնանում է Ձեզ Gemini AI- ի մոդելների հետ ներկառման եւ ներկառման համար: Այն հիմնականում ստանում է հարմարավետությունը, իսկ խուսափում է լայնությունը եւ ընտրությունը: Տեղադրելու ձեր RAG համակարգի վրա, Gemini File Search- ը ապահովում է մի քանի մակարդակի հարմարեցման: Օրինակ, դուք կարող եք ստեղծել chunkingConfig- ը բեռնելի ժամանակ, որպեսզի նշեք պարամետրերը, ինչպիսիք են maxTokensPerChunk- ը եւ maxOverlapTokens- ը, եւ customMetadata- ը, որպեսզի սեղմեք սեղմելային արժեքների սեղմիչները գրասենյակում: Այսպիսինե, այն կարծում է, որ հեշտ է ստանալ ինտերնետային մանրամասներ Gemini File Search համակարգի համար, որոնք օգտագործվում են debugging եւ performance tuning- ի համար: Այսպիսով, դուք օգտագործում եք այն ավելի քան մի քիչ, որպես գլուխը: Հյուրատետր Google- ի Gemini File Search- ը շատ լավ է, քանի որ շատ ծրագրերի համար եւ շատ մարդկանց համար շատ հարմարավետ գինը: Այն շատ հեշտ է օգտագործել եւ ունի փոքր օպերացիոն վերեւում: Այն ոչ միայն լավ է արագ պտտտոֆի եւ մոմպի համար, այլեւ շատ լավ է արտադրական համակարգի համար, որը օգտագործում է մի քանի հազար օգտվողներ: Այնուամենայնիվ, կա մի քանի սերտիֆիկներ, որ դուք կարող եք դեռ տեսնել Homebrew RAG համակարգը: Դուք չեք հավատում Google- ին, որ ձեր բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային բջջային. Դուք պետք է վերցնել տեսանյութերը օգտագործողին Original Document- ից: Դուք ցանկանում եք ամբողջական հարմարավետություն եւ հսկողությունը, որ LLM- ի համար օգտագործել է ներգրավման եւ ներգրավման համար, թե ինչպես անել chunking- ը, թե ինչպես վերահսկել RAG- ի Agentic Flow- ը, եւ թե ինչպես վերահսկել հնարավոր վերահսկողության որակի խնդիրները: Այսպիսով, խնդրում ենք փորձել Twilight File Search- ը եւ որոշել ձեզ համար: Դուք կարող եք օգտագործել Խաղատուն, կամ դուք կարող եք օգտագործել Խնդրում ենք գրել ներքեւ ձեր արդյունքների մասին ձեր օգտագործման գործիքների համար: Google-ի հետազոտություն Հիմնական կոդը GitHub- ում Google-ի հետազոտություն Հիմնական կոդը GitHub- ում
