Воведување Google најави Gemini File Search, а експертите тврдат дека тоа е смртната цифра за homebrew RAG (Retrieval Augmented Generation). Причината е дека сега програмерот на апликации повеќе не треба да се грижи за цонкирање, вградување, складирање на датотеки, векторска база на податоци, метаподатоци, оптимизација за пребарување, управување со контекст и повеќе. Во оваа статија, ние ќе се обиде да се обиде на Gemini Пребарување на датотеки и да го споредат со homebrew RAG систем во однос на способности, перформанси, трошоци, флексибилност и транспарентност. . my example app on GitHub Пример за апликација на GitHub Еве го оригиналот : Google announcement Објавување на Google Креирајте свој агентски RAG Традиционален RAG - освежувач Архитектурата на традиционалната RAG изгледа вака, која се состои од неколку последователни чекори. Документите прво се исечени, вградени и вметнати во векторска база на податоци.Често, сродните метаподатоци се вклучени во податоците во базата на податоци. Корисничкото прашање беше вградено и конвертирано во пребарување на вектор DB за да се преземат релевантните парчиња. И конечно, оригиналната корисничка прашање и добиените парчиња (како контекст) се внесуваат во моделите на АИ за да се генерира одговорот за корисникот. Агенција Раг Архитектурата на системот Agentic RAG додаде рефлексија и реакција, каде што агентот ќе провери дали резултатите се релевантни и комплетни, а потоа ќе го препише прашањето за да го задоволи квалитетот на пребарувањето. Пример за употреба на камерата - Водич Q&A Постојат многу нови фотографи кои се заинтересирани за користење на старите филмски камери. Еден од главните предизвици за нив е тоа што многу стари камери имаат уникатни и понекогаш чудни начини на работа, дури и основните работи, како што се полнење на филмот и ресетирање на камерата на филмот. Во рачниот архив на камерата се сместени 9000 стари прирачници за камерата, главно скенирани PDF-ови. Во идеален свет, би можеле само да преземете неколку за вашата камера, да ги проучите, да се запознаете и да се справите со тоа. Но, сите ние сме современи луѓе кои не се ни трпеливи, ни претпланирани. И претпоставувам дека тоа ќе биде универзално применливо за многу хоби (музички инструменти, хи-фи опрема, винтаге автомобили) кои бараат да се најдат информации од старите кориснички упатства. Homebrew RAG за PDF Q&A Нашиот RAG систем беше имплементиран на почетокот на оваа година врз основа на Со значителна персонализација: LLaMAIndex RAG работен тек LLaMAIndex RAG работен тек Користете Qrrant векторска база на податоци: добар однос цена-производство, поддршка метаподатоци. Користете Mistral OCR API за да го внесувате PDF: добри перформанси во разбирањето на комплексни PDF датотеки со илустрации и табели. Чувајте слики од секоја PDF страница, така што корисниците можат директно да пристапат до графичка илустрација на комплексни операции на камерата, покрај текстуалните инструкции. Додадете агентски круг на рефлексија и реакција врз основа на примерот на Google/Langchain за агентско пребарување. Google/Langchain пример за агентско пребарување Што е со мулти-модал LLMs? Од 2024 година, мулти-модалните LLMs веќе стануваат навистина добри. Очигледен алтернативен пристап беше да се испрати корисничкото прашање и целиот PDF на LLM и да се добие одговор. Нашата главна загриженост беше трошоците, па направивме пресметка и споредба на трошоците.И краткиот одговор е дека RAG е побрз, поефикасен и многу помалку скап кога бројот на кориснички барања на ден е поголем од 10. Во тоа време, тоа го потврди нашето верување дека homebrew RAG е сè уште критично важно додека Google не го напушти пребарувањето на Gemini File. The Gemini File Search - Пример Ја изградив примерочната апликација за прирачник за употреба на камерата Q&A, врз основа на примерот на Google AI Studio. па можете да го пробате многу брзо.Еве screenshot на корисничкиот интерфејс и жицата за разговор. , Open Source на GitHub Open Source на GitHub Пример на Q&A со PDFs со користење на Gemini File Search: https://github.com/zbruceli/pdf_qa https://github.com/zbruceli/pdf_qa Главните чекори вклучени во изворниот код: Креирајте продавница за пребарување на датотеки и инсистирајте на тоа во текот на различни сесии. Подигнете повеќе датотеки истовремено, а Google backend ќе се справи со сите chunking и вградување. Тоа дури и создава примероци прашања за корисниците. Покрај тоа, можете да ја модифицирате стратегијата за chunking и да ја испратите сопствени метаподатоци. Извршете Standard Generation Query (RAG): зад сцената, тој е агентички и всушност може да го процени квалитетот на резултатите пред да го генерира конечниот одговор. Повеќе информации за програмерите API за пребарување на датотеки doc https://ai.google.dev/gemini-api/docs/file-search https://ai.google.dev/gemini-api/docs/file-search Туторијал од Фил Шмит https://www.philschmid.de/gemini-file-search-javascript https://www.philschmid.de/gemini-file-search-javascript Цената на Gemini File Search Програмерите се наплаќаат за вградувања во време на индексирање врз основа на постоечките цени на вградувањата ($ 0,15 за 1M токени). Складирањето е бесплатно. Вградувањето на Query Time е бесплатно. Преземените документарни токени се наплаќаат како редовни контекстни токени. Цени за вградување Контекстни токени Значи, што е подобро? Бидејќи пребарувањето на Gemini File е сè уште прилично ново, мојата проценка е чисто врз основа на првичните тестови за околу една недела. Способност за споредба Gemini File Search ги има сите основни карактеристики на homebrew RAG систем Chunking (може да се конфигурира големина и преклопување) Вградување Vector DB со поддршка за сопствени метаподатоци Повторно Генеративна продукција И повеќе напредни карактеристики под хаубата: Агентска способност за проценка на квалитетот на враќање Досега, излезот на Google Search за датотеки е ограничен само на текст, додека прилагодениот RAG може да врати слики од скенираниот PDF. Мислам дека нема да биде премногу тешко за Gemini File Search да понуди мултимодален излез во иднина. споредба на перформансите Прецизност: Нема опипливо подобрување во квалитетот на ресетирање или генерација. Пребарувањето за датотеки на Gemini може да биде малку побрзо, бидејќи векторот DB и LLM се „седат“ во рамките на инфраструктурата на Google Cloud. Трошоци за споредба Конечно, Gemini File Search е целосно хостиран систем кој може да чини Тоа е повеќе од homebrew систем. less Вградувањето на документите беше извршено само еднаш, и тоа чини 0,15 $ по милион токени. Ова е фиксна цена која е заедничка за сите RAG системи, и може да се амортизира за време на животниот век на документот Q&A апликација. во мојот случај на употреба на прирачници за камери, оваа фиксна цена е многу мал дел од вкупните трошоци. Бидејќи Gemini File Search нуди "бесплатно" складирање на датотеки и база на податоци, ова е заштеда за системот RAG. Трошоците за инференција се приближно исти, бидејќи износот на влезните токени (во прашање плус резултатите од пребарувањето на векторите како контекст) и излезните токени се споредливи помеѓу Gemini File Search и системот homebrew. Флексибилност и транспарентност за прилагодување и дебугирање Природно, Gemini File Search ве мажи со Gemini AI модели за вградување и заклучување. Во однос на фино прилагодување на вашиот RAG систем, Gemini File Search обезбедува одредено ниво на прилагодување. На пример, можете да дефинирате chunkingConfig за време на поставувањето за да наведете параметри како maxTokensPerChunk и maxOverlapTokens, и customMetadata за да прикачите парови со клучни вредности на документот. Сепак, се чини дека е невозможно да се има внатрешен траг на системот за пребарување на датотеки на Gemini за дебугирање и прилагодување на перформансите. Заклучоци Google's Gemini File Search е доволно добар за повеќето апликации и повеќето луѓе по многу атрактивна цена. Тоа е супер лесен за користење и има минимална оперативна поврзаност. Тоа не е само добро за брзо прототипирање и макаупи, но исто така доволно добро за производствен систем со илјадници корисници. Сепак, постојат неколку сценарија за кои сè уште може да размислите за системот RAG: Вие не му верувате на Google да ги хостира вашите сопствени документи. Треба да ги вратите сликите на корисникот од оригиналните документи. Сакате целосна флексибилност и транспарентност во однос на тоа кој LLM да се користи за вградување и заклучување, како да се направи chunking, како да се контролира агентичкиот проток на RAG и како да се дебитираат потенцијалните проблеми со квалитетот на пребарувањето. Значи, дајте му на пребарувањето за датотеки на Gemini да се обиде и да одлучи за себе. како игралиште, или можете да го користите Ве молиме коментирајте подолу за вашите наоди за вашите случаи на употреба. Google AI студио Мојот пример на код на GitHub Google AI студио Мојот пример на код на GitHub
