
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Els "experts" en IA podrien pensar que la recuperació de dades per a RAG està resolta en el moment en què el sistema de API de cerca d'agents activa una consulta emmagatzemada en memòria cau. Sembla interessant, però la realitat és que aquest enfocament és dolorosament limitat... El mercat es mou ràpidament, ja que bilions de noves informacions apareixen cada segon a tot el món. Confiar en dades obsoletes per a obtenir informació instantània simplement no funciona. La solució? Equipar els agents d'IA amb eines per a descobrir fonts noves i contextuals a la web (🤫  : aquí és on entra en joc una API de descobriment!) Spoiler En aquest article, veureu per què el descobriment web en viu és fonamental per als agents d'IA i com aconseguir-ho amb informació pràctica. Comencem! Per què la cerca en memòria cau no és suficient La majoria dels equips d'IA assumeixen que han resolt la recuperació tan bon punt tenen un índex o una cerca en memòria cau. Tenen els seus documents, les seves pàgines rastrejades, la seva base de dades brillant. Tot ben organitzat, llest per ser servit als seus agents d'IA, fluxos de treball o pipelines! Sembla perfecte, oi? Bé, no del tot... Aquí teniu el problema:   especialment en el panorama hiperconnectat i digital d'avui. 🌐 el món no s'atura... Apareixen noves pàgines, les tendències s'encenen i s'esvaeixen, les fonts de nínxol apareixen i el contingut existent s'actualitza, de vegades diverses vegades al dia (o fins i tot cada pocs segons! ⏱️). En un entorn tan àvid d'informació, si el vostre agent d'IA encara extreu dades de la rastreig d'ahir o de l'índex de la setmana passada (fins i tot de motors de cerca fiables com Google),  està completament cec a tota aquesta informació fresca i rellevant! Confiar exclusivament en la cerca en memòria cau/indexada és com intentar navegar per una ciutat utilitzant un mapa antic 🗺️. És clar, obtindreu algunes respostes, però us perdreu els carrers, els drecers i els nous punts calents que més importen. El coneixement instantani requereix  ! (que no pot ser gestionat per un sistema genèric d'API de cerca d'agents, sinó que requereix una  , com veureu en breu...) descobriment web API de descobriment dedicada El descobriment de fonts és un requisit de primera classe per a la precisió instantània de la IA Penseu-ho així: si el vostre agent d'IA no descobreix noves fonts, està endevinant (encara que soni confiat!) Després de tot, la majoria de les pipelines de recuperació s'optimitzen per al que ja es coneix: pàgines indexades dels motors de cerca, resultats de cerca en memòria cau i dominis pre-aprovats o coneguts. Això és eficient, però no és precís... 😬 El descobriment autònom de fonts millora directament la precisió de tres maneres clau: 
 
 
 
 🌍  : L'evidència més rellevant sol viure   o dels primers resultats de cerca indexats. Això inclou blogs de nínxol, fòrums comunitaris, llocs de notícies regionals, documentació fresca o pàgines de destinació noves que no existien ahir, que encara no apareixen als primers resultats de Google, o que han estat enterrades intencionadament per les empreses. Quan confieu només en la cerca en memòria cau, aquests senyals romanen completament invisibles. Cobertura augmentada fora dels vostres conjunts de dades existents 👀  : Els sistemes en memòria cau es trenquen silenciosament quan el món canvia. Les noves pàgines de preus, les polítiques actualitzades i els esdeveniments de darrera hora són punts de fallada comuns. Els agents d'IA que descobreixen activament enllaços rellevants de noves fonts poden adaptar-se a la informació nova a mesura que apareix, en lloc de quedar-se encallats en coneixements obsolets. Punts cecs reduïts ✅  : No totes les pipelines d'IA només busquen una resposta. En alguns casos, es tracta més de validar aquesta resposta contra les fonts més recents disponibles. El descobriment web en viu combinat amb la recuperació en temps real permet als agents d'IA creuar afirmacions utilitzant dades actuals i fiables i mantenir-se fonamentats en la realitat. Verificació addicional En resum, proporcionar als agents d'IA descobriment web (no només una API de cerca d'agents genèrica connectada a la vostra base de dades o dirigida al primer resultat d'un motor de cerca) no és una característica addicional. És la base de l'adquisició de coneixement instantània ! Per entendre millor la qüestió i els reptes en joc, doneu un cop d'ull a les taules comparatives resumides a continuació... 💭 Dades estàtiques en memòria cau vs dades en viu descobertes 
 
 
 
 
 
 
 
 
 
 
 
 
 Dades estàtiques en memòria cau 
 Dades en viu descobertes 
 
 
 
 
 Naturalesa 
 Estàtica. Recuperada una vegada o actualitzada ocasionalment segons un horari recurrent. 
 Dinàmica. Extreta en temps real de la web a mesura que sorgeixen les necessitats de dades. 
 
 
 
 
 Cobertura 
 Limitada a fonts conegudes i pre-indexades. Omet contingut nou i de nínxol. 
 S'expandeix dinàmicament a pàgines noves, fonts emergents i contingut actualitzat. 
 
 
 
 
 Adaptabilitat 
 Lluita quan el món canvia. Requereix re-rastreig o re-indexació manual. 
 S'adapta instantàniament a actualitzacions, nous esdeveniments i condicions canviants. 
 
 
 
 
 Punts cecs 
 Alt risc de fallades silencioses quan les dades rellevants es troben fora de la memòria cau. 
 Bucs ocults gràcies a la capacitat de descobrir enllaços rellevants. 
 
 
 
 
 Millor per a 
 Bases de coneixement estàtiques i documentació interna. 
 Agents d'IA en temps real conscients del mercat que requereixen precisió instantània. Fonts conegudes vs dades de descobriment 
 
 
 
 
 
 
 
 
 
 
 
 
 Fonts conegudes (sistemes en memòria cau) 
 Dades descobertes (al vol) 
 
 
 
 
 Selecció de fonts 
 En la majoria dels casos, fixa i predefinida. Les fonts es trien amb antelació (o es limiten a les primeres posicions als motors de cerca com Google). 
 Dinàmica i adaptativa. Les fonts són descobertes autònomament per l'agent d'IA en el moment de la consulta. 
 
 
 
 
 Emmagatzematge 
 Emmagatzemat en bases de dades, memòries cau, discos, etc. 
 Afegit directament a la memòria cau de l'agent d'IA a mesura que les descobreix. 
 
 
 
 
 Format de dades 
 Taules relacionals, fitxers, text i formats similars. 
 Normalment formats optimitzats per a LLM  . com JSON i Markdown 
 
 
 
 
 Model de descobriment 
 Cap descobriment real. La recuperació depèn de la cerca de fonts de dades indexades o emmagatzemades en memòria cau. 
 Descobriment actiu d'enllaços, pàgines i recursos rellevants a la web en viu. 
 
 
 
 
 Frescor 
 Depèn dels horaris de rastreig o indexació. Sovint obsolet. 
 En temps real. Les dades reflecteixen l'estat actual de la web. Com funciona el descobriment web en la pràctica en un sistema d'IA agent La recuperació de dades en els agents d'IA sol produir-se a través de RAG ( ). RAG millora les respostes proporcionant als LLM la informació correcta, millorant la precisió de les respostes mitjançant l'ancoratge contextual. Generació Augmentada per Recuperació En una configuració tradicional de cerca en memòria cau/indexada, el vostre sistema es basa en una API de cerca d'agents dedicada. El sistema recupera resultats que semblen rellevants basant-se en la consulta de l'usuari. Les dades s'extreuen a una base de dades local o es recuperen de motors de cerca com Google, normalment dirigint-se als primers resultats... Té sentit, oi? La sortida es limita al que el motor de cerca ja ha rastrejat i classificat a la part superior, o al que el vostre sistema de coneixement ja coneix i ha emmagatzemat. Això significa que els  . coneixements que podeu extreure de fonts en memòria cau o indexades estan limitats per disseny Les bases de dades vectorials i els algorismes de similitud estan implicats entre bastidors, però aquest no és el punt aquí. El problema principal és obvi: aquest tipus de sistema de descobriment de coneixement està restringit. No  . Necessitem un millor enfocament! pot descobrir activament noves pàgines o recursos emergents Per què un sistema agent de descobriment de fonts és la solució Aquí entra el  . Aquí, un o més agents d'IA tenen la tasca de  . Així és com funciona en la pràctica: sistema d'agents de descobriment caçar activament noves fonts rellevants a la web en viu 
 
 
 
  i executar-les en un sistema dedicat de descobriment d'enllaços, que retorna centenars d'enllaços (incloent moltes fonts que mai no heu considerat) 🔍. Traduir la sol·licitud de l'usuari en consultes de cerca Seleccionar els enllaços que és més probable que continguin informació de valor 🎯. Accedir-hi i recuperar el contingut en un format que els LLM puguin processar 📝. En resum, el sistema recorre   (un procés que no està tan lluny del popular patró d'IA de cerca i extracció  ). Això va més enllà de la cerca estàtica en memòria cau/índex: l'agent troba dinàmicament noves fonts que potser mai no heu pensat indexar (el que sovint captura els coneixements més rellevants! 😜) descobrir, avaluar i adquirir search-and-extract Encara no esteu convençuts? Escolteu els experts... https://www.youtube.com/watch?v=UYXQsd6tQ0M&embedable=true Per descomptat, cap agent d'IA (independentment dels LLM amb què estigui impulsat) pot fer això sol. Necessita una eina per cercar a la web i extreure dades estructurades. Aquí és on entra en joc una  ! API de descobriment L'API de cerca d'agents d'IA no és suficient... La solució és una API de descobriment Ara que sabeu que una API de cerca d'agents normal no és suficient, quina és la peça que falta? 🤔 La peça que falta en el trencaclosques de l'agent d'IA és l'eina que permet als agents descobrir autònomament noves fonts i extreure informació rellevant d'elles. Això és exactament el que fa una API de descobriment! Així doncs, què us ofereix realment aquesta eina al vostre agent d'IA? Li permet: 
 
 
 Cercar a la web enllaços precisos, actualitzats i contextuals basats en una consulta de cerca. Retornar una llarga llista d'enllaços (més de 100), classificats segons la vostra intenció utilitzant un dels algorismes de classificació disponibles. Amb aquests enllaços, podeu confiar en els primers resultats o reclassificar-los segons els vostres objectius. Després, extraieu informació dels enllaços seleccionats i alimenteu-la al vostre agent d'IA en un  . format preparat per a LLM Busqueu un proveïdor fiable d'API de descobriment? No busqueu més que  ! Bright Data Bright Data ve carregada amb una llarga llista de  ! solucions de dades web per a IA Aquestes solucions estan construïdes sobre una infraestructura totalment escalable amb  . Afegiu  , formats de dades optimitzats per a LLM i  més de 150 milions de proxies a 95 països, un temps d'activitat del 99,99% i una taxa d'èxit del 99,99% suport 24/7 integració nativa amb més de 70 frameworks d'IA. Voleu saber-ne més? Consulteu la  ! 🎓 Web Discovery Summit Conclusió En aquesta publicació, heu explorat per què la cerca en memòria cau no és suficient i per què donar als agents d'IA la capacitat de descobrir noves dades i fonts de la web és la veritable solució. Per obtenir coneixements veritablement únics i perspicaces, no podeu confiar en dades antigues i estàtiques! La millor manera d'implementar el descobriment web en temps real és a través d'una API de descobriment. Després de tot, una API de cerca d'agents d'IA "tradicional" només pot consultar dades emmagatzemades en memòria cau o indexades, mentre que els vostres agents d'IA han de descobrir noves fonts per ser realment efectius. Com heu vist, Bright Data dóna suport a escenaris de descobriment web, així com a una àmplia gamma de pipelines de dades web per a sistemes d'IA agent. Gràcies a les nostres solucions, el descobriment web en temps real mai no ha estat tan fàcil! . Fem que les dades web siguin accessibles per a tothom, inclosos els agents d'IA, per a sistemes més intel·ligents. Fins a la propera! Uneix-te a la nostra missió començant amb una prova gratuïta

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

Aquest àudio és produït a l'idioma original de la història!

Per què els agents d'IA han de descobrir noves fonts, no només basar-se en la cerca emmagatzemada al memòria cau

About Author

COMENTARIS

Etiquetes penjant

AQUEST ARTICLE VA SER PRESENTAT A

Related Stories

How AWS, Bosch & Brave Reach 4M+ Tech Pros on HackerNoon

Startups of The Year: Meet the Commerce Industry

Startups of The Year: Meet the Education Industry

The Jewel Robbery at the Grand Metropolitan

How AWS, Bosch & Brave Reach 4M+ Tech Pros on HackerNoon

Startups of The Year: Meet the Commerce Industry

Startups of The Year: Meet the Education Industry

The Jewel Robbery at the Grand Metropolitan

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps