Изградба на сопствената збунетост: Архитектурата зад длабоките истражувања на AI ☀️ Пробудување повик за програмери Вашата мисија не е само да научите како да користите ChatGPT или Claude – тоа е да станете креатор на такви системи, да го изградите следниот Perplexity наместо само да го користите. ☀️ Пробудување повик за програмери Вашата мисија не е само да научите како да користите ChatGPT или Claude – тоа е да станете креатор на такви системи, да го изградите следниот Perplexity наместо само да го користите. Отворени извори: https://github.com/aifa-agi/aifa-deep-researcer-starter/ 1. What You'll Master by Reading This Article Што ќе научите со читање на овој напис Оваа статија обезбедува комплетен архитектонски нацрт за изградба на сопствен агент за длабоко истражување на АИ, сличен на функцијата "Длабоки истражувања" на Перплексити. Како да се дизајнира рекурзивен систем за пребарување со користење на Next.js 15, OpenAI и exa.ai кој всушност работи во производството Technical Architecture Зошто длабокото пребарување е структура на дрво, а не линеарен процес – и како ова го менува сè за истражувањето на АИ Mental Models Како да ги интегрирате надворешните веб пребарувања со внатрешните векторски бази на знаење за да креирате навистина уникатна содржина што вашите конкуренти не можат да ја реплицираат Practical Solutions Како да управувате со ресурсите на серверот и корисничкото искуство за време на долготрајните операции на АИ без да го скршите банката Performance Optimization Бетонски имплементации на TypeScript со користење на современи технолошки стекови кои можете да ги распоредите денес Production-Ready Code До крајот на оваа статија, ќе имате јасно разбирање за тоа како да изградите самостоен SaaS за длабоко истражување кое може да се интегрира во кој било производ - што ви дава конкурентна предност која е навистина тешко да се реплицира. 1.1. The Technology Stack That Powers Intelligence За да го имплементираме нашиот агент за длабоко истражување на АИ, користиме модерна технологија оптимизирана за апликации подготвени за производство со интензивна употреба на АИ. Ова не е само технолошка демонстрација – тоа е изградено за реалниот свет скала и сигурност. 1.1.1. Frontend and Framework Најновата верзија со подобрени перформанси и нови можности за истовремено рендерирање кои без проблеми се справуваат со комплексни интеракции со вештачка интелигенција React 19 Полнофункционална React рамка со App Router, вклучувајќи поддршка за паралелни и пресретнувачки рути (совршена за сложени работни процеси на АИ) Next.js 15 Строго пишување за доверба на кодот и извонредно искуство на програмерите при градење на сложени системи за АИ TypeScript 5 1.1.2. AI and Integrations Официјален SDK за интеграција со GPT-4 и други модели на OpenAI, со целосна поддршка за стриминг OpenAI SDK (v4.96.2) - Универзална библиотека за работа со разни ИИ провајдери, давајќи ви флексибилност за менување на моделите AI SDK (v4.1.45) Специјализирана AI-ориентирана пребарувачка машина за семантичко пребарување која всушност го разбира контекстот Exa.js (v1.4.10) 1.1.3. UI and Styling Кориснички-прв CSS рамка за брз развој без жртвување на квалитетот на дизајнот Tailwind CSS 4 Безглави компоненти за создавање на достапни интерфејси кои работат на сите уреди Radix UI Модерна библиотека на икони со конзистентен дизајн јазик Lucide React Компонентен систем изграден на Radix UI и Tailwind CSS за професионални интерфејси shadcn/ui 1.1.4. Forms and Validation Библиотека со високи перформанси за обработка на формулари која не ги забавува интерфејсите на AI React Hook Form TypeScript-first валидациска шема со статичко пишување што ги фаќа грешките пред да стигнат до производството Zod Бесплатна интеграција помеѓу Zod и React Hook Form Hookform Resolvers 1.1.5. Content Processing Маркирање на содржината со поддршка на компоненти за богати извештаи генерирани од АИ React Markdown Модерна библиотека за обработка на датуми во истражувачките временски линии на АИ date-fns Why This Stack Matters Оваа технологија обезбедува , на и Секој избор тука е намерно – од паралелните патеки на Next.js 15 за справување со комплексни работни процеси на АИ, до Exa.js обезбедување на семантички можности за пребарување кои овозможуваат длабоко истражување. high performance type safety scalability Систем кој може да се справи со компјутерската сложеност на рекурзивни ИИ истражувања, додека ги одржува стандардите за корисничко искуство што ги бараат современите апликации. The result? Подготвени да видите како овие парчиња се вклопуваат заедно за да создадат нешто навистина моќно? Револуцијата на вештачката интелигенција не доаѓа – тоа е тука. И тоа создава јака поделба во заедницата на програмери. Од една страна се оние кои ја гледаат вештачката интелигенција како уште една алатка за зголемување на продуктивноста, користејќи ChatGPT за да пишуваат функции и да го дебугираат кодот. . the real opportunity isn't in using AI—it's in building it Додека повеќето програмери учат да го поттикнуваат ChatGPT поефикасно, помала група ја совладува архитектурата зад системи како Perplexity, Claude и персонализирани агенти за АИ. Ова не е само за останување релевантни; тоа е за позиционирање на вистинската страна на најзначајната технолошка промена од интернетот. Компаниите немаат потреба од програмери кои можат да користат алатки за вештачка интелигенција, тие имаат потреба од програмери кои можат да градат системи за вештачка интелигенција.Разликата помеѓу овие две вештини ќе одреди кој просперира и кој станува застарен во следниот економски циклус. The harsh reality Оваа статија обезбедува комплетен архитектонски план за изградба на сопствен агент за длабоки истражувања на AI, сличен на функцијата "Длабоки истражувања" на Perplexity. Ќе научите не само техничката имплементација, туку и менталните модели и принципите на дизајн кои ги раздвојуваат аматерските интегрирања на AI од системите подготвени за производство кои можат да станат конкурентни предности. : What you'll master by the end Рекурзивна архитектура за пребарување: Како да дизајнирате системи кои размислуваат во дрвја, а не линии AI-first data pipelines: Интегрирање на надворешно веб пребарување со внатрешни бази на знаење Агентска оркестрација: Изградба на системи за вештачка интелигенција кои можат да ги проценат, итираат и да ги подобрат сопствените резултати Производствени размислувања: управување со ресурсите на серверот, временските интервали и корисничкото искуство за долгорочни операции со АИ Целта не е да ви се даде код за копирање. Тоа е да го пренесете архитектонското размислување кое ќе ви овозможи да дизајнирате системи за АИ за било кој домен, било каков случај на употреба и било која скала. Подготвени да се пресели од потрошувачот на АИ на архитект на АИ? Ајде да се нурне во зошто традиционалните LLMs треба "водич" да се движат на интернет ефикасно. 2. Introduction: Life After ChatGPT Changed Everything Вовед: Животот по ChatGPT го промени сè Ние живееме низ еден од најтрансформативните периоди во историјата на технологијата. ChatGPT и други големи јазични модели (LLMs) фундаментално го револуционизираат начинот на кој комуницираме со информации. но ако сте граделе сериозни апликации со овие алатки, веројатно сте го погодиле истиот ѕид што го направив: . models only know the world up to their training cutoff date, and they hallucinate with alarming confidence 2.1. The Problem: Band-Aid Web Search in Modern LLMs Тимовите зад ChatGPT, Claude и други модели се обиделе да го решат ова со вградено пребарување на веб. Тоа звучи одлично во теорија, но копаат подлабоко и ќе најдете некои сериозни архитектонски недостатоци кои го прават несоодветен за производствени апликации: Системот прави една или две пребарувања, ги фаќа првите неколку резултати и го нарекува еден ден. Surface-Level Search Ако првото пребарување не дава сеопфатни резултати, системот не поставува следни прашања или не истражува алтернативни агли. Zero Follow-Through Традиционалните пребарувачи враќаат HTML страници збунети со реклами, навигациски елементи и ирелевантни содржини. Garbage Data Quality Системот не може да ги поврзе пронајдените информации со вашите внатрешни податоци, корпоративни документи или бази на знаење специфични за доменот. Context Isolation 2.2. The Gold Standard: Perplexity's Deep Research Revolution Perplexity беше првата компанија која ни покажа како всушност треба да функционира интеграцијата на пребарување-LLM. Нивниот пристап е фундаментално различен од овие решенија за помош на бендот: Наместо генерички Google API повици, тие користат специјализирани системи за пребарување кои враќаат чиста, структурирана содржина дизајнирана за потрошувачка на АИ. AI-Optimized Search Engines Системот ги анализира наодите, формулира нови прашања и продолжува да пребарува додека не изгради сеопфатна слика. Iterative Investigation Process Ова е автономна АИ агент кој може да работи за минути во исто време, рекурзивно дупчење во теми и собирање на информации од десетици извори. Deep Research Mode This is exactly the kind of system we're going to build together. 2.3. Why This Matters for Every Developer Во ерата на AI-first, секој производ се натпреварува за да стане "попаметна."Но едноставно приклучување на ChatGPT API е само маса залози сега. Истражување на актуелните информации од интернет во реално време Комбинирајте јавни податоци со вашите сопствени бази на знаење Се генерираат уникатни увид невозможно да се добие од стандардните LLMs Прилагодете се на вашиот специфичен бизнис домен и индустриски нијанси 2.4. What You'll Walk Away With Мојата цел не е да ви дадам код за копирање (иако ќе добиете многу од тоа). сакам да ги пренесам менталните модели и архитектонските принципи кои ќе ви овозможат: Разбирање на филозофијата зад длабокото истражување на АИ Дизајнирајте ја архитектурата за вашиот специфичен случај на употреба Имплементирајте го системот со користење на модерен стек (Next.js 15, OpenAI, exa.ai) Интегрирање на решението во постоечки производ Скалирање и оптимизирање на системот за вашите потреби До крајот на оваа статија, ќе имате комплетен архитектонски нацрт и примероци на кодови подготвени за производство за изградба на сопствен "Перлексибилност" - агент за вештачка интелигенција кој може да стане тајно оружје на вашиот производ. : Ние ќе ја проучуваме не само техничката имплементација, туку и деловната логика.Зошто рекурзивното пребарување е поефикасно од линеарното?Како правилно ги комбинирате надворешните и внатрешните извори?Какви UX модели работат за долгорочни операции на АИ?Овие прашања се исто толку критични како и кодот. Important 2.5. For the Impatient: Skip to the Code За оние кои веќе ги добиваат концептите и сакаат да се нурнат директно во имплементацијата, тука е решението со отворен код што ќе го градиме: https://github.com/aifa-agi/aifa-deep-researcer-starter https://github.com/aifa-agi/aifa-deep-researcer-starter Лично не можам да издржам статии кои ви даваат многу зборови и малку супстанција.Не заборавајте да го клонирате репото и да го стартувате во развојот сега. : Ќе ги погодите ограничувањата за времетраење (403 грешки) на слободниот хостинг на Vercel во производството, но на localhost можете целосно да експериментирате и да ги проучите дневниците до содржината на вашето срце. Pro tip Подготвени да се изгради иднината на ИИ-помогнати истражувања? Да почнеме со разбирање зошто LLMs треба "водич куче" да се движат на интернет ефикасно. 3. Why LLMs Need a "Guide Dog": The Critical Role of External Search Systems Зошто LLMs треба "водич куче": критичната улога на надворешните системи за пребарување Еве една тешка вистина дека многу програмери учат на скап начин: Ова не е грешка – тоа е фундаментално архитектонско ограничување кое бара софистицирано решение: интеграција со специјализирани пребарувачки системи дизајнирани за потрошувачка на АИ. Large Language Models cannot independently access current information from the internet 3.1. Why Traditional Search Engines Are AI Poison Google, Bing и другите традиционални пребарувачи беа изградени за луѓе кои пребаруваат на интернет, а не за машини кои ги обработуваат податоците. Рекламни блокови и неред во навигацијата кои ја збунуваат екстракцијата на содржини Нерелевантни содржини (коментари, странични ленти, подножја, колачиња банери) Неструктурирани податоци кои бараат комплексно анализирање и често не успеваат javascript// The traditional approach - a nightmare for AI const htmlResponse = await fetch('https://api.bing.com/search?q=query'); const messyHtml = await htmlResponse.text(); // You get HTML soup with ads, scripts, and digital garbage // Good luck extracting meaningful insights from this mess Видов тимови да поминуваат недели во изградба на HTML анализи, само за да ги прекинат секој пат кога голем сајт го ажурира нивниот распоред. It's not scalable, and it's definitely not reliable. 3.2. Keyword Matching vs. Semantic Understanding: A World of Difference Традиционалните пребарувачи бараат точни споредби на зборови, целосно игнорирајќи го контекстот и значењето. Прашање како "Next.js оптимизација за е-трговија" може да пропушти одлична статија за "подобрување на перформансите на апликациите React во онлајн продавници", иако тие се семантички идентични теми. Ова е како да имате истражувачки асистент кој може да најде книги само со усогласување на точните зборови во насловот, додека игнорира сè за вистинската содржина. For AI agents doing deep research, this approach is fundamentally broken. 3.3. AI-Native Search Engines: The Game Changer Специјализирани системи како Exa.ai, Metaphor и Tavily ги решаваат клучните проблеми кои го прават традиционалното пребарување неприфатливо за АИ: Семантичко барање за разбирање Тие користат векторски репрезентации за пребарување по значење, а не само по клучни зборови.Вашата АИ може да најде релевантна содржина дури и кога точните термини не се совпаѓаат. Чисти, структурирани податоци Тие ги враќаат претходно обработените содржини без HTML ѓубре. Нема повеќе анализирање кошмари или скршени екстрактори. Контекстуална свест Тие ги разбираат претходните прашања и целокупниот контекст на истражувањето, овозможувајќи навистина итеративно истражување. javascript// The AI-native approach - clean and powerful const cleanResults = await exa.search({ query: "Detailed analysis of Next.js performance optimization for high-traffic e-commerce platforms", type: "neural", contents: { text: true, summary: true } }); // You get clean, relevant content ready for AI processing // No parsing, no cleanup, no headaches 3.4. Why This Matters for Production Systems Квалитетот на вашите влезни податоци директно го одредува квалитетот на конечниот исход од истражувањето. Структурирана содржина без потреба од кршливо HTML анализирање : Стабилни API-и дизајнирани за автоматска, голема количина на употреба : Намален компјутерски надградба за обработка на податоци : Подобра релевантност на изворот доведува до подобри конечни увид Data Reliability Scalability Cost Efficiency Accuracy javascript// Hybrid search: external + internal sources const [webResults, vectorResults] = await Promise.all([ exa.search(query), vectorStore.similaritySearch(query) ]); const combinedContext = [...webResults, ...vectorResults]; // Now your AI has both current web data AND your proprietary knowledge 3.5. The Bottom Line: Architecture Matters Интелигентните пребарувачи не се само технички детали Без вистинскиот "водич", дури и најсофистицираниот LLM ќе се бори да создаде длабока, точна анализа на тековните информации. they're the architectural foundation Think of it this way: you wouldn't send a brilliant researcher into a library where all the books are written in code and half the pages are advertisements. Yet that's exactly what happens when you connect an LLM to traditional search APIs. Во следниот дел, ќе се нурнеме во специфичните архитектурни модели кои го прават рекурзивното, длабоко истражување можно. The solution? Ready to see how the pieces fit together? Let's explore the system design that powers truly intelligent AI research agents. 4. Think Like a Tree: The Architecture of Recursive Search Размислете како дрво: Архитектурата на рекурзивното пребарување Човечкиот мозок природно структурира сложени информации како хиерархиски мрежи.Кога истражувачот истражува нова тема, тие не се движат во права линија – тие развиваат мрежа на знаење како дрво каде што секое ново откритие генерира дополнителни прашања и истражувачки насоки. 4.1. The Fundamental Difference in Approaches Традиционалните системи за пребарување и вградената веб пребарување во LLMs работат линеарно: добивање на прашање → извршување на пребарување → враќање на резултатите → генерирање на одговори. Problems with the Linear Approach: Резултати на ниво на површина: Системот застанува на првите факти што ги наоѓа Нема континуитет на контекстот: Секој пребарувач е изолиран од претходните Исчезнати врски: Системот не може да ги види односите помеѓу различните аспекти на темата Случаен квалитет: Резултатите целосно зависат од среќата на почетната потрага The tree-based approach solves these problems by modeling the natural process of human investigation. Each discovered source can generate new questions, which become separate research branches. 4.2. Anatomy of a Search Tree Да ја разгледаме структурата на длабокото дрво за пребарување со конкретен пример: textNext.js vs WordPress for AI Projects/ ├── Performance/ │ ├── Source 1 │ ├── Source 2 │ └── Impact of AI Libraries on Next.js Performance/ │ └── Source 7 ├── Development Costs/ │ ├── Source 3 │ └── Source 4 └── SEO and Indexing/ ├── Source 5 └── Source 6 се главните аспекти на темата што LLM генерира врз основа на анализа на оригиналниот прашање. Во нашиот пример, овие се перформанси, трошоци и оптимизација. Овие под-теми не се формирани случајно - LLM го анализира семантичкиот простор на прашањето и ги идентификува клучните насоки за истражување. First-level branches Секој лист содржи фактички информации кои ќе бидат вклучени во конечниот извештај. Tree leaves Кога системот ги анализира пронајдените извори, може да открие нови аспекти на темата кои бараат дополнително истражување. Recursive branches 4.3. Practical Advantages of Tree Architecture Наместо случаен збир на факти, системот гради логички поврзана мапа на знаење каде што секој елемент има своето место во целокупната структура. Research Completeness : Системот автоматски одредува кои насоки бараат подлабоко истражување. Ако една гранка дава многу релевантни извори, системот може да оди подлабоко. Adaptive Depth Секој нов пребарувач е формиран земајќи ги предвид веќе пронајдените информации, што овозможува попрецизни и специфични прашања отколку изолирани пребарувања. Contextual Connectivity На секое ниво на дрво, системот може да ја процени релевантноста и квалитетот на пронајдените извори, филтрирање на бучавата и концентрирање на највредните информации. Quality Assessment 4.4. Managing Tree Parameters одредува колку нивоа на рекурзија системот може да изврши. Длабочината 1 значи само главни под-запрашувања без понатамошно бушење. Длабочината 3-4 овозможува навистина детално истражување. Search Depth контролира бројот на под-запрашувања на секое ниво. Премногу ширина може да доведе до површно истражување на многу насоки. Оптимална ширина е обично 3-5 главни насоки по ниво. Search Width е просечниот број на детски јазли за секое дрво јазол. Во контекст на пребарување на информации, ова одговара на бројот на нови под-пребарувања генерирани врз основа на секој пронајден извор. Branching Factor 4.5. Optimization and Problem Prevention Системот мора да ги следи веќе истражуваните насоки за да се избегнат бесконечни рекурзиски кругови. Cycle Prevention Повеќе ветувачки гранки треба да се истражуваат со поголема длабочина, додека помалку информативни насоки може да се прекинат порано. Dynamic Prioritization Различни гранки на дрво може да се истражуваат паралелно, што значително го забрзува процесот кога се достапни доволни изчислителни ресурси. Parallel Investigation Резултатите од пребарувањето треба да се кешираат за да се избегнат повторени барања за надворешни API-и кога темите се преклопуваат. Memory and Caching : Ова е уште еден проблем кој често се манифестира кога се спроведува длабоко истражување, особено ако длабочината надминува две нивоа. Може да се каже дека зголемувањето на нивото експоненцијално ја зголемува комплексноста на истражувањето. На пример, истражувањето со четири нивоа на длабочина може да потрае до 12 часа. Execution Time and Server Timeouts 4.6. The Bottom Line: From Chaos to System Архитектурата на дрвото го трансформира хаотичниот процес на пребарување на информации во систематско истражување, каде што секој елемент има своето место во целокупната структура на знаењето. Систем за вештачка интелигенција кој размислува како човечки истражувач, но работи на скала и брзина на машината.Во следниот дел, ќе се нурнеме во техничката имплементација што ја прави оваа архитектонска визија реалност. The result? Подготвени да видиме како да ја преведеме оваа концептуална рамка во производствен код? 5. The "Search-Evaluate-Deepen" Cycle: Implementing True Recursion Циклусот „Пребарување-Евалуација-Длабочина“: имплементирање на вистинската рекурзија Рекурзивното интернет анализирање не е само техничка карактеристика – тоа е фундаментална потреба за создавање навистина интелигентни АИ агенти. На првата страница на сите резултати од пребарувањето се прикажува само врвот на информацискиот леден брег. 5.1. Data Architecture for Deep Investigation Во производствените имплементации, системот работи со структурирани типови на податоци кои акумулираат знаење на секое ниво на рекурзија: typescripttype Learning = { learning: string; followUpQuestions: string[]; }; type SearchResult = { title: string; url: string; content: string; publishedDate: string; }; type Research = { query: string | undefined; queries: string[]; searchResults: SearchResult[]; knowledgeBaseResults: string[]; // Vector database responses learnings: Learning[]; completedQueries: string[]; }; Оваа структура на податоци акумулира знаење на секое ниво на рекурзија, создавајќи единствен контекст за целото истражување - токму она што го одделува професионалното истражување од случајно собирање факти. 5.2. Stage 1: "Search" — Intelligent Query Generation The system doesn't rely on a single search query. Instead, it generates multiple targeted queries using LLM intelligence: typescriptconst generateSearchQueries = async (query: string, breadth: number) => { const { object: { queries }, } = await generateObject({ model: mainModel, prompt: `Generate ${breadth} search queries for the following query: ${query}`, schema: z.object({ queries: z.array(z.string()).min(1).max(10), }), }); return queries; }; • на параметар го контролира ширината на истражувањето - бројот на различни аспекти на темата кои ќе се истражуваат паралелно. Key insight breadth 5.3. Stage 2: "Evaluate" — AI-Driven Result Filtering Не сите пронајдени извори се подеднакво вредни. Системот користи АИ агент со алатки за интелигентна евалуација на секој резултат: typescriptconst searchAndProcess = async (/* parameters */) => { const pendingSearchResults: SearchResult[] = []; const finalSearchResults: SearchResult[] = []; await generateText({ model: mainModel, prompt: `Search the web for information about ${query}, For each item, where possible, collect detailed examples of use cases (news stories) with a detailed description.`, system: "You are a researcher. For each query, search the web and then evaluate if the results are relevant", maxSteps: 10, tools: { searchWeb: tool({ description: "Search the web for information about a given query", parameters: z.object({ query: z.string().min(1) }), async execute({ query }) { const results = await searchWeb(query, breadth, /* other params */); pendingSearchResults.push(...results); return results; }, }), evaluate: tool({ description: "Evaluate the search results", parameters: z.object({}), async execute() { const pendingResult = pendingSearchResults.pop(); if (!pendingResult) return "No search results available for evaluation."; const { object: evaluation } = await generateObject({ model: mainModel, prompt: `Evaluate whether the search results are relevant and will help answer the following query: ${query}. If the page already exists in the existing results, mark it as irrelevant.`, output: "enum", enum: ["relevant", "irrelevant"], }); if (evaluation === "relevant") { finalSearchResults.push(pendingResult); } return evaluation === "irrelevant" ? "Search results are irrelevant. Please search again with a more specific query." : "Search results are relevant. End research for this query."; }, }), }, }); return finalSearchResults; }; Системот користи АИ агент со алатки кои можат постојано да пребаруваат и да ги оценуваат резултатите додека не најдат доволно релевантни информации. Revolutionary approach 5.4. Vector Knowledge Base Integration Реалната моќ произлегува од синергијата помеѓу надворешното и внатрешното пребарување.За секое барање, системот истовремено пребарува на интернет и својата векторска база на знаења: typescriptasync function getKnowledgeItem(query: string, vectorStoreId: string) { const client = new OpenAI({ apiKey: process.env.OPENAI_API_KEY }); const response = await client.responses.create({ model: "gpt-4o-mini", tools: [ { type: "file_search", vector_store_ids: [vectorStoreId], max_num_results: 5, }, ], input: [ { role: "developer", content: `Search the vector store for information. Output format language: ${process.env.NEXT_PUBLIC_APP_HTTP_LANG || "en"}`, }, { role: "user", content: query, }, ], }); return response.output_text; } 5.5. Practical Implementation Во главниот истражувачки круг, системот ги праша двата извори паралелно: typescriptfor (const query of queries) { const searchResults = await searchAndProcess(/* web search */); accumulatedResearch.searchResults.push(...searchResults); if (vectorStoreId && vectorStoreId !== "") { const kbResult = await getKnowledgeItem(query, vectorStoreId); accumulatedResearch.knowledgeBaseResults.push(kbResult); } } 5.6. Stage 3: "Deepen" — Generating Follow-Up Questions 5.6. Stage 3: "Deepen" — Generating Follow-Up Questions The most powerful feature: the system's ability to generate new research directions based on already found information: typescriptconst generateLearnings = async (query: string, searchResult: SearchResult) => { const { object } = await generateObject({ model: mainModel, prompt: `The user is researching "${query}". The following search result were deemed relevant. Generate a learning and a follow-up question from the following search result: <search_result> ${JSON.stringify(searchResult)} </search_result>`, schema: z.object({ learning: z.string(), followUpQuestions: z.array(z.string()), }), }); return object; }; 5.7. Recursive Deepening Секој пронајден извор се анализира за да се извлечат нови прашања кои стануваат основа за следното ниво на пребарување: typescriptfor (const searchResult of searchResults) { const learnings = await generateLearnings(query, searchResult); accumulatedResearch.learnings.push(learnings); accumulatedResearch.completedQueries.push(query); const newQuery = `Overall research goal: ${prompt} Previous search queries: ${accumulatedResearch.completedQueries.join(", ")} Follow-up questions: ${learnings.followUpQuestions.join(", ")}`; await deepResearch( /* search parameters */, newQuery, depth - 1, Math.ceil(breadth / 2), // Reduce width at each level vectorOfThought, accumulatedResearch, vectorStoreId ); } 5.8. Managing Depth and Complexity Имплементацијата на производството покажува како да се управува со растот на експоненцијалната комплексност: typescriptconst deepResearch = async ( /* multiple filtering parameters */, prompt: string, depth: number = 2, breadth: number = 5, vectorOfThought: string[] = [], accumulatedResearch: Research = { query: undefined, queries: [], searchResults: [], knowledgeBaseResults: [], learnings: [], completedQueries: [], }, vectorStoreId: string ): Promise<Research> => { if (depth === 0) { return accumulatedResearch; // Base case for recursion } // Adaptive query formation based on "thought vector" let updatedPrompt = ""; if (vectorOfThought.length === 0) { updatedPrompt = prompt; } else { const vectorOfThoughItem = vectorOfThought[vectorOfThought.length - depth]; updatedPrompt = `${prompt}, focus on these important branches of thought: ${vectorOfThoughItem}`; } // ... rest of implementation }; 5.9. Key Optimizations : на на секое ниво спречува експоненцијален раст : на allows directing research into specific areas : All results are preserved in a unified data structure Width Reduction Math.ceil(breadth / 2) Thought Vector vectorOfThought Context Accumulation 5.10. The Hybrid Advantage in Practice Комбинирањето на јавни податоци со внатрешно знаење овозможува да се создадат извештаи кои никој друг не може да ги реплицира. Вашите конкуренти може да пристапат до истите јавни извори, но не и до вашите внатрешни случаи, статистики и експертиза. Creating Unique Content Надворешните податоци обезбедуваат валута и ширина, внатрешните податоци обезбедуваат длабочина и специфичност.Системот може да ги најде општите трендови во индустријата онлајн, а потоа да ги надополни со свои податоци за тоа како овие трендови влијаат на вашиот бизнис. Context Enrichment Дури и ако веб информациите се застарени или неточни, вашата внатрешна база на знаења може да обезбеди свежи и проверени податоци. Maintaining Currency 6. From Chaos to Order: Generating Expert-Level Reports Од хаос до ред: генерирање извештаи на експертно ниво After completing all levels of recursive search, the system accumulates massive amounts of disparate information: web search results, vector database data, generated learnings, and follow-up questions. The final stage is transforming this chaos into a structured, expert-level report that rivals human analysis. 6.1. Context Accumulation: Building the Complete Picture Сите собрани податоци се обединети во еден Структура која служи како комплетен контекст за конечната синтеза: Research typescripttype Research = { query: string | undefined; // Original query queries: string[]; // All generated search queries searchResults: SearchResult[]; // Web search results knowledgeBaseResults: string[]; // Vector database responses learnings: Learning[]; // Extracted insights completedQueries: string[]; // History of completed queries }; Тоа е сеопфатен графикон на знаење кој го фаќа целото истражувачко патување.Секој увид, секој извор, секоја врска се зачувани за конечната синтеза. This isn't just data storage 6.2. The Master Prompt: Where Intelligence Meets Synthesis Квалитетот на конечниот извештај директно зависи од софистицираноста на инстантот за генерирање.Системот го користи најмоќниот модел на OpenAI за синтеза: typescriptconst generateReport = async ( research: Research, vectorOfThought: string[], systemPrompt: string ) => { const { text } = await generateText({ model: openai("o3-mini"), // Most powerful model for synthesis system: systemPrompt, prompt: "Use the following structured research data to generate a detailed expert report:\n\n" + JSON.stringify(research, null, 2), }); return text; }; : Ние не само што го бараме АИ да го сумира - ние му обезбедуваме комплетен сет на податоци за истражување и го бараме да размислува како експерт за домен. Key insight 6.3. Structured Output: Beyond Simple Summaries Системот не само што создава текстуален резиме – генерира структурирани документи со наслови, табели, про/кон списоци и професионално форматирање, како што е прикажано во зачувувањето на резултатите: typescriptconsole.log("Research completed!"); console.log("Generating report..."); const report = await generateReport(research, vectorOfThought, systemPrompt); console.log("Report generated! Saving to report.md"); fs.writeFileSync("report.md", report); // Save as Markdown It's the perfect format for AI-generated content — structured enough for professional presentation, flexible enough for various output formats, and readable in any modern development workflow. Why Markdown? 6.4. Quality Control Through System Prompts на овозможува прилагодување на стилот и структурата на извештајот за специфични потреби: systemPrompt Академски стил за истражувачки трудови и научна анализа Бизнис формат за корпоративни извештаи и извршни резимеа Техничка документација за содржина фокусирана на програмери Инвестициска анализа за финансиски и стратешки извештаи // Example: Business-focused system prompt const businessSystemPrompt = `You are a senior business analyst creating an executive report. Structure your analysis with: Извршен резиме Клучни наоди Импликации на пазарот Препораки Оценка на ризикот Use data-driven insights and provide specific examples from the research.`; 6.5. The Intelligence Multiplier Effect Системот не само што агрегира информации, туку синтетизира увид кој произлегува од врските помеѓу различни извори.Човечкиот истражувач може да помине 8-12 часа спроведувајќи го ова ниво на истражување.Нашиот систем го прави тоа за 10-60 минути, често откривајќи врски кои луѓето ги пропуштаат. Here's what makes this approach revolutionary 6.6. Production Considerations : Со длабоко истражување (длабочина 3-4), акумулираниот контекст може да стане масивен. Memory Management : Конечната инспирација за синтеза лесно може да ги надмине границите на токените.Производствените имплементации имаат потреба од паметни стратегии за трошење кои ги зачувуваат највредните увид. Token Optimization Не сите генерирани извештаи се еднакви.Размислете за спроведување на механизми за оценување за да ја процените целосноста и кохерентноста на извештајот. Quality Assurance 6.7. Real-World Impact : Часови на човечки истражувања → Минути на АИ анализа АИ може да обработува и поврзува повеќе извори отколку што е човечки можно Секој извештај ја следи истата ригорозна методологија Генерација на десетици извештаи истовремено Time Compression Depth Enhancement Consistency Scalability 7. Conclusion: Building the Future of AI Research Заклучок: Градење на иднината на ИИ истражувања Креирањето на агент за длабоко истражување на АИ не е само технички предизвик – тоа е архитектонско решение кое може да стане конкурентна предност за секој производ. Ние го покривме целиот циклус од концептот до имплементацијата, покажувајќи како да го трансформираме хаотичниот процес на пребарување на информации во систематско истражување на експертно ниво. 7.1. Key Architectural Principles Длабокото пребарување е за истражување на дрво-структурирани информациски мрежи, каде што секое откритие генерира нови прашања и истражувачки насоки. Think in Trees, Not Lines Специјализирани пребарувачи како exa.ai не се опционални – тие се од суштинско значење за квалитетно истражување. Тие враќаат чисти податоци наместо HTML ѓубре што ги обезбедуваат традиционалните пребарувачки АПИ. Use AI-Native Tools : Првата страница на резултатите е само врвот на айсбергот.Вистинскиот увид лежи во рекурзивно продлабочување низ циклусот "Пребарување-Оцени-Длабоко". Apply Recursion for Depth Синергијата помеѓу јавните интернет податоци и приватното организациско знаење создава уникатна содржина која не може да се добие на друг начин. Combine External and Internal Sources ИИ агентите со алатки не само што можат да пребаруваат информации, туку и да ја оценуваат нивната релевантност, да генерираат нови прашања и да креираат структурирани извештаи. Use LLMs for Both Analysis and Synthesis 7.2. Production-Ready Results Имплементацијата базирана на Next.js 15, OpenAI и exa.ai покажува дека таков систем може да се изгради и распореди за производство. ги прикажува сите клучни компоненти: https://github.com/aifa-agi/aifa-deep-researcer-starter Рекурзивна архитектура со управување со длабочина и ширина Интеграција на веб пребарување со векторски бази на знаење AI агенти со алатки за проценка на резултатите Генерација на експертски извештаи со можности за зачувување на датотеки 7.3. Challenges and Limitations Истражување со длабочина поголема од 2 нивоа може да потрае часови, барајќи специјални решенија за производствени средини. Server Timeouts Секое ниво на длабочина го зголемува бројот на барања геометриски, што бара внимателно управување со ресурсите. Exponential Complexity Growth Дури и AI пребарувачите можат да враќаат неточни информации, што бара дополнителна валидација и проверка на фактите. Source Quality 7.4. Your Next Steps Now you have a complete architectural blueprint and real code examples. You can: : Користете ја основната верзија од овој напис за прототипирање Клонот Експериментирање на локално ниво Интегрирајте ги овие принципи во постоечките производи и работни процеси Start with Minimal Implementation Explore the Ready Solution https://github.com/aifa-agi/aifa-deep-researcer-starter Adapt to Your Needs 8. Homework Challenge: Solving the Long-Wait UX Problem Домашна задача предизвик: решавање на долгоочекуваниот UX проблем Ние ја покривме техничката архитектура на длабоките истражувања на АИ агентите, но останува критично важен UX проблем: што правите кога системот работи неколку минути додека корисникот гледа на празен екран? 8.1. The Problem: Server Silence Kills Trust За разлика од типичните веб апликации каде операциите траат секунди, агентите за длабоко истражување на АИ можат да молчат неколку минути. Чекање на анксиозност: корисниците не знаат дали системот работи или е замрзнат Губење на контрола: Нема начин да се разбере колку подолго да се чека Намалување на довербата: Се чини дека апликацијата е скршена или "јаде" барањето Висока стапка на отскокнување: корисниците ја затвораат картичката без да чекаат за резултати Загриженоста, Клод и другите современи производи за вештачка интелигенција го решаваат ова со интерактивни анимации, индикатори за напредок и динамички индикатори. 8.2. The Developer Challenge Замислете го ова техничко ограничување: Вашиот пат на Next.js API врши долга операција (длабоко истражување) и не може да испрати интермедиумски податоци додека не биде завршен. Frontend добива одговор само на самиот крај. Класични решенија како Server-Sent Events или WebSockets може да не се достапни поради ограничувања на хостинг или архитектура. How do you create engaging UX under these conditions that will retain users and reduce waiting anxiety? 8.3. Discussion Questions UX Patterns and Visualization: Кои UX модели би ги примениле за да ги визуелизирате процесите на длабоко пребарување кога серверот е "тивок"? Како можете да симулирате "живо" напредок дури и без вистински ажурирања на статусот на серверот? Should you use fake progress bars, or does this violate user trust? Кои анимации и микро-интеракции помагаат да се создаде чувство на "живо" систем? User Communication: Како им објаснувате на корисниците зошто чекањето може да биде долго? Треба ли да ги покажете проценетите времиња на чекање ако тие можат да варираат значително (2 до 60 минути)? Како да ги визуелизирате фазите на процесот ("Генерирање пребарувања ...", "Анализирање на извори ...", "Формирање на експертски извештај ...")? Кои метафори им помагаат на корисниците да ја разберат вредноста на чекањето? Technical Implementation: Кои оптимистички пристапи на корисничкиот интерфејс може да се применат без повратни информации од серверот? Како да имплементирате "разговор" интерфејс кој ги поддржува корисниците за време на чекање? Дали можете да користите локални пресметки (Web Workers, WASM) за да го симулирате напредокот? Како да организирате грациозна деградација ако корисниците ја затворат картичката за време на истражувањето? 8.4. Learning from the Best Студиски решенија имплементирани во Perplexity Deep Research, Bing Copilot, Google Search Generative Experience. Што можете да земете од екраните за полнење на игри кои го задржуваат вниманието за минути? Во ерата на инстант ChatGPT одговори, квалитетното чекање може да стане конкурентна предност.Корисниците се подготвени да чекаат ако ја разберат вредноста на процесот и чувствуваат дека системот работи за нив. Remember 9. About the Author and AIFA Project За авторот и проектот AIFA на авторот, , во неговата неодамнешна серија публикации, ги опишува алатките и архитектонските решенија што ги имплементира во својот амбициозен проект со отворен код (Агентите за вештачка интелигенција во еволутивната и само-репликативната архитектура). Роман Болшијанов АИФА Во сегашната имплементација, AIFA веќе претставува импресивен стартер шаблон за создавање на првите апликации со AI со уникатен кориснички интерфејс каде што вештачката интелигенција станува примарниот метод на интеракција, додека традиционалниот веб интерфејс служи како помошна визуелизација. Долгорочната цел на проектот е еволуција во целосен AGI систем каде што АИ агентите ќе поседуваат способности за: Автономна еволуција и подобрување на нивните алгоритми Само-репликација и создавање на нови специјализирани агенти Конкуренција и соработка во дистрибуирани средини Автономна работа во веб-простори и блокчејн мрежи Длабокото пребарување опфатено во оваа статија е само една од основните вештини на идните агенти на AGI кои ќе можат не само да истражуваат информации, туку и да донесуваат одлуки, да креираат производи и да комуницираат со реалниот свет. Ако сте заинтересирани да го набљудувате развојот на проектот и да експериментирате со најсовремена технологија за вештачка интелигенција, не двоумете се да го Секој компромис нè приближува кон создавање навистина автономна вештачка интелигенција. Репозиториум на АИФА Кодот е отворен, архитектурата е докажана, а можностите се неограничени. Ready to build the future?
