Arama motorları həqiqətən soruşmağınızı necə cavablandırır?

2025-ci ildə Tiflis Xatırladaq ki, bir neçə ildir ki, bu problemlər həll olunmayıb. “X” şirkəti ilə uçuşu iptal etmək üçün ən yaxşı yol” Bir sözlə, bir sözlə, Bir neçə dəqiqədən sonra, Bəlkə də "insanlar da soruşdu" karoseriyası sizin fikrinizi garip şəkildə oxuyur. Bu, “təkcə daha yaxşı arama algoritması” deyildir. : strukturlu bilgi grafikləri üzərində bir neçə səbəblə, bir qismi çirkin web sayfalarında derin sinir ağları sürür və bir çoxları ikisini birləşdirir. stack of question–answering (QA) systems Bu, QQ Browser-in smart Q&A sisteminə bənzəyir. Yürüyüşə gedəcəyik: Qazaxıstanın reallaşdığı yerlər İki əsas paradigma: KBQA və DeepQA + MRC Bilgi-grafiq Q&A sistemi necə bağlanır DeepQA-nın gürcü web verilərini necə işləyir Nə qədər problemlər və problemlər yaşanır Özünüzü inşa edirsinizsə, praktika blueprint Bu, daha çox sistem-design deep dive deyil, parlaq demo. Qazaxıstan: Qazaxıstan ürəklərində yaşayır Bir istifadəçinin gözü ilə, QA bir çox farklı skinsdə ortaya çıxır: “Natural-language search” – “Nə üçün telefonumun batariyası gecə-gecə çalınır?” – telefonun batarya çalınması gecə-gecə düzəldir. Smart snippets – nəticələrin üstündə, sıklıqla bir kaynak bağlantısı ilə bağlı bir kısa cavab paragrafı. Siri/Google Assistant/Alexa: “Mənə 30 dəqiqədən sonra xatırlayın” və ya “Trafik necədir?” Bilgi panelləri – bir insan, şirkətin, filmin və ya reçetənin öhdələnməsi üçün sağ əl “kartlar”dır. Domain search - dokumalar, yasal səlahiyyət, tıbbi yöntəmlər və s. üçün internal tools for docs, legal case retrieval, medical guidelines, etc. – bots that answer 80% of “where is my order”‑style questions before a human sees the ticket. Smart customer support Ed-tech Q&A – “bu teoremi izah edin”, “bu derivasiyadan adım adım keçin”. İşin prinsipləri hər zaman aynıdır: Doğal dildən soruşun → niyyətini anlayın + kəşflər → bilməyi istifadə edin → cavabı qaytarın (bir URL-nin yalnız bir listası deyil). Doğal dildən soruşun → niyyətini anlayın + kəşflər → bilməyi istifadə edin → cavabı qaytarın (bir URL-nin yalnız bir listası deyil). The differences are in Ona inanırsınız və Bu, o deməkdir ki, bu bölmənin və Ondan gəldi what knowledge how structured KBQA DeepQA İki beyin bir arama motorunda: KBQA vs DeepQA Ən modern Q&A sistemləri Bunlardan biri paralel olaraq: Hər iki 2.1 KBQA – Bilgi grafikləri ilə bağlı sorğu cavablandırma “Qəbələ”ni sizin kimi düşünün . in‑house database nerd Data lives as : e.g. or . triples (head_entity, relation, tail_value) (Paris, capital_of, France) (iPhone 15, release_date, 2023-09-22) The graph is : entities, types, attributes, relations. curated, structured, and schema‑driven A KBQA system: Parses the question into a – which entities, which relations? logical form Translates that into (triple lookups, path queries). graph queries Runs them on the knowledge graph (via indices or a graph DB). Post‑processes and verbalizes the result. Bunun üçün mükəmməl : hard factual questions “Jodin-131”in yarı ömrü nədir? “Dune (2021)” filminin reytinqçisi kimdir? “X Şirkəti nə qədər işçi var?” Əgər fakt grafikdədir və semantika analizi düzəlməzsə, o, çətindir və doğrudur. DeepQA – Search + Machine Reading anlayışı Deputat da bu barədə Bu, strukturlanmamış data ilə bağlıdır: chaotic genius It works over . web pages, docs, PDFs, UGC, forums, and FAQs Pipeline (in a very simplified view): Use a search index to top‑N passages/pages. retrieve Feed them (plus the question) into a model. Machine Reading Comprehension (MRC) The model either a span (short answer) or a natural sentence/paragraph. extracts generates Score and calibrate confidence, then ship the best answer to the user. Tarixdə bu, IBM Watson-a bənzəyirdi: onlarca əl-inşa edilmiş xüsusiyyət və həddi aşan borular. Bu, manuallaşma prosesinin çoxunu dərin modellərlə yerləşdirir. DrQA → BERT‑style readers → generative FiD‑style models DeepQA nə ilə bağlıdır: Cümhuriyyətdə “Niyə bu il köməyi dəyişdirmək lazımdır?” Düşüncələr, argumentlar, pluslar və minuslar (“intermittent fasting safe?”) ilə bağlı cavab verilir. Bilgi grafiki yalnız ehtiyacınız olan nüansı kodlamır. Ümumilikdə, bir və ya bir-birini seçmək olmaz. . blending them Sistem düyməsinin arkitekturası: Offline vs Online Brain Təsadüfi bir QA seti bölünür və komponentləri offline online Offline: Bilgi yaratmaq və anlaymaq Web sayfaları, docs, UGC, PGC crawling & ingestion. Kalitə və yetkinlik analizi – spam, SEO soyqırım, low‐trust kaynakları demoting. FAQ / QA çifti mining - forumlardan, kömək mərkəzlərindən sorğu-yavaş çifti çıxartmaq. Bilgi grafik konstruksiyası – entitə ekstraksiya, bağlama, relasiya ekstraksiya, ontologiya qurulması. MRC və jurnallar, QA çifti və missiya-spesifik hədəflər haqqında generativ modellər. This is where you burn GPU hours and run large batch jobs. Latency doesn’t matter; coverage and robustness do. İnternetdə: 100 min manat Sistemə daxil olan problemlər: Qəza anlayışı: klassifikasiya (bu QA-intentdir?), domain detektoru, entity detektoru. : Multi‑channel retrieval KG candidate entities/relations. Web passages for DeepQA. High‑quality QA pairs (FAQs/community answers). : Per‑channel answering KBQA query execution and reasoning. Short‑ or long‑answer MRC. : Fusion & decision Compare candidates: score by relevance, trust, freshness, and presentation quality. Decide: graph card? snippet? long answer? multiple options? Bu fəlsəfə faktı a , not just documents. meta‑ranker over answers “Knowledge-Graph Q&A” nə deməkdir Biz strukturlu tərəfdə işləyirik. 4.1 Datalar güncellenməsi Real-world bilgi grafikləri heç vaxt statik deyil. : three modes Automatic updates Web crawlers, APIs, database feeds. Good for high‑volume, low‑risk attributes (e.g., stock prices, product availability). Semi‑automatic updates Models extract candidate facts, humans . review/correct/approve Used for sensitive or ambiguous facts (health, legal, financial). Manual curation Domain experts edit entities and relations by hand. Critical for niche domains (e.g., TCM herbs, specific legal regulations). Ümumilikdə, bir KG bütün üçü birləşdirir. 4.2 Two Retrieval Styles: Triples vs Graph DB İki dominant model görəcəksiniz. Üçüncü indeks Store triples in inverted indices keyed by , , sometimes . entity relation value Great for : simple, local queries single hop (“capital of X”) attribute lookup (“height of Mount Everest”). Hızlı, qısa və asan. Graph bazası Load the graph into a proper (Neo4j, JanusGraph, or in‑house). graph DB Cypher / Gremlin / SPARQL-ish dilləri kimi bir şey ilə soruşun. Needed for and graph analytics: multi‑hop reasoning “Which movies were directed by someone who also acted in them?” “Find companies within 2 hops of this investor via board memberships.” Bu sistem çox vaxt a , then escalates to deeper graph queries only when necessary. cheap triple lookup first 4.3 Semantik Parsing Pipeline Semantic parsing is the KBQA piece that feels most like compiler construction. The pipeline roughly looks like this: Domain classification Route “Write a seven‑character quatrain” to a handler. Chinese poetry Route “Who is the mayor of Paris?” to a handler. single‑entity Route “Which movies did Nolan direct after 2010?” to a handler. multi‑entity/constraint Syntactic/dependency parsing Build a parse tree to figure out subjects, predicates, objects, modifiers, and constraints. Logical form construction Convert into something like a lambda‑calculus / SQL / SPARQL‑like intermediate form. E.g. Q: Which cities in Germany have population > 1 million? → Entity type: City → Filter: located_in == Germany AND population > 1_000_000 Graph querying & composition Execute logical form against the graph. Recursively stitch partial results (multi‑step joins). Rank, dedupe, and verbalize. Bu çox ciddi problemlər var, böyük problemlər var: Düşünürəm ki, bu problemin yaranması və reallaşması çox ağrılıdır. when it applies, it’s insanely accurate and interpretable. 4.4 Neural KBQA: Deep Learning in the Loop (Neyirli KBQA: Çörəkdə derin öyrənmək) Modern sistemlər yalnız əşyalı semantika kurallarına təvəkkül etmir. İki nəfəri: deep models Detect entities even with typos/aliases/code‑mixed text. Map natural‑language relation phrases (“who founded”, “created by”, “designed”) to schema relations. Score candidate logical forms or graph paths by instead of exact string match. semantic similarity Sonuç hibriddir: deterministlik logiki işləmə + daha fuzzy model matç üçün nöral modellər. DeepQA: Search + Machine Reading anlayışı Bu prosesdən sonra işlər çox çətindir. IBM Watson və DrQA Early DeepQA stacks (hello, Watson) had: separate modules for question analysis, passage retrieval, candidate generation, feature extraction, scoring, reranking… tons of feature engineering and fragile dependencies. Modern “open-domain QA over the web” reçetəsi daha yumuşayır: Use a search index to fetch top‑N passages. Encode question + passage with a deep model (BERT‑like or better). Predict answer spans or generate text (MRC). Aggregate over documents. DrQA markalı bir dizayn idi: VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. retriever + reader 5.2 Qədim Cümə MRC: Extractive Readers “MRC” sözləri belədir: Bir sorğu + bir neçə dokument verildikdə, sorğuna cavab verən tək bir qidalanma spektrumu çıxartın və dayanışma kontekstini verin. Soruşduğunuz bir şey + bir neçə dokument, a Bu, problemin həllini və buna kömək edən kontekstdir. single contiguous span Düşünürəm ki, “İranın baş naziri nədir?” və ya “IPv4 adresində neçə-neçə bit var?” Tipik arhitekturaya görə: Encode each of the top‑N passages plus the question. For each passage, predict: (answerability) Is there an answer here? for the span. Start/end token positions Then pick the best span across documents (and maybe show top‑k). 1 - Sürücülər arzulayır Top-N arama hitləri arasında: irrelevant content, duplicate or conflicting answers, Kliplər “Qızıl triki” of: joint training Bir neçə ildir ki, bu problemlər həll olunacaqdır. Əsas səhifə » Əsas səhifə » Beləliklə, model “bu barədə heç bir cavab yoxdur” deməyi öyrənir və hər bir dokumentdan bir müddət hallucinasiya etmək üçün zorlanmaqdan ziyana çevirir. Hər birini ayrı-ayrı olaraq qəbul etmək. compare evidence across pages Challenge 2: Commonsense‑dumb spans Təsadüfi neuron ekstraktorlar bazen “doğru texti açıq-aşkar yanlışdır” deyirlər: Bir neçə dəqiqədən sonra qələbə qazanıb. wrong type (“yes” instead of a date), Və ya dəhşətli sözlər. Düşünürəm ki, bu fikri : inject external knowledge Vikipediya/KG ilə bağlantılı entitetlər istifadə edərək pasajlarda entitetlər işarə edin. "Bu, bir tarixi / kişi / yer / sayı ölçüsü kimi görünür" üçün modelə özel embeddings verin. During training, nudge the model to pay extra attention to spans with the correct type. Bu, həm doğruluğu, həm də “şeyx anlayışını” artırır. Sürücülük 3: Robustness & R-Drop "Droppout" normalləşdirmək üçün çox yaxşıdır, konsistent çıxışlar üçün qorxudur: ufak dəyişikliklər öngörülən sürətini dəyişə bilər. Ümumilikdə, ürək ürəklərindən istifadə etmək lazımdır: . R‑Drop Apply dropout to the same input through the model. twice Force the two predicted distributions to be similar via . symmetric KL‑divergence Add that term as a regularizer during training. Bu, modelin inkişafına yönəldir under stochastic noise, which is crucial when users reload the same query and expect the same answer. Combined with Semantik olaraq eşitdikləri sorğularda (bir-birini göstərən fərqli ifadələr) bu, sağlamlığı böyük ölçüde artırır. stable predictions data augmentation 4 - Normalization and Multi-span Answers - Cümə normalizasiya və multi-span cavabları Reallıq SQUAD-dan daha fərqlidir: Different docs phrase the same fact differently: “3–5 years”, “three to five years”, “around five years depending on…”. Bu problemlər həll olunacaq, bir sıra problemlər də həll olunacaq Fusion-in-Decoder (FiD) ilə bağlı məlumatlar generative readers Encode each retrieved document separately. Concatenate encodings into the decoder, which (“3–5 years” or “Xi Shi and Wang Zhaojun”). generates a normalized answer Optionally highlight supporting evidence. Real sistemdən iki adi detal: VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsil edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Hazırlanan cavabların üstündə özəl bir güvən modelini öyrənin, çünki çirkin dil modeli qiymətləri (düşünürsüzlük) kalibrated güvən kimi qorxudur. 5.3 Uzun cavab MRC: Summary, Not Just Spans Soruşduğunuz qədər kısa cavablar böyükdür: “R-Drop modelin sağlamlığını necə artırır?” “KBQA və DeepQA-nın ölçülməsi və genişləndirilməsi” Siz istəmirsiniz “Çünki bu KL-divergensiyanı azaldır”. . a paragraph‑level explanation Beləliklə, uzun cavab MRC olaraq tanımlanır: Sorğu + docs verilmiş, seçin və ya soruşma üçün kollektiv olaraq cavab verən bir və ya daha çox uzun pasajlar yaratın. Sorğu + docs, seçin və ya xəlq Bu problemlə bağlı sorğu-sual etmək lazımdır. one or more longer passages Hər ikisi praktika ilə qarşılaşıb. 5.3.1 Kompozisiyalı (Extraktiv) uzun cavablar Here, the system: Splits a document into sentences/segments. Uses a BERT‑like model to score each segment as “part of the answer” or not. Kompozit Summary (Kompozit Summary) formalaşdırılması üçün segmentlərin bir hissəsi seçilir. İki gözəl trik: HTML‑aware inputs Certain tags ( , , , etc.) correlate with important content. Encode those as special tokens in the input sequence so the model can exploit page structure. Structure‑aware pretraining Task 1: – randomly replace the question with an irrelevant one and predict if it’s coherent. Question Selection (QS) Task 2: – randomly drop/shuffle sentences or structural tokens and train the model to detect that. Node Selection (NS) Both push the model to rather than just local token patterns. understand long‑range document structure Bu, "iki dünyanın ən yaxşısını" verir: ekstraktiv (və ya tam kaynakları göstərə bilərsiniz), lakin bir-birinə çoxlu olmayan bitləri birləşdirə bilər. 5.3.2 Opinion & Judgement QA: Answer + Rationale Bəzən müştərilər soruşurlar ki, : judgment question “Bir qapıda qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı qırmızı q “Mən telefonumda automatik güncellemələr qadağan etməyim lazımdır?” Bir pərəstişçi yalnız “evet” və ya “həqiqətən” web tekstindən çıxartamaz. (long answer): Evidence extraction Same as compositional QA: select sentences that collectively respond to the question. (short answer): Stance/classification Feed into a classifier. question + title + top evidence sentence Predict label: or . support / oppose / mixed / irrelevant yes / no / depends Finalın nəticələri: “Çoğunlukla, bir tavşanı kiçik bir kafedrarda tutmaq tövsiyə edilmir”. Ümumilikdə, istifadəçilər özləri üçün oxumaq və hökm verə bilərlər. Bu “işinizi göstər” xüsusiyyəti, cavabların sağlığını, təhlükəsizliyini və ya paralarını etkileyə biləcəyində kritikdir. A Minimal QA Stack in Code (Toy Misal) Bunu daha az abstrakt etmək üçün, burada bir arama + MRC pipeline haqqında bir Python-style simvollaşdırılmış skice var. Şirkətin hazırlığı, lakin bu işin nəticələri açıqlanıb: not from typing import List from my_search_engine import search_passages # your BM25 / dense retriever from my_models import ShortAnswerReader, LongAnswerReader, KgClient short_reader = ShortAnswerReader.load("short-answer-mrc") long_reader = LongAnswerReader.load("long-answer-mrc") kg = KgClient("bolt://kg-server:7687") def answer_question(query: str) -> dict: # 1. Try KBQA first for clean factoid questions kg_candidates = kg.query(query) # internally uses semantic parsing + graph queries if kg_candidates and kg_candidates[0].confidence > 0.8: return { "channel": "kbqa", "short_answer": kg_candidates[0].text, "evidence": kg_candidates[0].path, } # 2. Fallback to DeepQA over the web index passages = search_passages(query, top_k=12) # 3. Short answer try short = short_reader.predict(query=query, passages=passages) if short.confidence > 0.75 and len(short.text) < 64: return { "channel": "deepqa_short", "short_answer": short.text, "evidence": short.supporting_passages, } # 4. Otherwise go for a long, explanatory answer long = long_reader.predict(query=query, passages=passages) return { "channel": "deepqa_long", "short_answer": long.summary[:120] + "...", "long_answer": long.summary, "evidence": long.selected_passages, } Real sistemlər (logging, təhlükəsizlik filtrləri, çox dilli işləmə, geri bildirim qarışıqları) daha çox komponentlər daxil edir, lakin kontrollü qarışıqlıq şaşırtıcı şəkildə bənzəyir. 7. Design Notes If You’re Building This for Real 2025-ci ildə QA sistemini dizayn etsəniz, istehsal yığmalarından bir neçə pragmatik dəlil gözləmək lazımdır: A mediocre model plus clean data beats a fancy model on garbage. Invest in offline data quality first. Birinci gündən başlayaraq QA-ya multi-kanal kimi davranın. “only KG” və ya “only MRC” olaraq özünüzü hard-wire etməyin. Don’t trust raw model logits or LM perplexity. Train separate calibration/rejection heads. Calibrate confidence explicitly. Qəza jurnalları, click jurnalları və xoşbəxtlik sinyalləri (“insanlar da soruşur”, reformulasiya) ən yaxşı izləmə kaynağınızdır. Sürücülər üçün uzun cavablar və fikirlər hazırlayın.Sürücülər demodır; uzun, nüanslı cavablar əksəriyyətdə realdır. UI-də dəlillər ortaya çıxartın: Kullanıcıların nə üçün bir şeyə cavab verdiklərini görsünlər, xüsusilə sağlıq, finans və yasal araşdırmalarda. LLMs with RAG are amazing, but in many settings, you still want: Keep an eye on LLMs, but don’t throw away retrieval. KG for hard constraints, business rules, and compliance. MRC and logs to ground generative answers in actual content. 8 - Düşüncələr Modern search Q&A is what happens when we stop treating “search results” as the product and start treating Ürün kimi the answer Bilgi grafikləri bizə verir “DeepQA + MRC” layihəsi Əsas səhifə » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm » Gündəm crisp, structured facts coverage and nuance If you’re building anything that looks like a smart search box, virtual assistant, or domain Q&A tool, understanding these building blocks is the difference between “looks impressive in a demo” and “actually survives in production.” Bir sonraki dəfə tarayıcınız bir dərsdə garip spesifik bir sorğu işarə edərsə, bütün KBQA + DeepQA orkestrasının bu kiçik cavab kutunun arxasında oynadığını biləcəksiniz.