Com els motors de cerca realment responen a les teves preguntes

L’any 2025, la tipificació en un navegador rarament li dóna només deu enllaços blaus més. “la millor manera de cancel·lar un vol en la companyia aèria X” Resum de la sentència, una llista pas a pas, Potser fins i tot una carrosseria "també la gent va preguntar" que llegeix estranyament la teva ment. Sota el capó, això no és “només un millor algoritme de cerca”. Algunes raons sobre gràfics de coneixement estructurat, alguns executen xarxes neuronals profundes sobre pàgines web brutes, i molts enganxen els dos junts. stack of question–answering (QA) systems Aquesta peça trenca com funciona realment aquesta pila, basada en un disseny de nivell de producció similar al sistema de Q&A intel·ligent de QQ Browser. Seguirem caminant per: On el QA apareix en productes reals Els dos paradigmes bàsics: KBQA i DeepQA + MRC Com es connecta un sistema de Q&A de Knowledge-Graph Com DeepQA, basada en la cerca, gestiona les dades web sorolloses Quant temps de resposta es modelen les tasques i les opinions Un projecte pràctic si estàs construint la teva pròpia pila Grab a ☕ — this is more systems‑design deep dive than shiny demo. On realment viu el QA en els productes Des del punt de vista de l’usuari, el QA apareix en moltes pells diferents: Cerca en llenguatge natural - "Per què la bateria del meu telèfon s'esgota durant la nit?" en comptes de la correcció de la pèrdua de bateria del telèfon durant la nit. Fragments intel·ligents: un paràgraf de resposta curt enganxat a la part superior dels resultats, sovint amb un enllaç a la font. Assistents virtuals: Siri/Google Assistant/Alexa responent a “Com és el trànsit en el camí a la feina?” o “Recorda’m en 30 minuts”. Panells de coneixement: cartes de mà dreta que resumeixen una persona, empresa, pel·lícula o recepta. Cerca de domini: eines internes per a documents, recuperació de casos legals, directrius mèdiques, etc. Suport al client intel·ligent: robots que responen al 80% de les preguntes d’estil “on és la meva comanda” abans que un humà vegi el bitllet. Ed-tech Q&A – “explicar aquest teorema”, “caminar-me a través d’aquesta derivació pas a pas”. La tasca principal és sempre la mateixa: Prengui una pregunta en llenguatge natural → entendre la intenció + les restriccions → utilitzar el coneixement → retornar una resposta (no només una llista d'URL). Take a natural‑language question → understand intent + constraints → use knowledge → return an answer (not just a list of URLs). Les diferències estan en Confia en tu i És allà on hi ha la divisió entre i Ve de what knowledge how structured KBQA DeepQA Dos cervells en un motor de cerca: KBQA vs DeepQA La majoria dels sistemes de cerca moderns Q&A funcionen d’aquests en paral·lel: Tots dos 2.1 KBQA – Question Answering over Knowledge Graphs Penseu en la KBQA com la vostra . in‑house database nerd Data lives as : e.g. or . triples (head_entity, relation, tail_value) (Paris, capital_of, France) (iPhone 15, release_date, 2023-09-22) The graph is : entities, types, attributes, relations. curated, structured, and schema‑driven A KBQA system: Parses the question into a – which entities, which relations? logical form Translates that into (triple lookups, path queries). graph queries Runs them on the knowledge graph (via indices or a graph DB). Post‑processes and verbalizes the result. És perfecte per : hard factual questions Quina és la meitat de vida de l'Iodi-131? Qui va dirigir la pel·lícula Dune (2021)? Quants treballadors té l’empresa X? Si el fet es troba en el gràfic i el vostre parser semàntic no es molesta, és ràpid i precís. DeepQA - Cerca + Comprensió de lectura de màquina Deepa és el que es basa en dades no estructurades: chaotic genius It works over . web pages, docs, PDFs, UGC, forums, and FAQs Pipeline (in a very simplified view): Use a search index to top‑N passages/pages. retrieve Feed them (plus the question) into a model. Machine Reading Comprehension (MRC) The model either a span (short answer) or a natural sentence/paragraph. extracts generates Score and calibrate confidence, then ship the best answer to the user. Històricament, això semblava IBM Watson: dotzenes de característiques enginyeres a mà i pipelines fràgils. , amb gran part de l'enginyeria de característiques manuals reemplaçada per models profunds. DrQA → BERT‑style readers → generative FiD‑style models DeepQA és el que confia en quan: La resposta està enterrada en prosa (“Explica per què el calendari de vacunació del meu gos ha canviat aquest any”). La resposta implica opinions, arguments, pros/cons (“És segur el dejuni intermitent?”). El gràfic del coneixement simplement no codifica el matís que necessiteu. La màgia de la producció no és escollir un o l'altre, sinó . blending them Arquitectura de nivell de sistema: Offline vs. Online Brain Una soca de cerca QA típica es divideix en i Els components. offline online Offline: Construcció i comprensió del coneixement Crawling i ingestió de pàgines web, docs, UGC, PGC. Anàlisi de qualitat i autoritat: desmuntant spam, SEO escombraries, fonts de baixa confiança. FAQ / QA parell de mineria - extreure parells de preguntes i respostes dels fòrums, centres d'ajuda, etc. Construcció de gràfics de coneixement: extracció d'entitats, vinculació, extracció de relacions, manteniment d'ontologia. Pre-entrenament MRC i models generatius sobre registres, parells de QA i objectius específics de tasques. Aquí és on es gasten hores de GPU i s'executen tasques de batxets grans. la latència no importa; la cobertura i la robustesa ho fan. En línia: Resposta en ~100ms Quan una consulta colpeja el sistema: Comprensió de consulta: classificació (és això QA‐intent?), detecció de dominis, detecció d’entitats. : Multi‑channel retrieval KG candidate entities/relations. Web passages for DeepQA. High‑quality QA pairs (FAQs/community answers). : Per‑channel answering KBQA query execution and reasoning. Short‑ or long‑answer MRC. : Fusion & decision Compare candidates: score by relevance, trust, freshness, and presentation quality. Decide: graph card? snippet? long answer? multiple options? Aquesta capa de fusió és efectivament una I no només documents. meta‑ranker over answers 4. KBQA: How Knowledge‑Graph Q&A Actually Works Anem a fer zoom en el costat estructurat. 4.1 Actualitzacions de dades Els gràfics de coneixement del món real mai no són estàtics. : three modes Automatic updates Web crawlers, APIs, database feeds. Good for high‑volume, low‑risk attributes (e.g., stock prices, product availability). Semi‑automatic updates Models extract candidate facts, humans . review/correct/approve Used for sensitive or ambiguous facts (health, legal, financial). Manual curation Domain experts edit entities and relations by hand. Critical for niche domains (e.g., TCM herbs, specific legal regulations). Un KG de producció normalment combina tots tres. Dos estils de recuperació: Triples vs Graph DB You’ll see two dominant patterns. Triple Índex Emmagatzemar triples en índexs inversos clau per entitat, relació, de vegades valor. Great for : simple, local queries single hop (“capital of X”) attribute lookup (“height of Mount Everest”). Ràpid, cacheable i senzill Base de dades gràfica Load the graph into a proper (Neo4j, JanusGraph, or in‑house). graph DB Pregunta amb alguna cosa com els idiomes Cypher / Gremlin / SPARQL-ish. Needed for and graph analytics: multi‑hop reasoning “Which movies were directed by someone who also acted in them?” “Find companies within 2 hops of this investor via board memberships.” El sistema sovint fa una , llavors escala a consultes de gràfics més profunds només quan sigui necessari. cheap triple lookup first 4.3 Pipelines de paràlisi semàntica L'anàlisi semàntic és la peça KBQA que més s'assembla a la construcció del compilador. Domain classification Route “Write a seven‑character quatrain” to a handler. Chinese poetry Route “Who is the mayor of Paris?” to a handler. single‑entity Route “Which movies did Nolan direct after 2010?” to a handler. multi‑entity/constraint Syntactic/dependency parsing Build a parse tree to figure out subjects, predicates, objects, modifiers, and constraints. Logical form construction Convert into something like a lambda‑calculus / SQL / SPARQL‑like intermediate form. E.g. Q: Which cities in Germany have population > 1 million? → Entity type: City → Filter: located_in == Germany AND population > 1_000_000 Graph querying & composition Execute logical form against the graph. Recursively stitch partial results (multi‑step joins). Rank, dedupe, and verbalize. Aquest enfocament pesat de regla té un gran vessant: El desavantatge és obvi: escriure i mantenir les regles per a un llenguatge del món real confús és dolorós. when it applies, it’s insanely accurate and interpretable. KBQA neural: aprenentatge profund en el bucle Modern systems don’t rely only on hand‑crafted semantic rules. They add to: deep models Detect entities even with typos/aliases/code‑mixed text. Map natural‑language relation phrases (“who founded”, “created by”, “designed”) to schema relations. Score candidate logical forms or graph paths by instead of exact string match. semantic similarity El resultat és un híbrid: l'execució lògica determinista + models neuronals per a la coincidència de patrons més fuzzy. DeepQA: Search + Machine Reading Comprehension in the Wild (Comprensió de cerca i lectura en màquina en el món salvatge) Des del costat no estructurat, les coses es fan sorolloses ràpidament. 5.1 De IBM Watson a DrQA i més enllà Early DeepQA stacks (hello, Watson) had: separate modules for question analysis, passage retrieval, candidate generation, feature extraction, scoring, reranking… tons of feature engineering and fragile dependencies. La recepta moderna “open‐domain QA over the web” és més lleugera: Use a search index to fetch top‑N passages. Encode question + passage with a deep model (BERT‑like or better). Predict answer spans or generate text (MRC). Aggregate over documents. DrQA va ser un disseny emblemàtic: , entrenat en conjunts de dades com SQuAD. Aquest plantilla encara és la base de moltes piles de producció avui en dia. retriever + reader 5.2 Resposta curta MRC: Els lectors extractius Resposta curta MRC significa: Given a question + multiple documents, extract a that answers the question, and provide the supporting context. single contiguous span Si es dóna una pregunta + diversos documents, extreu a que respon a la pregunta, i proporciona el context de suport. single contiguous span Penseu “Quina és la capital de França?” o “Quants bits hi ha en una adreça IPv4?” Una arquitectura típica: Encode each of the top‑N passages plus the question. For each passage, predict: (answerability) Is there an answer here? for the span. Start/end token positions Then pick the best span across documents (and maybe show top‑k). Desafio 1: Resultats de cerca sorollosos Els millors hits de cerca inclouen: El contingut irrellevant, respostes duplicades o contradictòries, Cliqueu en És un truc net of: joint training una resposta existència classificador per pas, i Un cap d’extracció de span, Així, el model aprèn a dir "no hi ha resposta aquí" i suprimeix passatges dolents en lloc de ser obligat a al·lucinar una franja de cada document. En comptes de tractar cadascú aïllat. compare evidence across pages Exposició 2: Commonsense-dumb spans Purely neural extractors sometimes output “valid text that’s obviously wrong”: desmuntat per un parell de tokens, tipus incorrecte (“sí” en comptes d’una data), o frases absurdes. A proven fix is to : inject external knowledge Marca les entitats en els passatges utilitzant l'entitat que enllaça amb Wikipedia/KG. Give the model special embeddings for “this looks like a date/person/location/numeric measure”. Durant l'entrenament, empènyer el model per prestar una atenció addicional als intervals amb el tipus correcte. Això millora tant la precisió com la “sens comú”. Desafiament 3: Robust & R-Drop Dropout és excel·lent per a la regularització, terrible per a sortides consistents: petits canvis poden invertir l'espai predit. Un truc net de les piles de producció: . R‑Drop Apply dropout to the same input through the model. twice Force the two predicted distributions to be similar via . symmetric KL‑divergence Add that term as a regularizer during training. Això empenta el model cap a sota soroll estocàstic, que és crucial quan els usuaris carreguen de nou la mateixa consulta i esperen la mateixa resposta. En les consultes semànticament equivalents (frases diferents que apunten al mateix passatge), això augmenta significativament la robustesa. stable predictions data augmentation Repte 4: Normalització de les respostes i respostes multi-espai La realitat és més miserable que SQUAD: Different docs phrase the same fact differently: “3–5 years”, “three to five years”, “around five years depending on…”. Els models d'extracció lluiten amb això. Una actualització comuna és passar a , e.g., Fusion‑in‑Decoder (FiD): generative readers Encode each retrieved document separately. Concatenate encodings into the decoder, which (“3–5 years” or “Xi Shi and Wang Zhaojun”). generates a normalized answer Optionally highlight supporting evidence. Dos detalls addicionals dels sistemes reals: Utilitzar els registres de clics per sintetitzar dades de supervissió febles massives (questió → clicades doc → pseudo respostes). Train a dedicated on top of generated answers, because raw language‑model scores (perplexity) are terrible as calibrated confidence. confidence model 5.3 Llarga resposta MRC: resums, no només extensions Les respostes curtes són grans, fins que la pregunta és: “Com millora R-Drop realment la robustesa del model?” "Comparar KBQA i DeepQA en termes d'escalabilitat i cobertura." No vols “Perquè redueix la KL‐divergence”. . a paragraph‑level explanation Per tant, la resposta llarga MRC es defineix com: Dades preguntes + documents, seleccionar o generar un o més passatges més llargs que responen col·lectivament a la pregunta, incloent el fons necessari. Dades preguntes + documents, seleccionar o generar un o més passatges més llargs que responen col·lectivament a la pregunta, incloent el fons necessari. Dos exemples es presenten en la pràctica. 5.3.1 Composicionals (extractives) respostes llargues Aquí teniu el sistema: Divideix un document en frases/segments. Utilitza un model semblant a BERT per puntuar cada segment com a "part de la resposta" o no. Selecciona un conjunt de segments per formar un resum compost. Dos trucs intel·ligents: HTML‑aware inputs Certain tags ( , , , etc.) correlate with important content. Encode those as special tokens in the input sequence so the model can exploit page structure. Structure‑aware pretraining Task 1: – randomly replace the question with an irrelevant one and predict if it’s coherent. Question Selection (QS) Task 2: – randomly drop/shuffle sentences or structural tokens and train the model to detect that. Node Selection (NS) Both push the model to rather than just local token patterns. understand long‑range document structure Això proporciona "el millor dels dos mons": extractiu (per la qual cosa es poden destacar les fonts exactes), però capaç d'unir múltiples bits no contigus. 5.3.2 Opinió i judici QA: Resposta + raó De vegades, l’usuari demana a : judgment question És bo tenir un conill en una gàbia? He de desactivar les actualitzacions automàtiques al meu telèfon? Un extractor d'espai pur no pot emetre amb seguretat només "sí" o "no" del text web arbitrari. (long answer): Evidence extraction Same as compositional QA: select sentences that collectively respond to the question. (short answer): Stance/classification Feed into a classifier. question + title + top evidence sentence Predict label: or . support / oppose / mixed / irrelevant yes / no / depends El final del goig: A concise verdict (“In most cases, keeping a rabbit in a small cage is recommended.”). not A més, els usuaris poden llegir i jutjar per si mateixos. Aquesta propietat de "mostrar el seu treball" és crucial quan les respostes poden influir en la salut, la seguretat o els diners. Una pila mínima de QA en codi (exemple de joguina) Per fer-ho menys abstracte, aquí hi ha un esbós deliberadament simplificat d'estil Python d'una canonada de cerca + MRC. La producció està preparada, però mostra com s'allinen les peces: not from typing import List from my_search_engine import search_passages # your BM25 / dense retriever from my_models import ShortAnswerReader, LongAnswerReader, KgClient short_reader = ShortAnswerReader.load("short-answer-mrc") long_reader = LongAnswerReader.load("long-answer-mrc") kg = KgClient("bolt://kg-server:7687") def answer_question(query: str) -> dict: # 1. Try KBQA first for clean factoid questions kg_candidates = kg.query(query) # internally uses semantic parsing + graph queries if kg_candidates and kg_candidates[0].confidence > 0.8: return { "channel": "kbqa", "short_answer": kg_candidates[0].text, "evidence": kg_candidates[0].path, } # 2. Fallback to DeepQA over the web index passages = search_passages(query, top_k=12) # 3. Short answer try short = short_reader.predict(query=query, passages=passages) if short.confidence > 0.75 and len(short.text) < 64: return { "channel": "deepqa_short", "short_answer": short.text, "evidence": short.supporting_passages, } # 4. Otherwise go for a long, explanatory answer long = long_reader.predict(query=query, passages=passages) return { "channel": "deepqa_long", "short_answer": long.summary[:120] + "...", "long_answer": long.summary, "evidence": long.selected_passages, } Els sistemes reals afegeixen desenes de components addicionals (logging, filtres de seguretat, maneig multilingüe, fluxos de retroalimentació), però el flux de control és sorprenentment similar. Notes de disseny si estàs construint això per a real Si estàs dissenyant un sistema de QA de cerca el 2025+, val la pena tenir en compte algunes lliçons pragmàtiques de les piles de producció: Inverteix en la qualitat de les dades fora de línia primer. Un model mediocre més dades netes supera un model fantàstic sobre les escombraries. Tractar QA com a multi-canal des del primer dia. No s'enganxi a "només KG" o "només MRC." Calibreu la confiança explícitament. No confieu en els registres del model cru o en la perplexitat de LM. Traieu caps de calibratge / rebuig separats. Els registres de consultes, els registres de clics i els senyals de descontentament (les persones també pregunten, les reformulacions) són la millor font de supervisió. Les respostes curtes són la demostració; les respostes llargues i matisos són la realitat en la majoria de dominis. Deixeu que els usuaris vegin per què heu respost alguna cosa, especialment en la salut, les finances i les cerques legals. LLMs with RAG are amazing, but in many settings, you still want: Keep an eye on LLMs, but don’t throw away retrieval. KG for hard constraints, business rules, and compliance. MRC and logs to ground generative answers in actual content. 8. Closing Thoughts Q&A de cerca moderna és el que passa quan deixem de tractar els "resultats de cerca" com el producte i comencem a tractar Com el producte. the answer Els gràfics de coneixement ens donen i raonament a nivell de gràfics. DeepQA + MRC ens dóna El treball d’enginyeria interessant està en les costures: recuperació, classificació, fusió, robustesa i UX. crisp, structured facts coverage and nuance Si estàs construint alguna cosa que sembli una caixa de cerca intel·ligent, un assistent virtual o una eina de Q&A de domini, entendre aquests blocs de construcció és la diferència entre "sembla impressionant en una demostració" i "de fet sobreviu en la producció". I la propera vegada que el vostre navegador faci una pregunta estranya en una línia, sabreu que hi ha tota una orquestra KBQA + DeepQA jugant darrere d'aquesta petita caixa de respostes.