A mérnöki csapatnak hozzá kell adnia a szemantikus keresést. Ön futtatja az Algolia-t. Ők csak vektorokat adtak hozzá. Ön engedélyezi, és várja a varázslatot. Ehelyett három hónapos infrastruktúrát kapsz. A szemantikus rétegnek más adatokra van szüksége, mint a kulcsszóindexednek: termékattribútumok, felhasználói viselkedésjelek, üzleti logika. Minden releváns módosítás mindent újraindexel. A hibrid lekérdezések két különálló rendszert érintettek, az alkalmazáskód eredményeinek egyesítésével. Ön párhuzamos infrastruktúrát tart fenn: Algolia a keresési felülethez, a beágyazás és a személyre szabás szolgáltatásai, a ragasztó kód összekapcsolja őket. Három hónap múlva rájössz, hogy több időt töltesz az építészeti korlátozások leküzdésével, mint a keresés minőségének javításával. Ez az a pillanat, amikor megérted: nem adsz hozzá egy funkciót. újratelepíted az AI natív követelményeit egy másik korszakra épített infrastruktúrára. Milyen kulcsszavakra készült a keresés Ahhoz, hogy megértsük, miért történik ez, meg kell vizsgálnunk, hogy milyen kulcsszó keresést terveztek. Az olyan kulcsszókeresőmotorok, mint az Algolia, nagyszerűen megoldottak egy adott problémát: gyors, pontos kereséseket végeztek a strukturált katalógusok között. Olyan lekérdezés alapján, mint „nagy a vörös bőrburkolat mérete”, azonnal adják vissza a pontos mérkőzéseket, szűrjék ki az arányokat (szín, anyag, méret), és rangsorolják az egyszerű jeleket, mint a népszerűség vagy az ár. A megoldás (fordított indexek a BM25 pontszámmal) elegáns és hatékony. Készítsen egy keresési táblázatot a dokumentumokhoz, adjon hozzá statisztikai súlyozást a kifejezés gyakoriságához, rétegezze az arányt, és van egy rendszer, amely gyönyörűen méretezhető. Ez az architektúra tökéletesen érthető a klasszikus e-kereskedelmi kereséshez, a dokumentációk kereséséhez, a katalógus böngészéséhez. A kulcsszó keresés pontos találatokat, gyors megjelenítést és kiszámítható rangsorolást nyújt lenyűgöző hatékonysággal. A probléma nem az, hogy a kulcsszókeresés rossz technológia. Az alapvető követelmények megváltoztak. A keresés azt jelentette, hogy „találjon dokumentumokat, amelyek megfelelnek ezeknek a kulcsszavaknak.” Most azt jelenti, hogy „megértse a szándékot több jelen át és rangsorolja a komplex, kontextusbeli relevanciát.” Ez nem funkcióhiány. Ez egy építészeti összeegyeztethetetlenség. Az AI Native Search Shift Ez az építészeti összeegyeztethetetlenség nem elméleti, hanem a keresés alapvető változásának köszönhető. A modern keresési lekérdezések nem egyszerű kulcsszó-kutatások. A ChatGPT elindítása után az Algolia CTO jelentése szerint keresési lekérdezésenként kétszer annyi kulcsszót lát. A felhasználók természetes nyelvet várnak. Egy olyan lekérdezés, mint a „kényelmes futócipő a 150 dollár alatti maratoni edzéshez” nem keres kulcsszó-megfeleléseket. Ez kifejezi a szemantikus megértést (mi teszi a cipőt kényelmesnek a maratoni futáshoz?), a numerikus korlátozásokat (árat) és a kategorikus szűrőket (termék típusa, használati eset). Ez nem fokozatos evolúció. Ez egy fázisváltás. A felhasználói elvárások egy éjszaka alatt megváltoztak. Az infrastruktúra-választás, amit ma tesz, határozza meg a keresési sebességet a következő öt évben. Azok a csapatok, amelyek újjáépítik az AI alapjait, hetente megismételhetik a relevanciát. A kulcsszórendszerek javításával foglalkozó csapatok hónapokat töltenek minden fejlesztéssel. A natív kereséshez szükség van: 
 
 
 
 
 
 Szemantikus megértés szerkezet nélküli szövegben, nem kifejezésmegfelelés Többjeles pontszámok, amelyek egyesítik a beágyazásokat, a viselkedési adatokat, az üzleti szabályokat és a metaadatokat koherens rangsorolásban Az eredmények személyre szabása a felhasználói kontextushoz és a történelemhez Multimodális érvelés szövegek, képek, strukturált tulajdonságok és időjelek kezelésére Folyamatos iteráció értékelési csomópontokon keresztül, nem konfigurációs módosításokon keresztül Ezek a képességek az infrastruktúra szintjén integrációt igényelnek: hogyan indexelheted az adatokat, strukturálhatod a lekérdezéseket, értékelheted az eredményeket. Ezek nem különálló funkciók, amelyeket összefogsz. Az alapvető építészeti feltételezések megváltoztak. Ahol a kulcsszó-első építészet megüt a falon Az építészeti összeférhetetlenség kiszámítható módon jelenik meg. Itt a csapatok következetesen ütköznek a falra. Breaking Point #1: Schema merevség találkozik összetett pontszám Ön épít e-kereskedelmi termékkeresés. meg kell rangsorolni szemantikai hasonlóság, felhasználói viselkedési jelek, üzleti korlátozások, és a közelmúltban. A kulcsszó első architektúrájában minden jel külön él. Szöveges leírások a fordított indexben. Viselkedési adatok az analitikában. Üzleti szabályok az alkalmazási logikában. Vektorok egy másik szolgáltatáson keresztül. Négy rendszert tart fenn, és egyesíti a kimeneteit az Ön által írt kódban. Szeretné beállítani, hogy ezek hogyan kombinálódnak? Ön küzd az építészet. hogy kifejezzük „találjon szemantikusan hasonló termékeket, növelje a konverziós arányt, szűrje meg a marginot, csökkenjen a bevezetést követő napok szerint” írja a testreszabott fúziós logikát, kezeli a gyorsítótár érvénytelenségét a rendszerek között, remélve, hogy az alkalmazásréteg pontszámai megközelítik azt, amit akar. A fájdalom az iteráció során következik be. Az AI natív keresésben a relevancia empirikus: értékelések futtatása, NDCG (rangsorolási minőség) vagy MRR (visszanyerési pontosság) mérése, súlyozás beállítása, telepítése. Amikor a logikai scattereket több rendszerben különböző rendszerekkel és frissítési időközökkel értékeli, az értékelés kutatási projektvé válik. Breaking Point #2: Vektorok mint Bolt-on vs. első osztályú primitív Nyomja meg vagy kattintson a teljes méretű kép megtekintéséhez A „Vektor keresés hozzáadása” hirdetés ígéretesnek hangzik, majd hibrid keresést épít, és felfedezi a varratokat. A kulcsszókeresés a fordított indexben történik. Vektorkeresés egy külön alrendszerben. Mindegyiknek megvan a saját lekérdezésútja, rangsorolási modellje és teljesítményjellemzői. „A gépi tanulással kapcsolatos kihívásokról szóló legfrissebb cikkek”: szemantikai megértés, kulcsszópontosság, időszűrés. Két független keresést kapsz az alkalmazáskódban. Hogyan normalizálod a kulcsszó relevancia pontszámokat és a vektor hasonlóságot? Mi történik, ha a kulcsszó keresése 100 eredményt ad vissza, de a vektorok csak 10 releváns eredményt találnak? Ügyfélszolgálati keresés a jegyek, dokumentumok és csevegési naplók között: a felhasználók természetes nyelven kérnek, de pontos egyezést igényelnek a jegyazonosítók, a hiba kódok, a terméknevek tekintetében. A szemantika önmagában hiányzik a pontosságtól. A bolt-on architektúrában ezt magad kezeled. Elválasztod az indexeket, egyesíted a logikát, elhárítod az összeférhetetlenségeket. Az infrastruktúra a vektorokat add-onként kezeli, nem pedig alapvető primitívként, amely megváltoztatja a keresés működését. Breaking Point #3: Az iterációs szakadék A legmélyebb korlátozó felületek, ha rendszeresen javítja a keresési minőséget. Az AI natív keresésben a relevancia empirikus: meghatározza a métereket, futtatja az értékeléseket, ismétli. A kulcsszó első platformjait nem erre a célra építették. A konfigurációs paramétereket manuálisan módosíthatja és értékelheti a szemgolyózás eredményeivel. Nincs első osztályú támogatás az értékelési adatkészletekhez, a méterkövetéshez vagy az A/B teszteléshez. A tulajdonjogi probléma: saját beágyazott modellt, egyéni átirányítást, személyre szabási rendszert szeretne. zárt SaaS-ben vagy azt használja, amit nyújtanak, vagy párhuzamos infrastruktúrát épít. Tehát árnyékos rendszereket futtat. Algolia a kulcsszókereséshez, az infrastruktúra a beágyazáshoz, a kód a hibrid pontszámoláshoz és a személyre szabáshoz. Ön a menedzselt keresésért fizet, miközben létrehozza a ténylegesen szükséges alkatrészeket. A költség nem csak pénzügyi. Ez a működési komplexitás, az adatok szinkronizálása, a Frankenstein architektúra kezelése. Az a visszajelzési lánc, amely a javítást (kísérletezést, mérést, iterációt) hajtja végre, mérnöki projekt lesz. Nem lehet gyorsan tesztelni az új megközelítéseket, vagy szisztematikusan értékelni, hogy a változások javítják-e a relevanciát. AI-Native keresési infrastruktúra Néhány építészeti elv, amely közvetlenül foglalkozik ezekkel a szakaszokkal. Principle #1: First class AI primitives A beágyazás, a modellek és a hibrid keresés nem kulcsszókeresési funkciók. Ezek az alapvető építészeti koncepciók. Az indexstruktúra a multi-jelek feltérképezésére szolgál. Nem a kulcsszó és a vektorkeresés különálló rendszerei, hanem az egységes infrastruktúra, mind a kiegészítő mechanizmusok megértése. A lekérdezések természetesen kifejezik a „szemantikus hasonlóságot 0,7 ponttal, a kulcsszópontosságot 0,3 ponttal, numerikus korlátozásokkal szűrve”, és az infrastruktúra következetesen működik. Az alapelv #2: Flexible logic ownership A platform a termelési problémákkal foglalkozik: skálázás, lekérdezés késleltetés, megbízhatóság, megfigyelhetőség. Ön irányítja a keresési logikát: a beágyazott modelleket, a pontszámlálási funkciókat, a személyre szabást. Ezek nem konfigurációs paraméterek. Ez programozható infrastruktúra. Csatlakoztassa a testreszabott modelleket, hajtsa végre az üzleti rangsorolást, integrálja a meglévő személyre szabási rendszereket, mindezt párhuzamos infrastruktúra nélkül. Az alapelv #3: Multi-attribute architecture Az összetett lekérdezések többféle adattípust foglalnak magukban: szöveget, numerikus korlátozásokat, kategorikus szűrőket, időjeleket, viselkedési adatokat.Az AI keresési infrastruktúra ezeket különálló, de összehangolt beágyazásokként képviseli, nem egyetlen vektorba tömörítve.A „költséghatékony luxushotelek a strand közelében jó véleményekkel” keresés külön kódolja a szemantikus megértést, a numerikus korlátozásokat és a minőségi jeleket, majd koordinálja őket a lekérdezés idején anélkül, hogy elveszítené az attribútum-specifikus információkat. Az alapelv #4: Eval driven by design A szisztematikus fejlesztéshez olyan infrastruktúra szükséges, amely támogatja a teljes értékelési csatornát: metrikák meghatározása, kísérletek futtatása, teljesítmény nyomon követése, A/B tesztelési változások. Ez nem egy utólagos gondolkodás. Ez beépül a platform működésébe. A relevánsra ugyanazzal a sebességgel, mint bármely ML rendszer, mert az infrastruktúra az értékelést és a kísérletezést első osztályú munkafolyamatként kezeli. A cél nem a keresési infrastruktúra minden összetevőjének helyettesítése, hanem az infrastruktúra alapvető feltételezéseinek összehangolása azzal, amit az AI natív keresése valójában megkövetel. Patch vagy rekonstrukció? Az építészeti szakadék növekszik. Minden negyedévben egyre nagyobb a távolság a kulcsszó első platformjai és a felhasználók elvárásai között. Ez nem arról szól, hogy holnap kivágja a halomát. A pályának megértéséről szól. Minden workaround (a beágyazás árnyékinfrastruktúrája, az alkalmazásréteg egyesülésének logikája, a manuális relevancia beállítása) technikai adósság. Ez az adósság vegyületek. Ahogy a keresés központi szerepet játszik a termékben, ahogy a felhasználói elvárások növekednek, ahogy gyorsabb relevancia-javításokat szeretne, az építészeti súrlódás válik a palackozási akadály. Az igazi kérdés nem az, hogy „lehet-e kulcsszókeresést végezni az AI-hoz?” Az emberek elegendő mérnöki erőfeszítéssel és kompromisszummal teszik. Mérnöki idő az infrastruktúra csatornázásánál a keresési minőség helyett. sebesség: milyen gyorsan tudsz kísérletezni és javítani? Olyan csapatok esetében, ahol a keresési minőség versenyképes differenciátor, ahol a felhasználók természetes nyelvi megértést és személyre szabott eredményeket várnak el, ahol a relevancia folyamatos fejlesztést igényel az értékelés és az iteráció révén, az építészeti összeegyeztethetetlenség számít. Az infrastruktúra-határozatok, amelyeket ma hozol, határozzák meg, hogy hetente ismételgeted-e a relevanciát, vagy negyedéveket töltesz az építészeti újraírásokkal.A leggyorsabban mozgó csapatok nem a legtöbb mérnökkel rendelkeznek. Az átmenet nem arról szól, hogy mi lehetséges, hanem arról, hogy mi fenntartható.A keresési követelmények növekedésével: harcolsz az infrastruktúrával, vagy építesz vele? Ready to evaluate your options? 
 
 
 
 Vector DB összehasonlítás – 30+ vektor adatbázis összehasonlítása VectorHub – gyakorlati útmutatók az AI natív keresés létrehozásához Superlinked – AI natív keresési infrastruktúra platform Vektor DB összehasonlítás Vektorozás Szuperhálózat

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

A kulcsszó-első keresés nem skálázható az AI-ra.

About Author

HOZZÁSZÓLÁSOK

HANG TAGOK

EZT A CIKKET BEMUTATTA

Related Stories

A SECOND ENIGMA

HackerNoon Social Media Presence: A Complete Guide

HackerNoon Contributor Denisa Ganea on HackerNoon, Human Existence, and Everything in Between

Of The First and Last Things: Part 4

A SECOND ENIGMA

HackerNoon Social Media Presence: A Complete Guide

HackerNoon Contributor Denisa Ganea on HackerNoon, Human Existence, and Everything in Between

Of The First and Last Things: Part 4

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps