Twój zespół inżynieryjny musi dodać wyszukiwanie semantyczne. Uruchamiasz Algolia. Po prostu dodali wektory. Włączasz go i czekasz na magię. Zamiast tego otrzymasz trzy miesiące piekła infrastruktury. Warstwa semantyczna potrzebuje innych danych niż indeks słów kluczowych: atrybuty produktu, sygnały zachowania użytkownika, logika biznesowa. Każdy tweak znaczenia oznacza ponowne indeksowanie wszystkiego. Zapytania hybrydowe uderzyły w dwa oddzielne systemy, łącząc wyniki w kodzie aplikacji. Utrzymujesz równoległą infrastrukturę: Algolia dla interfejsu wyszukiwania, Twoje usługi dla osadzeń i personalizacji, kod kleju łączący je. W ciągu trzech miesięcy zauważysz, że poświęcasz więcej czasu na walkę z ograniczeniami architektonicznymi niż na poprawę jakości wyszukiwania. To jest moment, w którym rozumiesz: nie dodajesz żadnej funkcji.Ponownie dopasowujesz wymagania AI do infrastruktury zbudowanej na inną erę. Do czego służy wyszukiwanie słów kluczowych Aby zrozumieć, dlaczego tak się dzieje, musimy spojrzeć na to, które wyszukiwanie słów kluczowych zostało zaprojektowane tak, aby rozwiązać ten problem. Wyszukiwarki słów kluczowych, takie jak Algolia, doskonale rozwiązały konkretny problem: szybkie, precyzyjne wyszukiwania w ustrukturyzowanych katalogach. W oparciu o zapytanie takie jak „wielki rozmiar czerwonej kurtki skórzanej”, natychmiast zwracają dokładne dopasowania, filtrują według aspektów (kolor, materiał, rozmiar) i klasyfikują według prostych sygnałów, takich jak popularność lub cena. Rozwiązanie (inwertowane indeksy z oceną BM25) jest eleganckie i skuteczne. Ta architektura ma doskonały sens dla klasycznego wyszukiwania e-commerce, wyszukiwania dokumentów, przeglądania katalogów. wyszukiwanie słów kluczowych zapewnia dokładne dopasowania, szybkie ułożenie i przewidywalne ranking z imponującą wydajnością. Problem nie polega na tym, że wyszukiwanie słów kluczowych jest złą technologią. Podstawowe wymagania zmieniły się. Wyszukiwanie oznaczało „Znajdź dokumenty pasujące do tych słów kluczowych”. Teraz oznacza to „rozumieć intencję w wielu sygnałach i rangę według złożonego, kontekstowego znaczenia.” To nie jest luką funkcji. Jest to architektoniczna niezgodność. Infrastruktura, która uczyniła wyszukiwanie słów kluczowych szybkim i niezawodnym, sprawia, że natywne wyszukiwanie AI jest skomplikowane. Szukanie Native Search Shift Ta architektoniczna niezgodność nie jest teoretyczna. jest napędzana fundamentalną zmianą w tym, co w rzeczywistości oznacza wyszukiwanie. Nowoczesne zapytania wyszukiwania nie są prostymi wyszukiwarkami słów kluczowych. Po uruchomieniu ChatGPT, CTO Algolia poinformował, że widzi dwa razy więcej słów kluczowych na zapytanie wyszukiwania. Użytkownicy oczekują naturalnego języka. Zapytanie takie jak „komfortowe buty do biegania na trening maratonu poniżej 150 USD” nie szuka dopasowania słów kluczowych. Wyraża zamiar obejmujący rozumienie semantyczne (co sprawia, że buty są wygodne na maratony?), ograniczenia liczbowe (cena) i kategoryczne filtry (typ produktu, przypadek użytkowania). To nie jest stopniowa ewolucja. Jest to zmiana fazowa. Oczekiwania użytkowników zmieniły się w ciągu nocy. Wybory infrastruktury, które podejmujesz dzisiaj, określają szybkość wyszukiwania w ciągu najbliższych pięciu lat. Zespoły, które budują na native AI fundamenty, mogą powtarzać co tydzień na temat znaczenia. Zespoły poprawiające systemy słów kluczowych spędzają miesiące na każdym ulepszeniu. AI Native Search wymaga: 
 
 
 
 
 
 Rozumienie semantyczne w niestrukturyzowanym tekście, a nie dopasowanie terminów Scoring wielosygnałowy łączący wkładki, dane behawioralne, zasady biznesowe i metadane w spójny ranking Personalizacja dostosowywania wyników do kontekstu i historii użytkownika Rozważania multimodalne obsługujące tekst, obrazy, strukturalne atrybuty i sygnały czasowe Ciągła iteracja za pośrednictwem łańcuchów oceny, a nie konfiguracji Te funkcje wymagają integracji na poziomie infrastruktury: jak indeksować dane, strukturować zapytania, oceniać wyniki. Nie są oddzielnymi funkcjami, które łączy się ze sobą. Zmieniono podstawowe założenia architektoniczne. Gdzie słowo klucz-pierwsza architektura uderza w ścianę Architektoniczne niezgodności powstają w sposób przewidywalny.Oto, gdzie zespoły konsekwentnie uderzają w ścianę. Breaking Point #1: Rygorystyka schematu spotyka się ze złożonymi wynikami Budujesz wyszukiwanie produktów e-commerce. musisz rangować według podobieństwa semantycznego, sygnałów zachowań użytkowników, ograniczeń biznesowych i aktualności. W architekturze słów kluczowych, każdy sygnał żyje oddzielnie. Opisy tekstowe w indeksie odwróconym. Dane behawioralne w analizie. Zasady biznesowe w logice aplikacji. Wektory przewijane przez inną usługę. Utrzymujesz cztery systemy i łączysz wyjścia w kodzie, który napisałeś. Aby wyrazić „Znajdź semantycznie podobne produkty, wzrost według współczynnika konwersji, filtr według marginesu, rozpad według dni od uruchomienia”, piszesz niestandardową logikę fuzji, zarządzając nieważnością pamięci podręcznej w różnych systemach, mając nadzieję, że poziom oceny warstwy aplikacji będzie zbliżał się do tego, czego chcesz. Ból pojawia się podczas iteracji. W natywnym wyszukiwaniu AI znaczenie jest empiryczne: przeprowadź oceny, zmierz NDCG (jakość rankingu) lub MRR (dokładność odzyskiwania), dostosuj wagy, wdrażaj. Podczas oceniania rozproszeń logicznych na wielu systemach z różnymi schematami i aktualizacjami, ocena staje się projektem badawczym. Nie można szybko przetestować „z zachowania użytkownika o 30% wyższego” bez orkiestracji zmian w całym zestawie. Breaking Point #2: Wektory jako Bolt-On vs First-Class Primitive Naciśnij Enter lub kliknij, aby zobaczyć obraz w pełnym rozmiarze Ogłoszenie „dodaliśmy wyszukiwanie wektorowe” brzmi obiecująco. Następnie zbudujesz odzyskiwanie hybrydowe i odkryjesz szwy. Wyszukiwanie słów kluczowych odbywa się w indeksie odwróconym. Wektorowe wyszukiwanie w oddzielnym podsystemie. Każdy ma swoją własną ścieżkę zapytania, model rankingowy i cechy wydajności. Chcesz „ostatnich artykułów na temat wyzwań związanych z wdrażaniem uczenia maszynowego”: rozumienie semantyczne, precyzja słów kluczowych, filtrowanie czasowe. Łączenie jest zaskakująco trudne.Jak normalizujesz wyniki znaczenia słów kluczowych i podobieństwo wektorów?Co się dzieje, gdy wyszukiwanie słów kluczowych zwraca 100 wyników, ale wektory znajdują tylko 10 odpowiednich?Piszesz logikę rankingową, która powinna być pracą wyszukiwarki, bez optymalizacji wydajności lub ram oceny należących do warstwy infrastruktury. Obsługa klienta w poszukiwaniu biletów, dokumentów i dzienników czatu: użytkownicy pytają w naturalnym języku, ale potrzebują dokładnych dopasowania do identyfikatorów biletów, kodów błędów, nazw produktów. Sama semantyka brakuje precyzji. W architekturze bolt-on zarządzasz tym samym. Oddziel indeksy, łącz logikę, debuguj niespójności. Infrastruktura traktuje wektory jako dodatek, a nie podstawowy prymityw, który zmienia sposób działania wyszukiwania. Podsumowanie #3: The Iteration Gap Najgłębsze powierzchnie ograniczające, gdy systematycznie poprawia się jakość wyszukiwania. W natywnym wyszukiwaniu AI znaczenie jest empiryczne: zdefiniuj metryki, wykonaj oceny, powtarzaj. Pierwsze platformy słów kluczowych nie zostały do tego zbudowane. można ręcznie dostosować parametry konfiguracyjne i ocenić je za pomocą wyników eyeballing. nie ma wsparcia pierwszej klasy dla zestawów danych oceny, śledzenia metrycznego lub testów A/B. Problem własności: chcesz własnego modelu osadzania, niestandardowego rearanchingu, systemu personalizacji.W zamkniętym SaaS albo używasz tego, co zapewniają, albo budujesz równoległą infrastrukturę. Tak więc uruchamiasz systemy cieni. Algolia dla wyszukiwania słów kluczowych, Twoja infrastruktura dla osadzeń, Twój kod dla hybrydowego oceny i personalizacji. Płacisz za zarządzane wyszukiwanie podczas budowy komponentów, których naprawdę potrzebujesz. Koszt nie jest tylko finansowy. Ścieżka zwrotna, która powinna prowadzić do poprawy (eksperyment, pomiar, iteracja) staje się projektem inżynieryjnym. Nie można szybko przetestować nowych podejść ani systematycznie oceniać, czy zmiany poprawiają znaczenie. Zasady dla infrastruktury wyszukiwania AI-Native Kilka zasad architektonicznych, które bezpośrednio dotyczą tych punktów zerowych. Principle #1: First class AI primitives Wstawki, modele i odzyskiwanie hybrydowe nie są funkcjami włączonymi do wyszukiwania słów kluczowych. Są to podstawowe koncepcje architektoniczne. Struktura indeksu jest zaprojektowana do odzyskiwania wielu sygnałów od podstaw. Nie są to oddzielne systemy do wyszukiwania słów kluczowych i wektorów, ale zjednoczona infrastruktura rozumiejąca zarówno jako mechanizmy uzupełniające. Zapytania naturalnie wyrażają „podobność semantyczną ważoną na poziomie 0,7, dokładność słów kluczowych na poziomie 0,3, filtrowane przez ograniczenia liczbowe”, a infrastruktura działa spójnie. Zasada #2: Flexible logic ownership Platforma zajmuje się problemami produkcyjnymi: indeksowaniem w skali, opóźnieniem zapytania, niezawodnością, obserwacją. Kontrolujesz logikę wyszukiwania: modele osadzania, funkcje oceny, personalizację. To nie są parametry konfiguracyjne. Jest to programowalna infrastruktura. Włącz modele niestandardowe, wdrażaj specyficzne rankingi biznesowe, integruj istniejące systemy personalizacji, wszystko bez równoległej infrastruktury. Zasada #3: Multi-attribute architecture Kompleksowe zapytania obejmują wiele typów danych: tekst, ograniczenia liczbowe, filtry kategoryczne, sygnały czasowe, dane behawioralne. infrastruktura wyszukiwania AI reprezentuje je jako oddzielne, ale skoordynowane osadzenia, nie kompresowane do jednego wektoru. wyszukiwanie „tanie hotele luksusowe w pobliżu plaży z dobrymi recenzjami” oddzielnie koduje rozumienie semantyczne, ograniczenia liczbowe i sygnały jakości, a następnie koordynuje je w czasie zapytania bez utraty informacji o atrybutach. Zasada #4 : Eval driven by design Systematyczna poprawa wymaga infrastruktury wspierającej pełny obwód oceny: definiowanie metryki, prowadzenie eksperymentów, śledzenie wydajności, zmiany w testach A/B. To nie jest refleksja. Jest to wbudowane w sposób, w jaki działa platforma. Iteruj na znaczeniu z taką samą prędkością jak każdy system ML, ponieważ infrastruktura traktuje ocenę i eksperymenty jako przepływy pracy pierwszej klasy. Celem nie jest zastąpienie każdego elementu infrastruktury wyszukiwania, ale dostosowanie podstawowych założeń infrastruktury do tego, czego tak naprawdę wymaga natywne wyszukiwanie AI. Patch czy rekonstrukcja? Każdego kwartału, dystans między tym, co platformy kluczowych słów kluczowych mogą dostarczyć, a tym, czego użytkownicy oczekują, rośnie. Nie chodzi o to, aby jutro wyrywać swoją stosę. Chodzi o zrozumienie trajektorii. Każdy workaround (cieniowa infrastruktura dla osadzeń, logika łączenia warstw aplikacji, ręczne dostosowywanie znaczenia) to dług techniczny. Ten dług łączy się. Jak wyszukiwanie staje się bardziej centralne dla Twojego produktu, jak wzrastają oczekiwania użytkowników, jak chcesz szybsze ulepszenia znaczenia, tarcie architektoniczne staje się przeszkodą. Prawdziwym pytaniem nie jest „czy możemy sprawić, aby wyszukiwanie słów kluczowych działało dla sztucznej inteligencji?” Ludzie to robią, z wystarczającym wysiłkiem inżynieryjnym i kompromisem. Szybkość: jak szybko można eksperymentować i ulepszać? pułap jakości: co jest możliwe w ramach tych ograniczeń? W przypadku zespołów, w których jakość wyszukiwania jest konkurencyjnym czynnikiem różnicującym, w których użytkownicy oczekują naturalnego zrozumienia języka i spersonalizowanych wyników, gdzie znaczenie wymaga ciągłego doskonalenia poprzez ocenę i iterację, ważne są architektoniczne niezgodności. Decyzje dotyczące infrastruktury, które podejmujesz dzisiaj, decydują, czy powtarzasz znaczenie co tydzień, czy spędzasz kwartały na architekturze.Zespół, który porusza się najszybciej, nie jest tym, który ma najwięcej inżynierów. Przemiana nie polega na tym, co jest możliwe, ale na tym, co jest zrównoważone.W miarę wzrostu wymagań wyszukiwania: czy walczysz z infrastrukturą, czy budujesz z nią? Ready to evaluate your options? 
 
 
 
 Porównanie wektorów DB — porównanie 30+ wektorowych baz danych VectorHub – praktyczne wskazówki dotyczące budowania AI native search Superlinked – platforma infrastruktury wyszukiwania native AI Porównanie wektorów DB Wektory Superlinkowanie

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Słowo kluczowe-Pierwsze wyszukiwanie nie może skalować do AI.

About Author

UWAGI

ZAWIEŚĆ TAGI

ARTYKUŁ TEN ZOSTAŁ PREZENTOWANY W

Related Stories

Reach More Readers! BOOST Your Story on HackerNoon

The Noonies 2022 Award Goes to Madalin Muraretiu - Contributor of The Year - Cryptocurrency Edition

Verified Writers

How HackerNoon Feels About AI Generated Content (Hint: 👎🏽)

Reach More Readers! BOOST Your Story on HackerNoon

The Noonies 2022 Award Goes to Madalin Muraretiu - Contributor of The Year - Cryptocurrency Edition

Verified Writers

How HackerNoon Feels About AI Generated Content (Hint: 👎🏽)

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps