Wenn von der Skalierung im E-Commerce die Rede ist, konzentriert man sich meist auf große technische Herausforderungen: verteilte Suche, Echtzeit-Bestandsverwaltung, Empfehlungssysteme und Checkout-Optimierung. Doch darunter verbirgt sich ein stilleres, aber hartnäckigeres Problem, mit dem fast jeder Händler zu kämpfen hat: Attributwerte.  Attribute bilden das Rückgrat der Produktsuche. Sie steuern Filter, Vergleiche, Suchranking und Empfehlungslogik. Doch in realen Katalogen sind Attributwerte selten korrekt. Sie sind inkonsistent, doppelt vorhanden, falsch formatiert oder semantisch mehrdeutig.  Nehmen wir etwas so Einfaches wie   . Man könnte Folgendes feststellen: die Größe  Code  ["XL", "Klein", "12cm", "Groß", "M", "S"] ​  Oder   : Farbe  Code  ["RAL 3020", "Karmesinrot", "Rot", "Dunkelrot"] ​  Einzeln betrachtet scheinen diese Inkonsistenzen harmlos. Doch multipliziert man sie mit über 3 Millionen Artikeln, von denen jeder Dutzende von Attributen aufweist, wird das Problem systemisch. Filter verhalten sich unvorhersehbar, Suchmaschinen verlieren an Relevanz, Händler ertrinken in manuellen Aufräumarbeiten, und die Produktsuche wird für Kunden langsamer und frustrierender.  Dies war die Herausforderung, der ich mich als Full-Stack-Softwareentwickler bei Zoro stellen musste – ein Problem, das leicht zu übersehen war, aber jede Produktseite betraf.  Mein Ansatz: Hybride KI trifft auf Determinismus  Ich wollte keine undurchsichtige Blackbox-KI, die einfach nur Dinge sortiert. Solche Systeme sind schwer zu vertrauen, zu debuggen oder zu skalieren. Stattdessen strebte ich eine Pipeline an, die Folgendes leistet:  erklärbar  vorhersehbar  skalierbar  von Menschen kontrollierbar  Das Ergebnis war eine hybride KI-Pipeline, die kontextbezogenes Denken von LLMs mit klaren Regeln und Kontrollmechanismen des Händlers kombiniert. Sie agiert intelligent, wenn nötig, bleibt aber stets berechenbar. Dies ist KI mit Leitplanken, keine unkontrollierte KI.  Hintergrundprozesse: Entwickelt für hohen Durchsatz  Die gesamte Attributverarbeitung erfolgt in Offline-Hintergrundprozessen, nicht in Echtzeit. Dies war kein Kompromiss, sondern eine strategische Architekturentscheidung.  Echtzeit-Pipelines klingen verlockend, bringen aber im E-Commerce-Maßstab Folgendes mit sich:  unvorhersehbare Latenz  brüchige Abhängigkeiten  teure Rechenspitzen  operative Fragilität  Offline-Jobs hingegen brachten uns Folgendes:  Hoher Durchsatz: Verarbeitung großer Datenmengen ohne Beeinträchtigung laufender Systeme  Resilienz: Ausfälle beeinträchtigten nie den Kundenverkehr  Kostenkontrolle: Die Berechnungen könnten zu Zeiten geringen Datenverkehrs geplant werden.  Isolation: Die LLM-Latenz hatte niemals Auswirkungen auf die Produktseiten.  Konsistenz: Die Aktualisierungen waren atomar und vorhersehbar.  Bei der Arbeit mit Millionen von Artikeln (SKUs) ist es unerlässlich, kundenorientierte Systeme von Datenverarbeitungspipelines zu trennen.  Reinigung und Normalisierung  Bevor ich die KI auf die Daten anwandte, führte ich einen klaren Vorverarbeitungsschritt durch, um Rauschen und Störungen zu entfernen. Dieser Schritt mag simpel klingen, verbesserte aber die Schlussfolgerungen des LLM erheblich.  Die Reinigungspipeline umfasste:  Leerzeichen entfernen  Entfernen leerer Werte  Werte deduplizieren  Kategorien-Breadcrumbs zu einer Kontextzeichenkette zusammenfassen  Dies gewährleistete, dass das LLM saubere und eindeutige Eingangsdaten erhielt, was für konsistente Ergebnisse entscheidend ist. Was man hineingibt, kommt auch wieder heraus. In diesem Umfang können selbst kleine Fehler später zu größeren Problemen führen.  LLM-Service mit Kontext  Das LLM sortierte die Werte nicht einfach nur alphabetisch, sondern analysierte sie auch.  Die erhaltene Dienstleistung:  bereinigte Attributwerte  Kategorie-Breadcrumbs  Attribut-Metadaten  In diesem Kontext könnte das Modell Folgendes verstehen:  Die „Spannung“ bei   ist eine numerische Angabe. Elektrowerkzeugen  dass die „Größe“ bei   einer bekannten Entwicklung folgt. Kleidung  dass die „Farbe“ in   den RAL-Standards folgen könnte Farben  dass „Material“ in   semantische Beziehungen hat Hardware  Das Modell gab Folgendes zurück:  geordnete Werte  verfeinerte Attributnamen  eine Entscheidung: deterministische oder kontextuelle Ordnung  Dadurch kann die Pipeline verschiedene Attributtypen verarbeiten, ohne für jede Kategorie Regeln fest zu codieren.  Deterministische Ausweichlösungen  Nicht jedes Attribut benötigt KI.  Tatsächlich lassen sich viele Attribute besser mit deterministischer Logik handhaben.  Numerische Bereiche, einheitenbasierte Werte und einfache Mengen profitieren oft von:  schnellere Verarbeitung  vorhersehbare Ordnung  niedrigere Kosten  Null Mehrdeutigkeit  Die Pipeline erkannte diese Fälle automatisch und wandte deterministische Logik an. Dadurch blieb das System effizient und unnötige LLM-Aufrufe wurden vermieden.  Manuelle vs. LLM-Kennzeichnung  Die Händler benötigten weiterhin Kontrolle, insbesondere bei geschäftssensiblen Merkmalen.  Jede Kategorie könnte also wie folgt gekennzeichnet werden:  LLM_SORT — lass das Modell entscheiden  MANUELLE_SORTIERUNG — Händler legen die Reihenfolge fest  Dieses System mit zwei Kennzeichnungen ermöglicht es den Mitarbeitern, die endgültigen Entscheidungen zu treffen, während die KI den Großteil der Arbeit übernimmt. Es schafft außerdem Vertrauen, da die Händler das Modell bei Bedarf überschreiben konnten, ohne den Produktionsprozess zu unterbrechen.  Beharrlichkeit und Kontrolle  Alle Ergebnisse wurden direkt in einer Produkt-MongoDB-Datenbank gespeichert, wodurch die Architektur einfach und zentralisiert blieb.  MongoDB wurde zum zentralen operativen Datenspeicher für:  sortierte Attributwerte  verfeinerte Attributnamen  Sortiertags auf Kategorieebene  Sortierreihenfolgefelder auf Produktebene  Dadurch wurde es einfach, Änderungen zu überprüfen, Werte zu überschreiben, Kategorien neu zu verarbeiten und mit anderen Systemen zu synchronisieren.  Suchintegration  Nach der Sortierung flossen die Werte in folgende Kanäle:  Elasticsearch für die schlüsselwortgesteuerte Suche  Vespa für semantische und vektorbasierte Suche  Dadurch wurde sichergestellt, dass:  Die Filter erschienen in logischer Reihenfolge  Die Produktseiten zeigten einheitliche Attribute an.  Suchmaschinen ordneten Produkte genauer ein.  Kunden könnten Kategorien leichter durchsuchen  Die Suchfunktion ist der Bereich, in dem die Sortierung der Attribute am deutlichsten sichtbar ist und in dem Konsistenz am wichtigsten ist.  Architekturübersicht   Um dies für Millionen von Artikeln zu realisieren, habe ich eine modulare Pipeline entwickelt, die auf Hintergrundprozessen, KI-gestützter Analyse und Suchintegration basiert. Das folgende Architekturdiagramm veranschaulicht den gesamten Ablauf:  Produktdaten werden aus dem Produktinformationssystem eingegeben.  Der Attributextraktionsjob ruft Attributwerte und Kategoriekontext ab.  Diese werden an den KI-Sortierdienst weitergeleitet.  Aktualisierte Produktdokumente werden in die Produkt-MongoDB geschrieben.  Der ausgehende Synchronisierungsauftrag aktualisiert das Produktinformationssystem mit der Sortierreihenfolge.  Elasticsearch und Vespa Sync Jobs übertragen sortierte Daten in ihre jeweiligen Suchsysteme.  API-Dienste verbinden Elasticsearch und Vespa mit der Client-Anwendung.  Dieser Ablauf stellt sicher, dass jeder Attributwert, egal ob von der KI sortiert oder manuell festgelegt, in der Suche, im Merchandising und im Kundenerlebnis berücksichtigt wird.  Die Lösung in Aktion  So wurden die unübersichtlichen Werte transformiert:  Attribut  Rohwerte  Geordnete Ausgabe  Größe  XL, Klein, 12 cm, Groß, M, S  Klein, M, Groß, XL, 12 cm  Farbe  RAL 3020, Karmesinrot, Rot, Dunkelrot  Rot, Dunkelrot, Karmesinrot, Rot (RAL 3020)  Material  Stahl, Kohlenstoffstahl, Edelstahl, Edelstahl  Stahl, Edelstahl, Kohlenstoffstahl  Numerisch  5 cm, 12 cm, 2 cm, 20 cm  2 cm, 5 cm, 12 cm, 20 cm  Diese Beispiele zeigen, wie die Pipeline kontextbezogenes Denken mit klaren Regeln kombiniert, um saubere, leicht verständliche Sequenzen zu erzeugen.  Warum Offline-Jobs statt Echtzeitverarbeitung?  Echtzeitverarbeitung hätte Folgendes mit sich gebracht:  unvorhersehbare Latenz  Höhere Rechenkosten  brüchige Abhängigkeiten  operative Komplexität  Offline-Jobs brachten uns:  Chargeneffizienz  asynchrone LLM-Aufrufe  Wiederholungslogik und Fehlerwarteschlangen  Fenster für die menschliche Überprüfung  vorhersehbare Rechenausgaben  Der Kompromiss bestand in einer kleinen Verzögerung zwischen Datenerfassung und -anzeige, der Vorteil lag jedoch in der Konsistenz in großem Umfang, die Kunden viel mehr schätzen.  Auswirkungen  Die Ergebnisse waren signifikant:  Einheitliche Attributreihenfolge für über 3 Millionen Artikelnummern  Vorhersagbare numerische Sortierung durch deterministische Ausweichmechanismen  Warenkontrolle durch manuelle Etikettierung  Übersichtlichere Produktseiten und intuitivere Filter  Verbesserte Suchrelevanz  Höheres Kundenvertrauen und höhere Konversionsrate  Dies war nicht nur ein technischer Erfolg, sondern auch ein Gewinn für das Nutzererlebnis und den Umsatz.  Erkenntnisse  Hybride Pipelines sind reiner KI in großem Umfang überlegen. Leitplanken sind wichtig.  Kontext verbessert die Genauigkeit von LLM dramatisch.  Offline-Jobs sind für Durchsatz und Ausfallsicherheit unerlässlich.  Menschliche Eingriffsmechanismen schaffen Vertrauen und Akzeptanz  Saubere Eingabedaten sind die Grundlage für zuverlässige KI-Ausgaben.  Abschließender Gedanke  Das Sortieren von Attributwerten klingt einfach, wird aber zu einer echten Herausforderung, wenn man dies für Millionen von Produkten tun muss.  Durch die Kombination von LLM-Intelligenz mit klaren Regeln und der Kontrolle durch den Merchandiser habe ich ein komplexes, verstecktes Problem in ein sauberes, skalierbares System verwandelt.  Es erinnert uns daran, dass einige der größten Erfolge aus der Lösung der langweiligen Probleme resultieren, jener Probleme, die man leicht übersieht, die aber auf jeder Produktseite auftauchen.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Read My Stories

Dieses Audio ist in der Originalsprache der Geschichte produziert!

Wie ich KI eingesetzt habe, um inkonsistente Attributwerte im E-Commerce in großem Umfang zu korrigieren

About Author

KOMMENTARE

Hängeetiketten

DIESER ARTIKEL WURDE VORGESTELLT IN

Related Stories

HackerNoon Decoded 2024: Celebrating Our Startups Community!

HackerNoon's DeFi Writing Contest with SORA Network: XSTUSD Use Cases

HackerNoon Decoded 2024: Celebrating Our AI Community!

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

HackerNoon Decoded 2024: Celebrating Our Startups Community!

HackerNoon's DeFi Writing Contest with SORA Network: XSTUSD Use Cases

HackerNoon Decoded 2024: Celebrating Our AI Community!

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps