KI-Agenten erobern die Welt und markieren den nächsten großen Schritt in der KI-Evolution 🦖. Was haben all diese Agenten gemeinsam? Sie verwenden Markdown anstelle von reinem HTML zur Verarbeitung von Webseiteninhalten ⛓️. Neugierig, warum?  Dieser Blogbeitrag zeigt Ihnen, wie Sie mit diesem einfachen Trick bis zu 99 % an Token und Geld sparen können!  KI-Agenten und Datenverarbeitung: Eine Einführung    sind Softwaresysteme, die die Leistungsfähigkeit künstlicher Intelligenz nutzen, um Aufgaben zu erledigen und Ziele im Auftrag ihrer Nutzer zu verfolgen. Ausgestattet mit Denkvermögen, Planungsvermögen und Gedächtnis können diese Agenten Entscheidungen treffen, lernen und sich anpassen – ganz selbstständig. 🤯 KI-Agenten  In den letzten Monaten haben KI-Agenten insbesondere in der Browserautomatisierung an Bedeutung gewonnen. Diese KI-Agenten-Browser ermöglichen die programmgesteuerte Steuerung von Browsern mithilfe von LLMs und die Automatisierung von Aufgaben wie dem Hinzufügen von Produkten zum Amazon-Warenkorb 🛒.  Haben Sie sich jemals gefragt, welche Bibliotheken und Frameworks KI-Agenten wie   ,   und   unterstützen? Crawl4AI ScrapeGraphAI LangChain  Bei der Verarbeitung von Daten von Webseiten   – oder bieten entsprechende Methoden an – bevor die Daten an LLMs gesendet werden. Aber warum bevorzugen diese KI-Agenten Markdown gegenüber HTML? 🧐  konvertieren diese Lösungen HTML oft automatisch in Markdown  Die kurze Antwort lautet:   ⏩ um Token zu sparen und die Verarbeitung zu beschleunigen!  Zeit, tiefer zu graben! Aber zuerst werfen wir einen Blick auf einen anderen beliebten Ansatz, den KI-Agenten zur Reduzierung der Datenlast verwenden. 👀  Von der Datenüberflutung zur Klarheit: Der erste Schritt der KI-Agenten  Stellen Sie sich vor, Ihr KI-Agent soll:  Verbindung zu einer E-Commerce-Site (z. B. Amazon) herstellen  Suche nach einem Produkt (zB PlayStation 5)  Extrahieren Sie Daten von dieser bestimmten Produktseite  Das ist ein typisches Szenario für KI-Agenten, denn   🎢. Schließlich sind Produktseiten ein chaotisches Durcheinander mit ständig wechselnden Layouts, was die programmatische Datenanalyse zu einem Albtraum macht. Hier spielen KI-Agenten ihre Superkräfte 💪 aus und nutzen LLMs, um Daten nahtlos zu extrahieren – egal wie chaotisch die Seitenstruktur ist! E-Commerce-Scraping ist eine wilde Angelegenheit  Nehmen wir an, Sie möchten alle interessanten Details von der   auf Amazon 🎮 erfahren:  PlayStation 5-Produktseite  So können Sie Ihrem KI-Agent-Browser den Befehl geben, dies zu erreichen:   Navigate to Amazon's homepage. Search for 'PlayStation 5' and select the top result. Extract the product title, price, availability, and customer ratings. Return the data in a structured JSON format.  Das ist, was der KI-Agent (hoffentlich 🤞) tun sollte:  Amazon im Browser öffnen 🌍  Suche nach „PlayStation 5“ 🔍  Identifizieren Sie das richtige Produkt 🎯  Extrahieren Sie die Produktdetails von der Seite und geben Sie sie in JSON zurück 📄  Aber hier ist die wahre Herausforderung –   Die Amazon-Produktseite der PlayStation 5 ist ein Monster! Das HTML ist vollgepackt mit unzähligen Informationen, von denen Sie die meisten gar nicht brauchen. Schritt 4.  Sie wollen einen Beweis? Kopieren Sie das komplette HTML der Seite aus dem DOM Ihres Browsers und legen Sie es in einem Tool wie dem   ab:  LLM Token Calculator  🚨 Machen Sie sich bereit …     😱 Ja, Sie haben richtig gelesen – achthundertsechsundneunzigtausendachthunderteinundsiebzig verdammte Token! 896.871 Token?!  Das ist eine RIESIGE Datenmenge – also eine Menge Geld! 💸 (Über 2 $ pro Anfrage auf GPT-4o! 😬)   Wie Sie sich vorstellen können, ist die Weitergabe all dieser Daten an einen KI-Agenten mit erheblichen Einschränkungen verbunden:  Möglicherweise sind Premium-/Pro-Pläne erforderlich, die eine hohe Token-Nutzung unterstützen 💰  Kostet ein Vermögen – besonders wenn Sie häufige Abfragen durchführen 🤑  Verlangsamt die Antworten, da die KI eine unglaubliche Menge an Informationen verarbeiten muss ⏳  Die Lösung: Fett wegschneiden  Die meisten KI-Agenten ermöglichen die Angabe eines CSS-Selektors, um nur relevante Abschnitte einer Webseite zu extrahieren. Andere nutzen heuristische Algorithmen zur automatischen Inhaltsfilterung, beispielsweise das Entfernen von Kopf- und Fußzeilen (die in der Regel keinen Mehrwert bieten). ✂️  Wenn Sie sich beispielsweise die Produktseite der PlayStation 5 bei Amazon ansehen, werden Sie feststellen, dass sich der Großteil des nützlichen Inhalts im HTML-Element befindet, das durch den     gekennzeichnet ist:  CSS-Selektor #ppd  Was wäre, wenn Sie Ihrem KI-Agenten sagen, er solle sich nur auf das   -Element konzentrieren, anstatt auf die gesamte Seite?  #ppd Würde das einen Unterschied machen? 🤔  Lasst es uns im folgenden direkten Vergleich auf die Probe stellen! 🔥  Markdown vs. HTML in der KI-Datenverarbeitung: Ein direkter Vergleich  Vergleichen Sie die Token-Verwendung bei der direkten Verarbeitung eines Teils einer Webseite mit der Konvertierung in Markdown.  HTML  Kopieren Sie in Ihrem Browser das HTML des   Elements und legen Sie es in einem LLM-Token-Rechner-Tool ab:  #ppd  Von 896.871 Token auf nur 309.951  – fast eine Ersparnis von 65 %!  Das ist zwar ein gewaltiger Rückgang, aber seien wir ehrlich – es sind immer noch viel zu viele Token! 😵‍💸  Markdown  Lassen Sie uns nun den Trick der KI-Agenten nachahmen, indem wir ein Online-Tool zur Konvertierung von HTML in Markdown nutzen. Bedenken Sie jedoch zunächst, dass KI-Agenten eine Vorverarbeitung durchführen, um inhaltsinrelevante Tags wie   und   -Tags zu entfernen. <style> <script>  Sie können das HTML des Zielelements mit diesem einfachen Skript in der Konsole Ihres Browsers filtern:   function removeScriptsAndStyles(element) { let htmlString = ppdElement.innerHTML; // Regex to match all <script>...</script> and <style>...</style> tags const scriptRegex = /<script[^>]*>[\s\S]*?<\/script>/gi; const styleRegex = /<style[^>]*>[\s\S]*?<\/style>/gi; // Remove all <script> and <style> tags let cleanHTML = htmlString.replace(scriptRegex, ''); cleanHTML = cleanHTML.replace(styleRegex, ''); } // select the target element and get its cleaned HTML const ppdElement = document.getElementById('ppd'); removeScriptsAndStyles(ppdElement);  Kopieren Sie als Nächstes das bereinigte HTML und konvertieren Sie es mithilfe eines Online   in Markdown:  -HTML-zu-Markdown-Konvertierungstools  Das resultierende Markdown ist deutlich kleiner    , enthält aber dennoch alle wichtigen Textdaten!  Fügen Sie nun diesen Markdown in das LLM-Token-Rechner-Tool ein:   Boom! 💣 Von 896.871 Token auf nur 7.943 Token.   !  Das ist eine atemberaubende Ersparnis von ~99 %  Durch einfaches Entfernen von Inhalten und die Konvertierung von HTML in Markdown erhalten Sie eine schlankere Nutzlast, geringere Kosten und eine deutlich schnellere Verarbeitung.   💰 Ein großer Gewinn!  Markdown vs. HTML: Der Kampf um Token und Kosteneinsparungen  Im letzten Schritt überprüfen Sie, ob der Markdown-Text noch alle wichtigen Daten enthält. Übergeben Sie ihn dazu mit dem letzten Teil der ursprünglichen Eingabeaufforderung an ein LLM. Hier sehen Sie das JSON-Ergebnis:   { "product_title": "PlayStation®5 console (slim)", "price": "$499.00", "availability": "In stock", "customer_ratings": { "rating": 4.6, "total_ratings": 5814 } }  Das ist genau das, was Ihr KI-Agent zurückgeben würde – genau richtig!  Einen schnellen Überblick erhalten Sie in der folgenden abschließenden Übersichtstabelle:   Verfahren   Token   o1-mini Preis   gpt-4o-mini Preis   gpt-4o Preis  Gesamtes HTML  896.871  13,4531 USD  0,1345 USD  2,2422 USD    HTML #ppd  309.951  4,6493 USD  0,0465 USD  0,7749 USD    Markdown #ppd  7.943  0,0596 USD  0,0012 USD  0,0199 USD  Wo KI-Agenten versagen  Alle diese Tricks zum Token-Sparen sind nutzlos, wenn Ihr KI-Agent von der Zielsite blockiert wird 😅 (haben Sie schon einmal gesehen   🤣). , wie witzig KI-CAPTCHA-Fehler sein können?  Warum passiert das? Ganz einfach! Die meisten Websites nutzen   , die automatisierte Browser problemlos blockieren können. Möchten Sie die vollständige Aufschlüsselung? Sehen Sie sich unten unser bevorstehendes Webinar an: Anti-Scraping-Maßnahmen   https://www.youtube.com/watch?v=RArxdFeijd4&embedable=true  Wenn Sie unseren   gelesen haben, wissen Sie, dass das Problem nicht bei den Browser-Automatisierungstools (den Bibliotheken, die Ihre KI-Agenten unterstützen) liegt. Nein,   . 🤖 Leitfaden zum erweiterten Web Scraping der wahre Übeltäter ist der Browser selbst  Um Blockaden zu vermeiden, benötigen Sie einen Browser, der speziell für die Cloud-Automatisierung entwickelt wurde. Hier kommt der   ins Spiel: Scraping Browser  Läuft im Header-Modus wie ein normaler Browser, wodurch es für Anti-Bot-Systeme viel schwieriger ist, Sie zu erkennen. 🔍  Lässt sich mühelos in der Cloud skalieren und spart Ihnen Zeit und Geld bei der Infrastruktur. 💰  Löst automatisch CAPTCHAs, verarbeitet Browser-Fingerprinting, passt Cookies/Header an und führt Wiederholungsversuche durch, damit alles reibungslos läuft. ⚡  Rotiert IPs aus einem der größten und zuverlässigsten Proxy-Netzwerke auf dem Markt. 🌍  Lässt sich nahtlos in beliebte Automatisierungsbibliotheken wie Playwright, Selenium und Puppeteer integrieren. 🔧  Erfahren Sie mehr über den Scraping Browser von Bright Data,   : das perfekte Tool zur Integration in Ihre KI-Agenten   https://www.youtube.com/watch?v=kuDuJWvho7Q&embedable=true  Abschließende Gedanken  Jetzt wissen Sie, warum KI-Agenten Markdown für die Datenverarbeitung verwenden. Es ist ein einfacher Trick, um Token (und Geld) zu sparen und gleichzeitig die LLM-Verarbeitung zu beschleunigen.  Möchten Sie, dass Ihr KI-Agent reibungslos läuft? Werfen Sie einen Blick auf   ! Machen Sie mit und machen Sie das Internet für alle zugänglich – auch über automatisierte KI-Agent-Browser. 🌐 die KI-Tools von Bright Data  Bis zum nächsten Mal und surfen Sie weiterhin frei im Internet! 🏄‍♂️

Hot off the press! This story contains factual information about a recent event.

2022 - HackerNoon Contributor of the Year - Amazon

Request Your Own Data

Nominated for 2022 - HackerNoon Contributor of the Year - Amazon

Dieses Audio ist in der Originalsprache der Geschichte produziert!

Warum wählen die neuen KI-Agenten Markdown statt HTML?

About Author

KOMMENTARE

Hängeetiketten

DIESER ARTIKEL WURDE VORGESTELLT IN

Related Stories

Genuine Content Creation in the Age of AI: Why Startups Need Quality Content

HackerNoon Decoded 2024: Wir feiern unsere Gaming-Community!

HackerNoon Decoded 2024: Celebrating Our Startups Community!

HackerNoon Decoded 2024: Celebrating Our Life Hacking Community!

Genuine Content Creation in the Age of AI: Why Startups Need Quality Content

HackerNoon Decoded 2024: Wir feiern unsere Gaming-Community!

HackerNoon Decoded 2024: Celebrating Our Startups Community!

HackerNoon Decoded 2024: Celebrating Our Life Hacking Community!

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps