A mesterséges intelligencia ügynökei átveszik az uralmat a világ felett, ami a következő nagy lépést jelenti a mesterséges intelligencia fejlődésében 🦖. Tehát mi a közös ezekben az ügynökökben? A nyers HTML helyett Markdownt használnak a weboldalak tartalom feldolgozásakor ⛓️. Érdekelne, hogy miért?  Ez a blogbejegyzés megmutatja, hogy ezzel az egyszerű trükkel akár 99%-ot is megtakaríthatsz a tokenben és a pénzben!  AI-ügynökök és adatfeldolgozás: Bevezetés    olyan szoftverrendszerek, amelyek a mesterséges intelligencia erejét hasznosítják a feladatok elvégzésére és a célok elérésére a felhasználók nevében. Az érveléssel, tervezéssel és memóriával felszerelt ügynökök képesek döntéseket hozni, tanulni és alkalmazkodni – mindezt egyedül. 🤯 Az AI-ügynökök  Az elmúlt hónapokban az AI-ügynökök fellendültek, különösen a böngészőautomatizálás világában. Ezek az AI-ügynökböngészők lehetővé teszik az LLM-ek használatát a böngészők programozott vezérlésére, automatizálva a feladatokat, például a termékek hozzáadását az Amazon kosarához 🛒.  Gondolkozott már azon, hogy mely könyvtárak és keretrendszerek működtetik az olyan mesterséges intelligencia-ügynököket, mint   ,   és   ? a Crawl4AI a ScrapeGraphAI a LangChain  A weboldalak adatainak feldolgozása során   – vagy módszereket kínálnak erre – az adatok LLM-nek való elküldése előtt. De miért részesítik előnyben ezek az AI-ügynökök a Markdownt a HTML-el szemben? 🧐  ezek a megoldások gyakran automatikusan Markdown-ba konvertálják a HTML-t  A rövid válasz:   ⏩ a tokenek megtakarítása és a feldolgozás felgyorsítása!  Ideje mélyebbre ásni! Először azonban vessünk egy pillantást egy másik népszerű megközelítésre, amelyet az AI-ügynökök alkalmaznak az adatterhelés csökkentésére. 👀  Az adattúlterheléstől az egyértelműségig: az AI-ügynökök első lépése  Képzelje el, hogy azt szeretné, hogy az AI-ügynök:  Csatlakozás egy e-kereskedelmi webhelyhez (pl. Amazon)  Keressen egy terméket (pl. PlayStation 5)  Adatok kinyerése az adott termékoldalról  Ez egy gyakori forgatókönyv az MI-ügynököknél, mivel   🎢. Végül is a termékoldalak a folyamatosan változó elrendezések kaotikus összevisszasága, ami rémálommá teszi a programozott adatelemzést. Az AI-ügynökök itt fejtik ki szuperképességeiket 💪, kihasználva az LLM-eket az adatok zökkenőmentes kinyerésére – függetlenül attól, hogy milyen rendetlen az oldal szerkezete! az e-kereskedelmi kaparás egy vad menet  Tegyük fel, hogy az a küldetése, hogy megragadja az összes lédús részletet az Amazon   🎮:  PlayStation 5 termékoldaláról  A következőképpen utasíthatja az AI-ügynökböngészőt, hogy ez megvalósuljon:   Navigate to Amazon's homepage. Search for 'PlayStation 5' and select the top result. Extract the product title, price, availability, and customer ratings. Return the data in a structured JSON format.  Ezt kell tennie az AI-ügynöknek (remélhetőleg 🤞):  Nyissa meg az Amazont a böngészőben 🌍  Keresse meg a „PlayStation 5”-et 🔍  Határozza meg a megfelelő terméket 🎯  Bontsa ki a termék részleteit az oldalról, és küldje vissza JSON-ban 📄  De itt van az igazi kihívás   . Az Amazon PlayStation 5 termékoldala egy vadállat! A HTML rengeteg információval van tele, amelyek többségére nincs is szükség. – 4. lépés  Bizonyítékot akarsz? Másolja ki az oldal teljes HTML-kódját a böngésző DOM-jából, és dobja be egy olyan eszközbe, mint például az   :  LLM Token Calculator eszköz  🚨 Készítsd fel magad…     😱 Igen, jól olvastad – nyolcszázkilencvenhatezer nyolcszázhetvenegy rohadt jelző! 896 871 token?!  Ez hatalmas adathalmaz – más néven rengeteg pénz! 💸 (Több mint 2 dollár kérésenként a GPT-4o-n! 😬)   Amint el tudja képzelni, az összes adat AI-ügynöknek való átadása jelentős korlátozásokkal jár:  Előfordulhat, hogy prémium/pro csomagokra van szükség, amelyek támogatják a magas tokenhasználatot 💰  Egy vagyonba kerül – különösen, ha gyakran fut le 🤑  Lelassítja a válaszadást, mivel az AI-nak nevetséges mennyiségű információt kell feldolgoznia ⏳  A megoldás: Vágja le a zsírt  A legtöbb AI-ügynök lehetővé teszi egy CSS-választó megadását, amely csak a weboldal releváns részeit bontja ki. Mások heurisztikus algoritmusokat használnak a tartalom automatikus szűrésére – például a fejlécek és láblécek eltávolítására (amelyek általában nem adnak hozzá értéket). ✂️  Például, ha megnézi az Amazon PlayStation 5 termékoldalát, észre fogja venni, hogy a hasznos tartalom nagy része a     által azonosított HTML elemben található:  #ppd CSS választó  Mi van akkor, ha azt mondaná az AI-ügynöknek, hogy a teljes oldal helyett csak a   elemre összpontosítson?  #ppd Ez változtatna? 🤔  Tegyük próbára az alábbi fejpárbajban! 🔥  Markdown vs HTML az AI adatfeldolgozásban: fej-fej összehasonlítás  Hasonlítsa össze a tokenhasználatot a weboldal egy részének közvetlen feldolgozásakor a Markdown-ba való konvertálásával.  HTML  A böngészőben másolja ki a   elem HTML-kódját, és dobja be egy LLM Token Calculator eszközbe:  #ppd  896 871 tokenről mindössze 309 951-re –  közel 65%-os megtakarítás!  Ez persze óriási visszaesés, de legyünk őszinték – ez még mindig túl sok token! 😵‍💸  Árleszállítás  Most ismételjük meg az AI-ügynökök által használt trükköt egy HTML-Markdown konverziós eszköz online kihasználásával. Először azonban ne feledje, hogy az AI-ügynökök bizonyos előfeldolgozást végeznek a tartalom szempontjából jelentéktelen címkék, például   és   címkék eltávolítására. <style> <script>  A célelem HTML-kódját szűrheti a böngésző konzoljában található egyszerű szkript segítségével:   function removeScriptsAndStyles(element) { let htmlString = ppdElement.innerHTML; // Regex to match all <script>...</script> and <style>...</style> tags const scriptRegex = /<script[^>]*>[\s\S]*?<\/script>/gi; const styleRegex = /<style[^>]*>[\s\S]*?<\/style>/gi; // Remove all <script> and <style> tags let cleanHTML = htmlString.replace(scriptRegex, ''); cleanHTML = cleanHTML.replace(styleRegex, ''); } // select the target element and get its cleaned HTML const ppdElement = document.getElementById('ppd'); removeScriptsAndStyles(ppdElement);  Ezután másolja ki a megtisztított HTML-kódot, és konvertálja Markdown-ba egy online   segítségével:  HTML-Markdown konvertáló eszköz  Az így kapott Markdown lényegesen kisebb, de    még mindig tartalmazza az összes fontos szöveges adatot!  Most illessze be ezt a Markdownt az LLM Token Calculator eszközbe:   Fellendülés! 💣 896 871 tokenről mindössze 7 943 tokenre.   !  Ez elképesztő ~99%-os megtakarítás  Csak az alapvető tartalomeltávolítással és a HTML-ből Markdown konverzióval kisebb teherbírást, alacsonyabb költségeket és sokkal gyorsabb feldolgozást tesz lehetővé.   💰 Nagy győzelem!  Markdown vs HTML: A csata a tokenekért és a költségmegtakarításokért  Az utolsó lépés annak ellenőrzése, hogy a Markdown szöveg továbbra is tartalmazza-e az összes kulcsadatot. Ehhez adja át egy LLM-nek az eredeti prompt utolsó részével, és a következő JSON-eredményt kapja:   { "product_title": "PlayStation®5 console (slim)", "price": "$499.00", "availability": "In stock", "customer_ratings": { "rating": 4.6, "total_ratings": 5814 } }  Pontosan ezt adná vissza az AI-ügynöke – pontosan!  A gyors áttekintéshez tekintse meg az alábbi végső összefoglaló táblázatot:   Módszer   Tokenek   o1-mini Ár   gpt-4o-mini Ár   gpt-4o Ár  A teljes HTML  896 871  13,4531 dollár  0,1345 USD  2,2422 dollár    HTML #ppd  309 951  4,6493 dollár  0,0465 USD  0,7749 dollár    Markdown #ppd  7,943  0,0596 USD  0,0012 USD  0,0199 USD  Ahol az AI-ügynökök kudarcot vallanak  Az összes tokenmentő trükk hiábavaló, ha a mesterséges intelligencia ügynökét blokkolja a céloldal 😅 (láttad már   🤣 ). , milyen mulatságos lehet az AI CAPTCHA meghibásodása?  Szóval, miért történik ez? Egyszerű! A legtöbb webhely   használ, amelyek könnyen blokkolják az automatizált böngészőket. A teljes bontást szeretné? Tekintse meg közelgő webináriumunkat alább: lekopás elleni intézkedéseket   https://www.youtube.com/watch?v=RArxdFeijd4&embedable=true  Ha követte   , akkor tudja, hogy a probléma nem a böngésző automatizálási eszközeivel (az AI-ügynökeit működtető könyvtárakkal) van. Nem,   . 🤖 speciális webkaparási útmutatónkat az igazi bűnös maga a böngésző  A blokkolások elkerülése érdekében egy kifejezetten felhőalapú automatizáláshoz készült böngészőre van szüksége. Lépjen be a   , amely böngésző: Scraping Browserbe  Fejléc módban fut, mint egy hagyományos böngésző, így az anti-bot rendszerek sokkal nehezebben észlelhetik Önt. 🔍  Könnyedén skálázható a felhőben, így időt és pénzt takaríthat meg az infrastruktúrán. 💰  Automatikusan megoldja a CAPTCHA-t, kezeli a böngésző ujjlenyomatát, személyre szabja a cookie-kat/fejléceket, és újra próbálkozik a zökkenőmentes működés érdekében. ⚡  Az egyik legnagyobb, legmegbízhatóbb proxyhálózat IP-címeit forgatja. 🌍  Zökkenőmentesen integrálható olyan népszerű automatizálási könyvtárakkal, mint a Playwright, a Selenium és a Puppeteer. 🔧  Tudjon meg többet a Bright Data Scraping Browser programjáról,   : amely a tökéletes eszköz az AI-ügynökökbe való integráláshoz   https://www.youtube.com/watch?v=kuDuJWvho7Q&embedable=true  Végső gondolatok  Most már tisztában van azzal, hogy az AI-ügynökök miért használják a Markdownt az adatfeldolgozáshoz. Ez egy egyszerű trükk a tokenek (és a pénz) megtakarításához, miközben felgyorsítja az LLM-feldolgozást.  Szeretné, hogy az AI-ügynöke blokkok ütközése nélkül futhasson? Vessen egy pillantást a   ! Csatlakozzon hozzánk, hogy mindenki számára elérhetővé tegyük az internetet – akár automatizált AI-ügynökböngészőkön keresztül is. 🌐 Bright Data AI-eszközkészletére  Következő alkalomig továbbra is szabadon szörföljön a weben! 🏄‍♂️

Hot off the press! This story contains factual information about a recent event.

2022 - HackerNoon Contributor of the Year - Amazon

Request Your Own Data

Nominated for 2022 - HackerNoon Contributor of the Year - Amazon

Ez a hanganyag a történet eredeti nyelvén készült!

Miért választják az új AI-ügynökök a markdownt a HTML helyett?

About Author

HOZZÁSZÓLÁSOK

HANG TAGOK

EZT A CIKKET BEMUTATTA

Related Stories

From Desk to HackerNoon: Your Ultimate Guide on How to Publish a Story

HackerNoon Raises $250k at $50M Valuation From Forward Research

How Emoji Credibility Indicators Add Context to HackerNoon Stories

Of The First and Last Things: Part 1

From Desk to HackerNoon: Your Ultimate Guide on How to Publish a Story

HackerNoon Raises $250k at $50M Valuation From Forward Research

How Emoji Credibility Indicators Add Context to HackerNoon Stories

Of The First and Last Things: Part 1

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps