Зошто новите агенти за вештачка интелигенција избираат Markdown наместо HTML?

Агентите со вештачка интелигенција го преземаат светот, означувајќи го следниот голем чекор во еволуцијата на вештачката интелигенција 🦖. Значи, што имаат заедничко сите овие агенти? Тие користат Markdown наместо необработен HTML кога обработуваат содржина на веб-страници ⛓️. Љубопитни да знаете зошто?

Овој блог пост ќе ви покаже како овој едноставен трик може да ви заштеди до 99% во токени и пари!

Агенти за вештачка интелигенција и обработка на податоци: вовед

Агентите за вештачка интелигенција се софтверски системи кои ја користат моќта на вештачката интелигенција за да ги извршуваат задачите и да ги следат целите во име на корисниците. Опремени со расудување, планирање и меморија, овие агенти можат да донесуваат одлуки, да учат и да се приспособат - сето тоа сами. 🤯

Во последниве месеци, агентите за вештачка интелигенција тргнаа, особено во светот на автоматизацијата на прелистувачите. Овие прелистувачи на агенти за вештачка интелигенција ви овозможуваат да користите LLM за програмски да ги контролирате прелистувачите, автоматизирајќи ги задачите како додавање производи во вашата количка на Amazon 🛒.

Дали некогаш сте се запрашале кои библиотеки и рамки ги напојуваат агентите за вештачка интелигенција како Crawl4AI , ScrapeGraphAI и LangChain ?

Кога обработуваат податоци од веб-страници, овие решенија често го претвораат HTML во Markdown автоматски - или нудат методи за тоа - пред да ги испратат податоците до LLM. Но, зошто овие агенти за вештачка интелигенција го фаворизираат Markdown пред HTML? 🧐

Краткиот одговор е: да заштедите токени и да ја забрзате обработката! ⏩

Време е да се копа подлабоко! Но, прво, ајде да погледнеме во друг популарен пристап што го користат агентите за вештачка интелигенција за да го намалат оптоварувањето на податоци. 👀

Од преоптоварување податоци до јасност: Првиот потег на агентите со вештачка интелигенција

Замислете дека сакате вашиот агент за вештачка интелигенција:

1. Поврзете се на страница за е-трговија (на пр. Амазон)

2. Пребарајте производ (на пр. PlayStation 5)

3. Извлечете податоци од таа специфична страница на производот

   
   

Тоа е вообичаено сценарио за агент за вештачка интелигенција, бидејќи стружењето на е-трговија е диво возење 🎢. На крајот на краиштата, страниците со производи се хаотичен хаос од постојано менување на распоредот, што го прави програмското парсирање на податоци кошмар. Тоа е местото каде што агентите со вештачка интелигенција ги флексија своите супермоќи 💪, користејќи LLM за беспрекорно да извлечат податоци - без разлика колку е неуредна структурата на страницата!

Сега, да речеме дека сте во мисија да ги зграпчите сите сочни детали од страницата за производи на PlayStation 5 на Amazon 🎮:

Еве како ќе му наредите на вашиот прелистувач на агент за вештачка интелигенција да го оствари тоа:

 Navigate to Amazon's homepage. Search for 'PlayStation 5' and select the top result. Extract the product title, price, availability, and customer ratings. Return the data in a structured JSON format.

Тоа е она што треба да го направи агентот за вештачка интелигенција (се надеваме 🤞):

1. Отворете Амазон во прелистувачот 🌍

2. Пребарајте го „PlayStation 5“ 🔍

3. Идентификувајте го точниот производ 🎯

4. Извлечете ги деталите за производот од страницата и вратете ги во JSON 📄

   
   

Но, тука е вистинскиот предизвик - Чекор 4 . Страницата со производи на Amazon PlayStation 5 е ѕвер! HTML е преполн со тони информации, од кои повеќето не ви се потребни.

Сакате доказ? Копирајте го целосниот HTML на страницата на страницата од DOM-от на вашиот прелистувач и испуштете го во алатка како алатката LLM Token Calculator :

🚨 Подгответе се…

896.871 токени?! 😱 Да, добро прочитавте - осумстотини деведесет и шест илјади, осумстотини седумдесет и еден чудат жетони!

Тоа е МАСИВНО оптоварување на податоци - ака еден тон пари! 💸 (Над 2 долари по барање на GPT-4o! 😬)

Како што можете да замислите, пренесувањето на сите тие податоци на агент за вештачка интелигенција доаѓа со големи ограничувања:

1. Може да бара премиум/професионални планови кои поддржуваат висока употреба на токени 💰
2. Чини цело богатство - особено ако често поставувате прашања 🤑
3. Ги успорува одговорите бидејќи вештачката интелигенција мора да обработи смешна количина на информации ⏳

Поправка: Намалете ги мастите

Повеќето агенти за вештачка интелигенција ви дозволуваат да одредите CSS избирач за да ги извлечете само релевантните делови од веб-страницата. Други користат хеуристички алгоритми за автоматско филтрирање на содржината - како симнување на заглавија и подножја (кои обично не додаваат вредност). ✂️

На пример, ако ја прегледате страницата со производи на Амазон за PlayStation 5, ќе забележите дека поголемиот дел од корисната содржина живее во HTML елементот идентификуван од #ppd CSS избирачот :

Сега, што ако му кажете на вашиот агент за вештачка интелигенција да се фокусира само на елементот #ppd наместо на целата страница? Дали тоа би направило разлика? 🤔

Ајде да го ставиме на тест во пресметката од глава до глава подолу! 🔥

Markdown наспроти HTML во обработката на податоци со вештачка интелигенција: споредба од глава до глава

Споредете го користењето на токен при обработка на дел од веб-страница директно наспроти конвертирање во Markdown.

HTML

Во вашиот прелистувач, копирајте го HTML-от на елементот #ppd и ставете го во алатката LLM Token Calculator:

Од 896.871 токени на само 309.951 - речиси 65% заштеда!

Тоа е огромен пад, секако, но ајде да бидеме реални - сè уште е премногу токени! 😵‍💸

Маркдаун

Сега, ајде да го повториме трикот што го користат агентите со вештачка интелигенција со користење на алатката за конверзија HTML-to-Markdown онлајн. Но, прво, запомнете дека агентите за вештачка интелигенција вршат одредена преобработка за да ги отстранат ознаките за содржината како што се ознаките <style> и <script> .

Можете да го филтрирате HTML-от на целниот елемент користејќи ја оваа едноставна скрипта во конзолата на вашиот прелистувач:

 function removeScriptsAndStyles(element) { let htmlString = ppdElement.innerHTML; // Regex to match all <script>...</script> and <style>...</style> tags const scriptRegex = /<script[^>]*>[\s\S]*?<\/script>/gi; const styleRegex = /<style[^>]*>[\s\S]*?<\/style>/gi; // Remove all <script> and <style> tags let cleanHTML = htmlString.replace(scriptRegex, ''); cleanHTML = cleanHTML.replace(styleRegex, ''); } // select the target element and get its cleaned HTML const ppdElement = document.getElementById('ppd'); removeScriptsAndStyles(ppdElement);

Следно, копирајте го исчистениот HTML и претворете го во Markdown користејќи онлајн алатка за конверзија HTML-to-Markdown :

Резултирачкиот Markdown е значително помал, но сепак ги содржи сите важни текстуални податоци!

Сега, залепете го овој Markdown во алатката LLM Token Calculator:

Бум! 💣 Од 896.871 токени на само 7.943 токени. Тоа е неверојатно ~ 99% заштеда !

Со само отстранување на основната содржина и конверзија од HTML во Markdown, имате послаб товар, пониски трошоци и многу побрза обработка. Голема победа! 💰

Маркдаун против HTML: Битка за токени и заштеда на трошоци

Последниот чекор е да се потврди дека текстот Markdown сè уште ги содржи сите клучни податоци. За да го направите тоа, префрлете го на LLM со последниот дел од оригиналното известување, и еве го резултатот JSON што ќе го добиете:

 { "product_title": "PlayStation®5 console (slim)", "price": "$499.00", "availability": "In stock", "customer_ratings": { "rating": 4.6, "total_ratings": 5814 } }

Токму тоа би го вратил вашиот агент со вештачка интелигенција - на место!

За брз преглед, проверете ја конечната сумарна табела подолу:

Каде што агентите со вештачка интелигенција не успеваат

Сите тие трикови за заштеда на токени се бескорисни ако вашиот агент за вештачка интелигенција биде блокиран од целната локација 😅 (сте сте виделе некогаш колку урнебесно може да биде неуспехот на AI CAPTCHA? 🤣 ).

Па, зошто се случува ова? Едноставно! Повеќето сајтови користат мерки против гребење кои лесно можат да ги блокираат автоматските прелистувачи. Сакате целосен дефект? Погледнете го нашиот претстоен вебинар подолу:

Ако сте го следеле нашиот напреден водич за стругање на веб , знаете дека проблемот не е со алатките за автоматизација на прелистувачот (библиотеките што ги напојуваат вашите агенти за вештачка интелигенција). Не, вистинскиот виновник е самиот прелистувач . 🤖

За да избегнете блокирање, потребен ви е прелистувач направен специјално за автоматизација на облакот. Внесете го Scraping Browser , прелистувач кој:

• Работи во режим на глава исто како и обичен прелистувач, што им отежнува на системите против ботови да ве детектираат. 🔍
• Размерете без напор во облакот, заштедувајќи ви време и пари на инфраструктурата. 💰
• Автоматски го решава CAPTCHA, се справува со отпечатоци од прелистувач, ги приспособува колачињата/заглавијата и се обидува повторно да ги одржува работите непречено. ⚡
• Ротира IP-адреси од една од најголемите, најсигурни прокси мрежи таму. 🌍
• Беспрекорно се интегрира со популарните библиотеки за автоматизација како Playwright, Selenium и Puppeteer. 🔧

Дознајте повеќе за Bright Data's Scraping Browser, совршената алатка за интегрирање во вашите агенти за вештачка интелигенција :

Завршни мисли

Сега сте во тек зошто агентите со вештачка интелигенција користат Markdown за обработка на податоци. Тоа е едноставен трик за да заштедите токени (и пари) додека ја забрзувате обработката на LLM.

Сакате вашиот агент за вештачка интелигенција да работи без да ги погодува блоковите? Погледнете го пакетот алатки за вештачка интелигенција на Bright Data ! Придружете ни се да го направиме интернетот достапен за секого — дури и преку автоматизирани прелистувачи на агенти за вештачка интелигенција. 🌐

До следниот пат, продолжете да сурфате на Интернет со слобода! 🏄‍♂️