АИ агенти преузимају свет, означавајући следећи велики корак у еволуцији вештачке интелигенције 🦖. Дакле, шта је заједничко свим овим агентима? Они користе Маркдовн уместо сировог ХТМЛ-а када обрађују садржај на веб страницама ⛓. Занима вас зашто?  Овај блог пост ће вам показати како вам овај једноставан трик може уштедети до 99% у токенима и новцу!  АИ агенти и обрада података: Увод    су софтверски системи који користе моћ вештачке интелигенције за извршавање задатака и постизање циљева у име корисника. Опремљени расуђивањем, планирањем и памћењем, ови агенти могу да доносе одлуке, уче и прилагођавају се – све сами. 🤯 Агенти вештачке интелигенције  Последњих месеци, АИ агенти су узели маха, посебно у свету аутоматизације претраживача. Ови претраживачи АИ агената вам омогућавају да користите ЛЛМ за програмску контролу прегледача, аутоматизујући задатке као што је додавање производа у вашу Амазон корпу 🛒.  Да ли сте се икада запитали које библиотеке и оквири покрећу АИ агенте као што су   ,   и   ? Цравл4АИ СцрапеГрапхАИ ЛангЦхаин  Када обрађују податке са веб страница,   — или нуде методе за то — пре слања података ЛЛМ-у. Али зашто ови АИ агенти фаворизују Маркдовн у односу на ХТМЛ? 🧐  ова решења често аутоматски претварају ХТМЛ у Маркдовн  Кратак одговор је:   ⏩ да сачувате токене и убрзате обраду!  Време је да копамо дубље! Али прво, хајде да погледамо још један популаран приступ који АИ агенти користе за смањење оптерећења података. 👀  Од преоптерећења података до јасноће: први потез АИ агената  Замислите да желите да ваш АИ агент:  Повежите се са сајтом за е-трговину (нпр. Амазон)  Потражите производ (нпр. ПлаиСтатион 5)  Извуците податке са те специфичне странице производа  То је уобичајен сценарио за агента вештачке интелигенције, пошто   🎢. На крају крајева, странице производа су хаотична збрка распореда који се стално мењају, што програмско рашчлањивање података чини ноћном мором. То је место где АИ агенти развијају своје супермоћи 💪, користећи ЛЛМ за беспрекорно издвајање података—без обзира на то колико је неуредна структура странице! је е-трговина гребање дивља вожња  Сада, рецимо да сте на мисији да преузмете све сочне детаље са   на Амазону 🎮:  странице производа ПлаиСтатион 5  Ево како бисте наредили прегледачу АИ агента да се то догоди:   Navigate to Amazon's homepage. Search for 'PlayStation 5' and select the top result. Extract the product title, price, availability, and customer ratings. Return the data in a structured JSON format.  То је оно што АИ агент треба (надамо се 🤞) да уради:  Отворите Амазон у прегледачу 🌍  Потражите „ПлаиСтатион 5“ 🔍  Идентификујте тачан производ 🎯  Извуците детаље о производу са странице и вратите их у ЈСОН формату 📄  Али ево правог изазова—   . Страница производа Амазон ПлаиСтатион 5 је звер! ХТМЛ је препун тона информација, од којих вам већина није ни потребна. Корак 4  Желите доказ? Копирајте пуни ХТМЛ странице из ДОМ-а вашег претраживача и испустите га у алатку као што је   :  алатка ЛЛМ Токен Цалцулатор  🚨 Припремите се…     😱 Да, добро сте прочитали—осам стотина деведесет шест хиљада, осамсто седамдесет и један проклети жетон! 896,871 токена?!  То је Огроман гомила података — тона новца! 💸 (Преко $2 по захтеву на ГПТ-4о! 😬)   Као што можете замислити, прослеђивање свих тих података агенту АИ долази са великим ограничењима:  Можда ће бити потребни премиум/про планови који подржавају високу употребу токена 💰  Кошта богатство—посебно ако постављате честе упите 🤑  Успорава одговоре јер АИ мора да обради смешну количину информација ⏳  Поправка: Скратите сало  Већина АИ агената вам омогућава да наведете ЦСС селектор за издвајање само релевантних делова веб странице. Други користе хеуристичке алгоритме за аутоматско филтрирање садржаја — попут уклањања заглавља и подножја (који обично не додају вредност). ✂  На пример, ако прегледате страницу производа Амазон ПлаиСтатион 5, приметићете да већина корисног садржаја живи унутар ХТМЛ елемента идентификованог     :  #ppd ЦСС селектором  Шта ако свом АИ агенту кажете да се фокусира само на   елемент уместо на целу страницу?  #ppd Да ли би то направило разлику? 🤔  Хајде да га ставимо на тест у директном обрачуну испод! 🔥  Маркдовн у односу на ХТМЛ у АИ обради података: директно поређење  Упоредите употребу токена при директној обради дела веб странице са конверзијом у Маркдовн.  ХТМЛ  У свом претраживачу копирајте ХТМЛ елемента   и испустите га у алатку ЛЛМ Токен Цалцулатор:  #ppd  Са 896.871 токена на само 309.951  — скоро 65% уштеде!  То је огроман пад, наравно, али будимо реални – још увек је превише токена! 😵‍💸  Маркдовн  Сада, хајде да поновимо трик који агенти вештачке интелигенције користе коришћењем алата за конверзију ХТМЛ-то-Маркдовн на мрежи. Али прво, запамтите да АИ агенти обављају неку претпроцесу да би уклонили ознаке које су безначајне за садржај као што су ознаке   и   . <style> <script>  Можете да филтрирате ХТМЛ циљног елемента помоћу ове једноставне скрипте у конзоли вашег претраживача:   function removeScriptsAndStyles(element) { let htmlString = ppdElement.innerHTML; // Regex to match all <script>...</script> and <style>...</style> tags const scriptRegex = /<script[^>]*>[\s\S]*?<\/script>/gi; const styleRegex = /<style[^>]*>[\s\S]*?<\/style>/gi; // Remove all <script> and <style> tags let cleanHTML = htmlString.replace(scriptRegex, ''); cleanHTML = cleanHTML.replace(styleRegex, ''); } // select the target element and get its cleaned HTML const ppdElement = document.getElementById('ppd'); removeScriptsAndStyles(ppdElement);  Затим копирајте очишћени ХТМЛ и конвертујте га у Маркдовн користећи онлајн   :  алат за конверзију ХТМЛ-то-Маркдовн  Добијени Маркдовн је знатно мањи, али    и даље садржи све важне текстуалне податке!  Сада, налепите овај Маркдовн у алатку ЛЛМ Токен Цалцулатор:   Бум! 💣 Са 896,871 токена на само 7,943 токена.   !  То је запањујућа уштеда од ~99%  Уз само основно уклањање садржаја и конверзију ХТМЛ-у-Маркдовн, имате мање корисно оптерећење, ниже трошкове и много бржу обраду.   💰 Велика победа!  Маркдовн против ХТМЛ-а: Битка за токене и уштеду трошкова  Последњи корак је да проверите да ли Маркдовн текст још увек садржи све кључне податке. Да бисте то урадили, проследите га ЛЛМ-у са завршним делом оригиналног упита, а ево ЈСОН резултата који ћете добити:   { "product_title": "PlayStation®5 console (slim)", "price": "$499.00", "availability": "In stock", "customer_ratings": { "rating": 4.6, "total_ratings": 5814 } }  То је управо оно што би ваш АИ агент вратио - на лицу места!  За кратак преглед погледајте коначну табелу сажетка у наставку:   Метод   Токенс   о1-мини Цена   гпт-4о-мини Цена   гпт-4о Цена  Цео ХТМЛ  896,871  $13,4531  $0,1345  $2,2422    ХТМЛ #ppd  309,951  $4,6493  $0,0465  $0,7749    Маркдовн #ppd  7,943  $0,0596  $0,0012  $0,0199  Где АИ агенти не успевају  Сви ти трикови за уштеду токена су бескорисни ако ваш АИ агент буде блокиран од стране циљаног сајта 😅 (Јесте ли икада видели   🤣). колико урнебесни АИ ЦАПТЦХА неуспеси могу бити?  Па, зашто се то дешава? Једноставно! Већина сајтова користи   које могу лако да блокирају аутоматизоване прегледаче. Желите потпуни слом? Погледајте наш предстојећи вебинар у наставку: мере против гребања   хттпс://ввв.иоутубе.цом/ватцх?в=РАркдФеијд4&ембедабле=труе  Ако сте пратили наш   , знате да проблем није у алатима за аутоматизацију прегледача (библиотеке које покрећу ваше АИ агенте). Не,   . 🤖 напредни водич за писање на вебу прави кривац је сам претраживач  Да бисте избегли блокирање, потребан вам је претраживач направљен посебно за аутоматизацију облака. Унесите   , претраживач који: Сцрапинг Бровсер  Ради у режиму заглављивања као и обичан претраживач, што знатно отежава анти-бот системима да вас открију. 🔍  Скалира без напора у облаку, штедећи вам време и новац на инфраструктури. 💰  Аутоматски решава ЦАПТЦХА, обрађује отиске прстију у претраживачу, прилагођава колачиће/заглавља и покушава поново да би ствари функционисале глатко. ⚡  Ротира ИП адресе једне од највећих, најпоузданијих прокси мрежа. 🌍  Беспрекорно се интегрише са популарним библиотекама за аутоматизацију као што су Плаивригхт, Селениум и Пуппетеер. 🔧  Сазнајте више о Бригхт Дата Сцрапинг претраживачу,   : савршеном алату за интеграцију у ваше АИ агенте   хттпс://ввв.иоутубе.цом/ватцх?в=куДуЈВвхо7К&ембедабле=труе  Финал Тхоугхтс  Сада сте у петљи зашто АИ агенти користе Маркдовн за обраду података. То је једноставан трик за уштеду токена (и новца) уз убрзавање ЛЛМ обраде.  Желите да ваш АИ агент ради без ударања блокова? Погледајте   ! Придружите нам се у томе да интернет учинимо доступним свима — чак и преко аутоматизованих претраживача АИ агената. 🌐 Бригхт Дата пакет алата за АИ  До следећег пута, слободно сурфујте Интернетом! 🏄‍♂

Hot off the press! This story contains factual information about a recent event.

2022 - HackerNoon Contributor of the Year - Amazon

Request Your Own Data

Nominated for 2022 - HackerNoon Contributor of the Year - Amazon

Овај аудио је произведен на оригиналном језику приче!

Зашто нови АИ агенти бирају Маркдовн уместо ХТМЛ-а?

About Author

КОМЕНТАРИ

ХАНГ ТАГС

ОВАЈ ЧЛАНАК ЈЕ ПРЕДСТАВЉЕН У

Related Stories

Building a website with React and Bulma

Leadership Success Story: Srinath Muralinathan's Transformative Projects at Amazon

Sravana Kumar Reddy Yeruva’s Fusion Transformation Sets a New Standard in ERP Excellence

Building the Cloud Future: Sreedevi Velagala's Trek in AWS Architecture

Building a website with React and Bulma

Leadership Success Story: Srinath Muralinathan's Transformative Projects at Amazon

Sravana Kumar Reddy Yeruva’s Fusion Transformation Sets a New Standard in ERP Excellence

Building the Cloud Future: Sreedevi Velagala's Trek in AWS Architecture

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps