Utafutaji na Kupata: Kwa nini Mfano huu wa AI Unahitaji, Mafunzo, na Mfano

Wengi wa wafanyabiashara wa AI, vifaa vya ML, kazi za utajiri wa AI, mifumo ya utafiti wa kina, na injini za uamuzi zilizoongozwa na data hazifai kwa sababu mifano ni mbaya. Hasa, data huwa na umri mdogo, nje ya muktadha, isiyoweza kuthibitishwa, au zote tatu kwa wakati mmoja. Hiyo ni tatizo la msingi. Katika makala hii utaona nini Kwa kweli inamaanisha, jinsi inavyofanya kazi chini ya kapu, kwa nini ni muhimu zaidi kuliko watu wengi wanafikiri, na jinsi ya kutekeleza end-to-end na mfano halisi! Kutafuta na kuondoa Mahitaji ya habari safi, ya muktadha na ya kuaminika, ya kuthibitika Kwa mujibu wa Statista, takriban 402.74 milioni ya data hutengenezwa kila siku. Takwimu hizi zinaingia kwenye mtandao, maduka ya data, vichaka vya uchambuzi, na pipelines kwa kiwango ambacho ni vigumu kuzingatia kwa uaminifu. Lakini hapa ni uvuvi: data zaidi haimaanishi data bora! Katika volume hiyo, ni isiyo ya kweli kudhani kila kitu kinaonyesha ukweli - au kwamba inaweza hata kuaminika kwanza ... Makampuni bado hufanya maamuzi ya biashara, automatisering, na simu za AI kulingana na ya data. ya Na wakati chanzo ni zamani, kamili, au tu kawaida makosa ... ufahamu iliyoundwa juu yake haiwezi kuwa ya kuaminika. Hiyo ni kwa nini LLMs hallucinate, wafanyabiashara wa AI kutoa majibu ya kuwahakikishia lakini isiyo sahihi, na data pipelines kimya kushindwa katika uzalishaji. Katika kesi nyingi za dunia halisi, tatizo sio mfano, zana, au utekelezaji. Ikiwa unaendesha mchakato wa kazi wa uchambuzi wa kawaida au mfanyabiashara wa AI mwenyewe, kila kitu inategemea ubora wa data ya chanzo. Unahitaji data ambayo ni: Maji ya baridi Mtazamo wa kontekst Uhakika wa Baada ya yote, kama hujui Data iliyotolewa kutoka au ilichaguliwa, huwezi kuamini kwa uhalisi matokeo. ambapo Wakati wa Huu ndio swali halisi. Jinsi ya kutafuta kwa uhakika habari ambayo ni ya sasa, inayohusiana na kazi fulani, na inaweza kuhusishwa na chanzo chake? Jinsi ya kutafuta kwa uhakika habari ambayo ni ya sasa, inayohusiana na kazi fulani, na inaweza kuhusishwa na chanzo chake? Hiyo ni mahali ambapo Picha hii ilipigwa tokea ktk veranda za moja ya vyumba vya Manyara Serena Lodge. ☆☆☆ Search and Extract Utafutaji na Kutolewa: Ni Nini Na Kwa Nini Ni Suluhisho “Utafutaji na kutafuta” ni a mchakato wa kupata habari za sasa, za kuthibitishwa, na za mazingira kutoka kwenye wavuti . Ni rahisi katika muundo, lakini ni ufanisi sana katika mazoezi. Kiwango cha kweli Katika ngazi ya juu, inafanya kazi katika hatua mbili tofauti: Utafutaji: Mfumo unafanya utafutaji wa mtandao wa moja kwa moja kwenye injini za utafutaji kama Google ili kupata vyanzo vya kufaa zaidi na vya kuaminika kwa swali fulani. Kupata: Kutoka matokeo ya utafutaji, mfumo unatambua URLs muhimu zaidi, kutembelea kurasa hizo, na kupokea maudhui muhimu zaidi au data kutoka kwao. Hii inaweza kuwa na ukweli, takwimu, ufafanuzi, au habari iliyoundwa kutoka ukurasa. data iliyopatikana kisha inakuwa msingi wa msingi, wa kuaminika kwa hatua za chini katika pipeline. Mfano huu ni muhimu hasa katika maombi yanayohusiana na AI, kama vile wafanyakazi wa AI, , na mtiririko wa kazi wa AI wa kiwango cha biashara. Pia, inatumika kwa mafundisho ya jadi ya mashine, ukaguzi wa ukweli, na vifaa vya utajiri wa data. Mfumo wa RAG Mfumo wa RAG Lengo la mwisho la mfano wa "Utafuta na Kupata" ni kukabiliana na changamoto za data za kisasa kwa kuhakikisha habari zilizokusanywa ni: Fresh , kama data ya wavuti ya umma iliyochapishwa inakuja kutoka kwa utafutaji wa hivi karibuni wa wavuti, ambayo inaweza kuwa na habari za hivi karibuni na habari. kontekstual, kwa sababu habari ni karibu na mada zilizotajwa katika utafutaji. Inaweza kuthibitishwa, kwa sababu data hutoka moja kwa moja kutoka kwa kurasa maalum za wavuti, na URLs ambazo mtu yeyote anaweza kutembelea na kuangalia. Jinsi ya kutafuta na kuchukua kazi? Katika ngazi ya juu, "Kutafuta na Kupata" inaweza kuunganishwa na mtiririko wa kazi unaofuata: Upatikanaji wa mchakato huu wa kazi ni orodha ya mada zinazoweza kutafuta. Hizi kwa ujumla hupatikana katika mazingira kutoka kwa nyaraka, seti za data, au vyanzo vya habari zinazotolewa kwa kutumia AI / ML. Hiyo ni nini kawaida hutokea katika utajiri wa AI, ukaguzi wa data, mchakato wa kazi wa RAG, au maombi ya utafiti wa kina. Bila kujali chanzo, mada zinazoweza kutafuta hupelekwa kwenye kipengele cha "Utafutaji", ambapo ufumbuzi wa API wa SERP hufanya utafutaji wa mtandao wa kibinafsi kwenye injini ya utafutaji ya lengo. Baada ya kupata matokeo ya utafutaji, unaweza kuchunguza kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi kwa kurudi. Wakati wa kuelekeza maswali mengi ya utafutaji kwa wakati mmoja (kama maswali tofauti au kurasa nyingi kwa query moja), unaweza haja ya kuendesha algorithm maalum re-ranking. nafasi zinazotolewa na Google au injini yoyote ya utafutaji ni optimized kwa SEO, ambayo inaweza kutafakari nini ni muhimu kwa kesi yako ya matumizi. URL zilizochaguliwa baadaye zitatumwa kwenye "Extract" node, ambapo huduma ya scraping ya wavuti inapatikana kila ukurasa na inachukua habari kuu. Data hii iliyochaguliwa ni safi, ya mazingira, na inaweza kuthibitishwa, kama inahitajika. Kisha, hebu tutafuta huduma ambazo zinaingia katika mchezo katika "Utafutaji" na "Uchapishaji" hatua, kulingana! Utafutaji wa injini za utafutaji kama vile Google, Bing, DuckDuckGo, Baidu, na Yandex kulinda SERPs zao (Site za Matokeo ya injini ya utafutaji) na mipaka ya kiwango na CAPTCHAs ili kuzuia scraping ya moja kwa moja. Njia ya kuaminika zaidi ya kutekeleza hatua ya "Utafutaji" ni kwa kutumia ufumbuzi wa API ya SERP. Huduma hizi zinaonyesha pointi za mwisho ili kuchochea kazi za utafutaji katika wingu kwa kutumia miundombinu iliyoundwa kukabiliana na ufanisi na hatua za kupambana na bot kwa ajili yako. Ni msaada wa utafutaji wa kimataifa kupitia mtandao wa proxy wa zaidi ya IP milioni 150 katika nchi 195, inaweza kurudi data ya SERP iliyochapishwa kikamilifu katika JSON, inatoa chaguzi nyingi za pagination, na inasaidia ushirikiano katika data yoyote au mtiririko wa ML kutumia maombi ya HTTP ya kawaida, pamoja na mifumo ya zaidi ya 50 ya wafanyakazi wa AI na mtiririko wa kazi. API ya Serp ya Data ya Juu API ya Serp ya Data ya Juu Zaidi ya hayo, API ya SERP ya Bright Data inakuwezesha kuendesha idadi isiyo na kikomo ya maswali ya utafutaji kwa wakati mmoja. Hii inamaanisha unaweza kupata maelfu ya matokeo wakati wa awamu ya "Utafutaji". Kisha, unaweza kuvutia na kuweka upya kulingana na mahitaji yako katika awamu za baadaye za mchakato wa jumla wa "Utafutaji na Kuondoa" (kama ilivyoelezwa hapo awali). Ufafanuzi wa ️ Kutengeneza data ya wavuti ni sehemu ngumu zaidi. Sababu ni kwamba kila tovuti ni tofauti, na hata kurasa ndani ya uwanja mmoja zinaweza kufuata maonyesho tofauti, data-visualization, na logic ya kupata. Hii inafanya upatikanaji wa maudhui yao kwa programu kuwa vigumu sana. Zaidi ya hayo, tovuti huwa na hatua za kupambana na scraping ili kulinda data zao za umma za wavuti. Hii inahitaji huduma za tatu ambazo hutoa upatikanaji wa kuaminika wa maudhui ya kurasa za wavuti, bila kujali ni ulinzi gani, na bila kujali mahitaji yako ya kupanua. API ya Unlocker ya wavuti: API ambayo inapatikana kwenye ukurasa wowote wa wavuti wa umma kwa urahisi, kukabiliana na mipaka, CAPTCHAs, uchapishaji wa fingerprint, na rotation ya proxy moja kwa moja. API ya kivinjari: kivinjari cha wingu kilichohifadhiwa kikamilifu kinachokubalika na Puppeteer, Selenium, Playwright, na mifumo mingine ya uendeshaji, na ufumbuzi wa CAPTCHA wa ndani na usimamizi wa proxy wa moja kwa moja. Mtandao wa Unlocker API Mtandao wa Unlocker API Safari ya API Safari ya API Web Unlocker ni bora kwa ajili ya kupata maudhui ya ukurasa, au katika HTML nyekundu au Markdown tayari kwa AI (a Kwa maeneo ya nguvu ambayo yanahitaji ushirikiano au automatisering kufikia data unayohitaji, API ya Browser ni bora. great data format for LLM ingestion Muundo mzuri wa data kwa LLM ingestion Pamoja, ufumbuzi huu wawili unafunika kila kitu kinachohitajika kwa hatua ya "Extract" ya mtiririko wa kazi wa "Kutafuta na Kuondoa". Jinsi ya kutekeleza utafutaji na uchapishaji wa kazi katika Python Jifunze jinsi ya kutekeleza mtiririko wa kazi wa "Kutafuta na Kupata" katika Python: Kwa hatua ya Utafutaji, utatumia API ya SERP ya Bright Data kuendesha utafutaji wa mtandao wa moja kwa moja. Kwa hatua ya Kuondoa, utategemea API ya Unlocker ya wavuti ili kupata na kufafanua maudhui kutoka kwa kurasa zilizochaguliwa. Endelea kufuatilia utangulizi hapa chini! Mahitaji ya Ili kufuata pamoja na sehemu hii ya mafunzo, hakikisha una: Python 3.9+ imewekwa ndani. Akaunti ya Data iliyoundwa na eneo la API la SERP na eneo la API la Web Unlocker, pamoja na kifungo chako cha API. Ikiwa hujui jinsi ya kuanza na API ya SERP ya Bright Data au bidhaa za API ya Web Unlocker, kufuata nyaraka rasmi: Ufafanuzi wa SERP API Maelezo ya API ya Unlocker ya Data Ufafanuzi wa SERP API Ufafanuzi wa SERP API Maelezo ya API ya Unlocker ya Data Maelezo ya API ya Unlocker ya Data Kuanzia sasa, tutaelekeza eneo lako la SERP kama na kwenye eneo lako la API ya Unlocker kama : serp_api web_unlocker Kwa hiyo, hakikisha kuwa kanda imewekwa katika hali ya "JSON kamili" katika sehemu ya "Data Format" ndani ya meza ya usanidi: serp_api Kwa njia hii, API ya Data ya Juu ya SERP itarejesha matokeo ya SERP yaliyochapishwa katika muundo wa JSON, na kuifanya iwe rahisi kuwasilishwa na kupanda upya. Mwisho wa Hii itatumika kuthibitisha maombi kwa huduma zilizotajwa hapo juu! generate your Bright Data API key Tengeneza kifungo chako cha API cha Data Ili kuharakisha mchakato, tutafikiri kwamba tayari una mradi wa Python uliowekwa na mazingira ya virtual. Hatua #1: Kujiandaa kufikia Huduma za Takwimu za Juu kupitia API Njia rahisi zaidi ya kuunganisha na huduma za Data ya Juu ni moja kwa moja kupitia API yake. Kwanza, kufunga mteja wa HTTP wa async tayari kama AIOHTTP: pip install aiohttp Kisha, kufafanua kazi mbili zifuatazo za kuita API ya SERP na API ya Unlocker ya wavuti, kulingana na: # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() ya kazi inashirikiana na API ya Data ya Juu SERP ili kufanya utafutaji wa Google na kupata matokeo ya JSON SERP yaliyopangwa (kama ilivyoundwa kwenye akaunti yako). fetch_serp() Kwa mfano, kuunganisha na API ya Bright Data Web Unlocker ili kupata kurasa za wavuti. Kuunda output kama Markdown, ambayo ni bora kwa kuingiza katika LLMs. fetch_page() Kwa maelezo zaidi juu ya maneno, vigezo, na jinsi ya kuita API hizi mbili, angalia docs! Katika uzalishaji, unapaswa kuepuka hardcoding API yako ya data safi. Badala yake, kupakia kutoka kwa variable ya mazingira. Note Sasa una vituo vya kujenga kutekeleza hatua za "Utafutaji" na "Uchapishaji" katika Kazi ya: async import asyncio async def main(): # "Search and Extract" logic... # Run the async main function asyncio.run(main()) Hatua #2: Kufanya hatua ya kuondoa Fikiria kuwa una wafanyabiashara wa AI wanaotegemea ushirikiano wa MCP na unataka kuzalisha ripoti ambayo inaonyesha jinsi mabadiliko ya baadaye katika mkataba yanaweza kuathiri yao, vipengele vipya vinavyopatikana, na kadhalika. LLM ya kawaida haiwezi kusaidia sana na kazi hiyo, kwa sababu MCP ni mpya na mifano mingi ilifundishwa juu ya data ya zamani. "new version of MCP" Piga simu API ya SERP ili kupata matokeo ya Google SERP iliyopangwa kwa query hiyo ya utafutaji: # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) Nyuma ya vichwa, wa kazi huita API ya SERP kwa kutumia query ya utafutaji iliyotolewa. Ikiwa unahitaji kushughulikia maswali mengi, unaweza kuita Kutumia kwa ushindani . fetch_serp() fetch_serp() asyncio.gather() Kwa default, API ya SERP inatoa matokeo 10 kwa query, lakini inaweza kurekebishwa kwa kurudi matokeo hadi 100. Note inatoa matokeo ya Google SERP kama neno la Python. Upatikanaji wa cheo kwa kutumia Maelezo ya: fetch_serp() organic serp_ranking_results = serp_results.get("organic", []) Kuchapisha matokeo ya utafutaji, na unapaswa kupata matokeo sawa na haya: Kumbuka jinsi kila kipengele katika mstari kinakubaliwa kwa usahihi na matokeo ambayo utapata kwa kutafuta "mchakato mpya wa MCP" kwenye Google: Hatua #3: Filter URLs ya maslahi Kutokana na matokeo yote ya SERP yaliyotolewa na wito wa API ya SERP, hebu angalia unahusika na matokeo ya juu ya 3 kutoka " Domain (domaini rasmi kwa maelezo ya MCP). Pia, hebu fikiria cheo cha awali cha Google kama cheo unachotaka kuhifadhi. Mfumo wa Mifumo ya Mifumo.io Mfumo wa Mifumo ya Mifumo.io Filter yao kama ifuatavyo: # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_data_results: page_url = result.get("url") if "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) # Stop once reaching 3 results if len(page_url) == 3: break Matokeo itakuwa orodha ya URLs kufikia wakati wa "Extract" hatua. Katika kozi hii, URLs zilizotajwa ni: [ "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/", "https://modelcontextprotocol.io/development/roadmap", "https://modelcontextprotocol.io/specification/2025-11-25" ] Ni wakati wa kuchukua habari kutoka kwa kurasa hizi! Hatua #4: Kufanya hatua ya kuondoa Tumia kwa kazi ya kuita API ya Unlocker ya wavuti na kufuta kurasa tatu zilizochaguliwa kwa pamoja: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) : Ikiwa unashughulikia tovuti ya nguvu ambayo inahitaji ushirikiano wa mtumiaji, uchapisha data kutoka kwake kwa kutumia teknolojia ya uendeshaji wa kivinjari kama Playwright, iliyounganishwa na API ya kivinjari. Note Matokeo yatakuwa mfululizo unao na maudhui ya kila ukurasa wa lengo. Upatikana maudhui ya Markdown iliyopunguzwa kutoka kwa kila ukurasa na: markdown_pages = [page for page in web_page_results] Tafadhali angalia kwamba mfululizo unahusisha Markdown ya kurasa za lengo: for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") Katika kesi hii, output ni: Hii inahusiana na toleo la Markdown la kila ukurasa wa lengo, ambayo ina maana kwamba API ya Web Unlocker ilikuwa na uwezo wa kufanya uchimbaji wa data ya wavuti kwa ufanisi, bila kujali hatua yoyote ya kupambana na bot au kupambana na scraping. Kutokana na data hii mpya, mazingira, na kuthibitishwa, kuhifadhi kwa uchambuzi zaidi, kupitisha kwa LLM kwa usindikaji, kutumia ili kugundua mada nyingine ya maslahi, kuendelea na utafiti wa kina, au kuomba kwa kesi nyingine nyingi. Hatua ya #5: Kodi kamili Toleo la mwisho la mfano ni: # pip install aiohttp import asyncio import aiohttp import urllib.parse import json # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() async def main(): # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_results.get("organic", []): page_url = result.get("link") if page_url and "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) if len(pages_of_interest) == 3: break print("Pages to scrape:", pages_of_interest) # Extract phase: Scrape pages concurrently tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) # Access the content from each page markdown_pages = [page for page in web_page_results] print("Scraped page contents:") for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") # AI processing, RAG pipelines, or further workflows... # Run the async main function asyncio.run(main()) Shukrani kwa bidhaa zilizo tayari kwa API za Data, unaweza kutekeleza mchakato wa kazi wa ufanisi, wa kiwango cha biashara, tayari kwa uzalishaji "Kutafuta na Kupata" katika safu za 50 za nambari ya Python! Mwisho wa Katika chapisho hili, umeangalia kwa nini njia za data na kazi za AI zinategemea habari za sasa, za mazingira, na za kuaminika. Njia moja ya kuaminika ya kukusanya data hii ni kupitia Aina ya AI, ambayo kwa ufanisi imekuwa mbinu ya kiwango cha upatikanaji wa data ya mtandao wa ubora wa juu, inayoweza kuthibitishwa. hatua automatises utafutaji katika injini za utafutaji, wakati fainali inachukua habari iliyoundwa kutoka kwa matokeo muhimu zaidi. Kutafuta na kuondoa Utafutaji wa Ufafanuzi wa ️ Kama ilivyoonyeshwa katika makala hii, kutumia jukwaa la kuchora wavuti tayari kwa AI kama Data ya Juu inafanya utekelezaji wa mchakato huu wa kazi ufanisi na ufanisi. na kuchunguza ufumbuzi wake wote wa data ya mtandao! Kuanza jaribio la bure la Data ya Juu leo Kuanza jaribio la bure la Data ya Juu leo Makala hii imechapishwa kupitia programu ya Blogging ya Biashara ya HackerNoon. Makala hii imechapishwa kupitia programu ya Blogging ya Biashara ya HackerNoon.