Pencarian dan Ekstrak: Mengapa Pattern AI Ini Penting, Tutorial, dan Contoh

Kebanyakan agen AI, paip ML, aliran kerja pengayaan AI, sistem penyelidikan mendalam, dan enjin keputusan berasaskan data tidak gagal kerana model-model yang buruk. Secara khusus, data cenderung menjadi lama, di luar konteks, tidak boleh disahkan, atau ketiga-tiga pada satu masa.Ini adalah masalah teras.Dan corak AI "Cari dan Ekstrak" wujud untuk memperbaiki itu! ✨ Dalam artikel ini, anda akan melihat apa yang sebenarnya bermakna, bagaimana ia berfungsi di bawah kapak, mengapa ia penting lebih daripada kebanyakan orang fikir, dan bagaimana untuk menerapkannya end-to-end dengan contoh konkret! Pencarian dan ekstrak Keperluan untuk maklumat yang segar, kontekstual, dan boleh dipercayai, boleh dipercayai Menurut Statista, kira-kira 402.74 juta terabyte data dihasilkan setiap hari. Data itu mengalir ke dalam web, gudang data, tumpukan analisis, dan paip pada skala yang benar-benar sukar untuk berfikir. Tetapi inilah tangkapan: lebih banyak data tidak bermakna data yang lebih baik! Pada volume itu, ia tidak realistik untuk menganggap bahawa segala-galanya mencerminkan realiti - atau bahawa ia boleh dipercayai di tempat pertama ... Syarikat-syarikat masih membuat keputusan perniagaan, automasi, dan panggilan AI berasaskan data yang yang Dan apabila sumber telah usang, tidak lengkap, atau hanya salah ... wawasan yang dibina di atasnya tidak boleh dipercayai. Inilah sebabnya mengapa LLM berhalusinasi, agen AI memberikan jawapan yang meyakinkan tetapi tidak betul, dan paip data diam-diam gagal dalam pengeluaran. Dalam kebanyakan kes dunia sebenar, masalahnya bukan model, alat, atau pelaksanaan. Sama ada anda menjalankan aliran kerja analisis klasik atau agen AI yang sepenuhnya autonomi, semuanya bergantung kepada kualiti data sumber. segar kontekstual Pengesahan Selepas semua, jika anda tidak tahu Data yang diperolehi daripada atau telah dikumpulkan, anda tidak boleh percaya secara realistis kepada hasilnya. di mana bila Itulah soalan sebenar. Bagaimanakah anda boleh mendapatkan maklumat yang boleh dipercayai yang terkini, berkaitan dengan tugas tertentu, dan boleh dikaitkan dengan sumbernya? Bagaimanakah anda boleh mendapatkan maklumat yang boleh dipercayai yang terkini, berkaitan dengan tugas tertentu, dan boleh dikaitkan dengan sumbernya? Di sinilah tempat yang Pattern datang! mari kita memecahkannya. Search and Extract Pencarian dan Ekstrak: Apa Ia Dan Mengapa Ia Penyelesaian Pencarian dan Ekstrak ialah a proses untuk mendapatkan maklumat terkini, boleh diperiksa, dan kaya konteks dari web . ia mudah dalam struktur, tetapi sangat berkesan dalam amalan. Kegunaan De facto Pada tahap yang tinggi, ia beroperasi dalam dua langkah yang berbeza: Pencarian: Sistem menjalankan carian web langsung pada enjin carian seperti Google untuk mencari sumber yang paling relevan dan boleh dipercayai untuk pertanyaan tertentu. Ekstrak: Dari hasil carian, sistem mengenal pasti URL yang paling relevan, melawat halaman-halaman tersebut, dan mendapatkan kandungan atau data yang paling berguna daripada mereka.Ini boleh termasuk fakta, statistik, definisi, atau maklumat terstruktur yang dianalisis dari halaman. Pattern ini sangat berguna dalam aplikasi yang berkaitan dengan AI, seperti agen AI, , dan aliran kerja AI peringkat syarikat. Juga, ia terpakai kepada paip pembelajaran mesin tradisional, pemeriksaan fakta, dan pengayaan data. Sistem agensi RAG Sistem agensi RAG Matlamat akhir corak "Cari dan Ekstrak" ialah untuk menangani cabaran data moden dengan memastikan maklumat yang dikumpulkan adalah: Segar , kerana data web awam yang dipotong berasal daripada carian web baru-baru ini, yang boleh termasuk maklumat dan berita terkini. Kontekstual , kerana maklumat diselaraskan dengan topik yang dinyatakan dalam pertanyaan carian. Verifiable , kerana data berasal langsung daripada halaman web tertentu, dengan URL yang boleh dikunjungi dan disemak oleh sesiapa sahaja. Bagaimanakah Pencarian dan Ekstrak berfungsi? Pada tahap yang tinggi, "Cari dan Ekstrak" boleh disimpulkan dengan aliran kerja berikut: Input untuk aliran kerja ini ialah senarai topik yang boleh dicari.Ia biasanya dikeluarkan secara kontekstual daripada dokumen, set data, atau sumber maklumat yang diberikan menggunakan AI / ML.Ia adalah apa yang biasa berlaku dalam pengayaan AI, pengesahan data, aliran kerja RAG, atau aplikasi penyelidikan mendalam. Terlepas daripada sumber, topik yang boleh dicari dihantar ke komponen "Cari", di mana penyelesaian API SERP menjalankan carian web automatik pada enjin carian sasaran.Selepas mendapatkan hasil carian, anda boleh mempertimbangkan semua halaman web yang dikembalikan atau menyaring hanya yang paling relevan menggunakan AI / ML atau peraturan yang ketat (contohnya, mengekalkan halaman dari domain tertentu, bahasa, atau kriteria lain). Apabila menargetkan pelbagai pertanyaan carian pada masa yang sama (walaupun pertanyaan yang berbeza atau pelbagai halaman untuk pertanyaan yang sama), anda mungkin perlu menjalankan algoritma penilaian semula tersuai. kedudukan yang disediakan oleh Google atau mana-mana enjin carian dioptimumkan untuk SEO, yang mungkin tidak mencerminkan apa yang penting untuk kes penggunaan anda. URL yang dipilih kemudian dihantar ke nod “Extract”, di mana perkhidmatan web scraping mengakses setiap halaman dan mengekstrak maklumat utama. Seterusnya, mari kita meneroka perkhidmatan yang terlibat dalam fasa "Cari" dan "Extract" masing-masing! Pencarian Enjin carian seperti Google, Bing, DuckDuckGo, Baidu, dan Yandex melindungi SERP mereka (Laman Hasil Mesin Carian) dengan had kadar dan CAPTCHA untuk mengelakkan pemotongan automatik. Oleh kerana itu, bot pemotongan yang cuba mendapatkan SERP secara langsung sering dihalang. Cara yang paling boleh dipercayai untuk melaksanakan fasa "Cari" adalah dengan menggunakan penyelesaian API SERP. Perkhidmatan ini mendedahkan titik akhir untuk memicu tugas carian dalam awan menggunakan infrastruktur yang direka untuk menangani skalabiliti dan langkah-langkah anti-bot untuk anda. Ia menyokong carian global melalui rangkaian proxy lebih daripada 150 juta IP di 195 negara, boleh mengembalikan data SERP yang diselesaikan sepenuhnya dalam JSON, menawarkan banyak pilihan paginasi, dan menyokong integrasi ke dalam mana-mana data atau paip ML menggunakan permintaan HTTP standard, serta lebih daripada 50 kerangka kerja dan aliran kerja agen AI. Bright Data’s SERP API Serp API bagi data yang cerah Di samping itu, API SERP Bright Data membolehkan anda menjalankan bilangan soalan carian yang tidak terhad secara bersamaan. Ini bermakna anda boleh mendapatkan beribu-ribu hasil semasa fasa "Cari". Pengenalan ️ Ekstraksi data web adalah bahagian yang lebih sukar. sebabnya adalah bahawa setiap laman web adalah berbeza, dan walaupun halaman dalam domain yang sama boleh mengikuti penyerahan yang berbeza, data-visualization, dan logik pencarian. Ini membuat akses programmatik kepada kandungan mereka agak sukar. Di samping itu, laman web cenderung mengambil langkah-langkah anti-scraping untuk melindungi data web awam yang berharga mereka. Ini memerlukan perkhidmatan pihak ketiga yang membolehkan anda untuk mengakses kandungan halaman web secara boleh dipercayai, tidak kira betapa dilindungi mereka, dan tidak kira keperluan keluasan anda.Dalam hal ini, Bright Data adalah salah satu penyedia penyelesaian web terbaik di pasaran, berkat alat-alat seperti: Web Unlocker API: API yang mengakses mana-mana halaman web awam dengan mudah, menangani blok, CAPTCHA, sidik jari, dan rotasi proxy secara automatik. Browser API: Pelayar awan yang dihoskan sepenuhnya yang bersesuaian dengan Puppeteer, Selenium, Playwright, dan kerangka kerja automatik lain, dengan penyelesaian CAPTCHA bawaan dan pengurusan proxy automatik. Laman web Unlocker API Laman web Unlocker API Penyemak api Penyemak api Web Unlocker adalah ideal untuk mendapatkan kandungan halaman, sama ada dalam HTML mentah atau AI siap Markdown (a Untuk tapak dinamik yang memerlukan interaksi atau automasi untuk mengakses data yang anda perlukan, Browser API adalah yang lebih sesuai. great data format for LLM ingestion format data yang hebat untuk pengambilan LLM Bersama-sama, kedua-dua penyelesaian ini meliputi apa-apa yang diperlukan untuk peringkat "Extract" aliran kerja "Cari dan Ekstrak". Bagaimana untuk melaksanakan carian dan mengekstrak aliran kerja dalam Python Belajar bagaimana untuk melaksanakan aliran kerja "Cari dan Ekstrak" yang realistis dalam Python: Untuk fasa carian, anda akan menggunakan API SERP Bright Data untuk menjalankan carian web secara langsung. Untuk fasa Ekstrak, anda akan bergantung kepada API Web Unlocker untuk mendapatkan dan menganalisa kandungan daripada halaman yang dipilih. Ikuti pengenalan di bawah! Syarat Untuk mengikuti bersama-sama dengan seksyen tutorial ini, pastikan anda mempunyai: Python 3.9+ telah dipasang secara tempatan. Akaun Data Cemerlang yang dikonfigurasi dengan zon API SERP dan zon API Web Unlocker, bersama dengan kunci API anda. Jika anda tidak tahu bagaimana untuk memulakan dengan Bright Data SERP API atau produk Web Unlocker API, ikuti dokumen rasmi: Pengenalan kepada SERP API Pengenalan kepada Bright Data Unlocker API Pengenalan kepada SERP API Pengenalan kepada SERP API Pengenalan kepada Bright Data Unlocker API Pengenalan kepada Bright Data Unlocker API Mulai sekarang, kami akan merujuk kepada kawasan API SERP anda sebagai dan ke kawasan API Web Unlocker anda sebagai : serp_api web_unlocker Oleh itu, pastikan bahawa zon dikonfigurasi dalam mod "JSON Penuh" dalam seksyen "Data Format" di dalam jadual konfigurasi: serp_api Dengan cara ini, API Bright Data SERP akan mengembalikan hasil SERP yang disemak dalam format JSON, menjadikannya lebih mudah untuk difilter dan disemak semula. Akhir sekali, Ini akan digunakan untuk mengesahkan permintaan kepada perkhidmatan yang disebutkan di atas! Menghasilkan Kunci API Bright Data anda Menghasilkan Kunci API Bright Data anda Untuk mempercepatkan proses, kami akan menganggap bahawa anda sudah mempunyai projek Python yang ditetapkan dengan persekitaran maya di tempat. Langkah #1: Bersedia untuk Mengakses Perkhidmatan Data Cerah melalui API Cara termudah untuk menyambung ke perkhidmatan Bright Data adalah secara langsung melalui API. Pertama, memasang klien HTTP async-ready seperti AIOHTTP: pip install aiohttp Seterusnya, tentukan dua fungsi berikut untuk memanggil API SERP dan API Web Unlocker, masing-masing: # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() yang fungsi menyambung ke API Bright Data SERP untuk menjalankan carian Google dan mendapatkan hasil JSON SERP yang dipaparkan (seperti yang dikonfigurasi dalam akaun anda). fetch_serp() Begitu juga, menyambung ke API Bright Data Web Unlocker untuk mengambil halaman web. Mengkonfigurasi output sebagai Markdown, yang ideal untuk pengambilan ke dalam LLM. fetch_page() Untuk maklumat lanjut mengenai argumen, parameter, dan bagaimana untuk memanggil kedua-dua API, rujuk ke docs! : Dalam pengeluaran, elakkan hardcoding kunci API Bright Data anda. sebaliknya, muat turun daripada variabel persekitaran. Note Sekarang anda mempunyai blok pembinaan untuk melaksanakan fasa "Cari" dan "Extract" dalam Fungsi : async import asyncio async def main(): # "Search and Extract" logic... # Run the async main function asyncio.run(main()) Langkah #2: Lakukan Tahap Ekstrak Katakan anda mempunyai agen AI yang bergantung kepada integrasi MCP dan mahu menghasilkan laporan yang menunjukkan bagaimana perubahan masa depan dalam protokol boleh menjejaskan mereka, apa ciri-ciri baru yang akan tersedia, dan sebagainya. LLM biasa tidak boleh membantu banyak dengan tugas itu, kerana MCP agak baru dan kebanyakan model telah dilatih pada data yang lebih tua. "new version of MCP" Hubungi API SERP untuk mendapatkan hasil Google SERP yang disemak untuk pertanyaan carian tersebut: # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) Di sebalik adegan, mereka fungsi memanggil API SERP menggunakan pertanyaan carian yang disediakan. Jika anda perlu menangani pelbagai pertanyaan, anda boleh memanggil Persaingan menggunakan . fetch_serp() fetch_serp() asyncio.gather() : Secara lalai, API SERP mengembalikan 10 hasil setiap pertanyaan, tetapi ia boleh dikonfigurasi untuk mengembalikan sehingga 100 hasil. Note mengembalikan hasil Google SERP yang dipaparkan sebagai kamus Python. Atribut : fetch_serp() organic serp_ranking_results = serp_results.get("organic", []) Cetak hasil carian, dan anda perlu mendapatkan output yang serupa dengan ini: Perhatikan bagaimana setiap elemen dalam array sesuai dengan hasil yang anda akan dapatkan dengan mencari "versi baru MCP" di Google: Langkah #3: Filter URL yang menarik Daripada semua hasil SERP yang dikembalikan oleh panggilan API SERP, asumsikan anda berminat dengan sehingga 3 hasil teratas daripada " Domain (domain rasmi untuk spesifikasi MCP).Selain itu, mari kita pertimbangkan kedudukan asal Google sebagai kedudukan yang anda mahu simpan. Rujukan Protokol.io Rujukan Protokol.io Filter mereka seperti berikut: # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_data_results: page_url = result.get("url") if "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) # Stop once reaching 3 results if len(page_url) == 3: break Hasilnya akan menjadi senarai URL untuk diakses semasa fasa "Extract". [ "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/", "https://modelcontextprotocol.io/development/roadmap", "https://modelcontextprotocol.io/specification/2025-11-25" ] Masa untuk mengekstrak maklumat daripada halaman-halaman ini! Langkah #4: Lakukan Fasa Ekstrak Gunakan yang fungsi untuk memanggil API Web Unlocker dan memotong tiga halaman yang dipilih secara paralel: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) : Jika anda berurusan dengan laman dinamik yang memerlukan interaksi pengguna, keluarkan data daripadanya menggunakan teknologi automasi pelayar seperti Playwright, yang disepadukan dengan API Pelayar. Note Hasilnya akan menjadi array yang mengandungi kandungan setiap halaman sasaran. Akses kepada kandungan Markdown yang dikunci dari setiap halaman dengan: markdown_pages = [page for page in web_page_results] Pastikan bahawa array benar-benar mengandungi markdown halaman sasaran: for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") Dalam kes ini, output ialah: Ini sepadan dengan versi Markdown setiap halaman yang ditargetkan, yang bermakna API Web Unlocker mampu melakukan pengekstrakan data web dengan berjaya, terlepas daripada apa-apa langkah anti-bot atau anti-skraping yang ada. Memandangkan data segar, konteks dan boleh disahkan ini, simpan untuk analisis lebih lanjut, hantar kepada LLM untuk pemprosesan, gunakan untuk mendeteksi topik tambahan yang menarik minat, terus dengan penyelidikan yang lebih mendalam, atau menerapkannya kepada banyak kes penggunaan lain. Langkah #5: Kode Lengkap Versi terakhir contoh ialah: # pip install aiohttp import asyncio import aiohttp import urllib.parse import json # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() async def main(): # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_results.get("organic", []): page_url = result.get("link") if page_url and "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) if len(pages_of_interest) == 3: break print("Pages to scrape:", pages_of_interest) # Extract phase: Scrape pages concurrently tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) # Access the content from each page markdown_pages = [page for page in web_page_results] print("Scraped page contents:") for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") # AI processing, RAG pipelines, or further workflows... # Run the async main function asyncio.run(main()) Terima kasih kepada produk yang bersedia API Data, anda boleh melaksanakan aliran kerja "Cari dan Ekstrak" yang berkesan, kelas enterprise, bersedia untuk pengeluaran dalam kurang daripada 50 baris kod Python! Kesimpulan Dalam post ini, anda melihat mengapa paip data dan aliran kerja AI bergantung kepada maklumat terkini, konteks dan boleh dipercayai. pada akhirnya, input yang lebih baik membawa kepada output yang lebih baik, terutamanya dalam sistem yang didorong oleh AI! Satu cara yang boleh dipercayai untuk mengumpul data itu ialah melalui Pattern AI, yang secara berkesan telah menjadi pendekatan standard untuk mengakses data web berkualiti tinggi dan boleh diperiksa. fasa automatik penemuan di seluruh enjin carian, manakala fasa menarik maklumat terstruktur daripada hasil yang paling relevan. Pencarian dan ekstrak Pencarian Pengenalan ️ Seperti yang ditunjukkan sepanjang artikel ini, menggunakan platform web scraping bersedia AI seperti Bright Data menjadikan pelaksanaan aliran kerja ini praktikal dan boleh diperluas. dan meneroka semua penyelesaian data web mereka! Start a Bright Data free trial today Mulakan percubaan percuma Bright Data hari ini Artikel ini diterbitkan melalui program Blogging Perniagaan HackerNoon. Artikel ini diterbitkan melalui program Blogging Perniagaan HackerNoon.