Pencarian dan Ekstrak: Mengapa Pattern AI Ini Penting, Tutorial, dan Contoh

Sebagian besar agen AI, pipa ML, alur kerja memperkaya AI, sistem penelitian mendalam, dan mesin keputusan berbasis data tidak gagal karena modelnya buruk. Secara khusus, data cenderung usang, keluar dari konteks, tidak dapat diverifikasi, atau semua tiga sekaligus. itulah masalah inti. dan pola AI “Search and Extract” ada untuk memperbaiki itu! ✨ Dalam artikel ini, Anda akan melihat apa yang sebenarnya berarti, bagaimana itu bekerja di bawah topi, mengapa itu penting lebih dari kebanyakan orang berpikir, dan bagaimana menerapkannya end-to-end dengan contoh konkret! Pencarian dan ekstrak Kebutuhan untuk informasi yang segar, kontekstual, dan dapat dipercaya, dapat diperiksa Menurut Statista, sekitar 402,74 juta terabyte data dihasilkan setiap hari. Data itu mengalir ke web, gudang data, tumpukan analisis, dan pipa pada skala yang benar-benar sulit untuk dipikirkan. Tapi inilah catch: lebih banyak data tidak berarti data yang lebih baik! Pada volume itu, tidak realistis untuk mengasumsikan bahwa semuanya mencerminkan realitas - atau bahwa itu bahkan dapat dipercaya di tempat pertama ... Perusahaan masih membuat keputusan bisnis, otomatisasi, dan panggilan berbasis AI berdasarkan data tersebut. yang Dan ketika sumbernya usang, tidak lengkap, atau hanya salah ... wawasan yang dibangun di atasnya tidak dapat diandalkan. Inilah sebabnya mengapa LLM berhalusinasi, agen AI memberikan jawaban yang meyakinkan tetapi salah, dan pipa data diam-diam gagal dalam produksi. Dalam kebanyakan kasus dunia nyata, masalahnya bukan model, alat, atau implementasi. Apakah Anda menjalankan alur kerja analisis klasik atau agen AI yang sepenuhnya otonom, semuanya tergantung pada kualitas data sumber. segar Konteks yang Verifikasi Setelah semua, jika Anda tidak tahu Data tersebut berasal dari atau itu dikumpulkan, Anda tidak dapat percaya secara realistis hasilnya. dimana Ketika Itulah pertanyaan yang sebenarnya. Bagaimana Anda dapat dengan dapat diandalkan mendapatkan informasi yang up-to-date, relevan untuk tugas tertentu, dan terbukti terhubung kembali ke sumbernya? Bagaimana Anda dapat dengan dapat diandalkan mendapatkan informasi yang up-to-date, relevan untuk tugas tertentu, dan terbukti terhubung kembali ke sumbernya? Di sinilah tempat yang Pattern datang! mari kita memecahkannya. Search and Extract Pencarian dan Ekstrak: Apa Itu dan Mengapa Itu Solusi Search and Extract adalah sebuah Proses untuk mendapatkan informasi terkini, terverifikasi, dan kaya konteks dari web . itu sederhana dalam struktur, tetapi sangat efektif dalam praktek. Standar de facto Pada tingkat tinggi, ia beroperasi dalam dua langkah yang berbeda: Pencarian: Sistem melakukan pencarian web langsung pada mesin pencari seperti Google untuk menemukan sumber yang paling relevan dan dapat diandalkan untuk kueri tertentu. Ekstrak: Dari hasil pencarian, sistem mengidentifikasi URL yang paling relevan, mengunjungi halaman-halaman tersebut, dan mendapatkan konten atau data yang paling berguna dari mereka. Ini dapat mencakup fakta, statistik, definisi, atau informasi terstruktur yang dianalisis dari halaman. Pattern ini sangat berguna dalam aplikasi terkait AI, seperti agen AI, , dan alur kerja AI kelas perusahaan. juga, itu berlaku untuk pipa pembelajaran mesin tradisional, pemeriksaan fakta, dan pengayaan data. agentic RAG systems Sistem Agen RAG Tujuan akhir dari pola “Search and Extract” adalah untuk mengatasi tantangan data modern dengan memastikan informasi yang dikumpulkan adalah: Segar , karena data web publik yang dihapus berasal dari pencarian web terbaru, yang dapat mencakup informasi dan berita terbaru. Kontekstual, karena informasi yang disesuaikan dengan topik yang ditentukan dalam kueri pencarian. Verifikasi, karena data berasal langsung dari halaman web tertentu, dengan URL yang dapat dikunjungi dan diperiksa oleh siapa saja. Bagaimana pencarian dan ekstraksi bekerja? Pada tingkat tinggi, “Cari dan Ekstrak” dapat disimpulkan dengan alur kerja berikut: Input untuk alur kerja ini adalah daftar topik yang dapat dicari. ini biasanya secara kontekstual diekstrak dari dokumen, set data, atau sumber informasi yang diberikan menggunakan AI / ML. Itu yang biasanya terjadi dalam pengayaan AI, verifikasi data, alur kerja RAG, atau aplikasi penelitian mendalam. Terlepas dari sumber, topik yang dapat dicari ditransfer ke komponen "Cari", di mana solusi SERP API melakukan pencarian web otomatis pada mesin pencari target.Setelah mendapatkan hasil pencarian, Anda dapat mempertimbangkan semua halaman web yang dikembalikan atau menyaring hanya yang paling relevan menggunakan AI / ML atau aturan ketat (misalnya, menjaga halaman dari domain tertentu, bahasa, atau kriteria lainnya). Ketika menargetkan beberapa pertanyaan pencarian sekaligus (baik pertanyaan yang berbeda atau beberapa halaman untuk pertanyaan yang sama), Anda mungkin perlu menjalankan algoritma re-ranking yang disesuaikan. peringkat yang disediakan oleh Google atau mesin pencari mana pun dioptimalkan untuk SEO, yang mungkin tidak mencerminkan apa yang penting untuk kasus penggunaan Anda. URL yang dipilih kemudian dikirim ke node “Extract”, di mana layanan scraping web mengakses setiap halaman dan mengekstrak informasi utama. Selanjutnya, mari kita jelajahi layanan yang masuk ke dalam permainan dalam fase “Search” dan “Extract” masing-masing! Pencarian Mesin pencari seperti Google, Bing, DuckDuckGo, Baidu, dan Yandex melindungi SERPs (Search Engine Results Pages) mereka dengan batas tingkat dan CAPTCHAs untuk mencegah scraping otomatis. Karena itu, scraping bot yang mencoba untuk mengambil SERPs secara langsung sering diblokir. Cara paling dapat diandalkan untuk melakukan fase “Search” adalah dengan menggunakan solusi API SERP. Layanan ini mengekspos titik akhir untuk memicu tugas pencarian di awan menggunakan infrastruktur yang dirancang untuk menangani skala dan langkah anti-bot untuk Anda. Ini mendukung pencarian global melalui jaringan proxy lebih dari 150 juta IP di 195 negara, dapat mengembalikan data SERP yang sepenuhnya dianalisa dalam JSON, menawarkan banyak opsi paginasi, dan mendukung integrasi ke dalam semua data atau pipa ML menggunakan permintaan HTTP standar, serta lebih dari 50 framework dan alur kerja agen AI. Serp API dari Bright Data Serp API dari Bright Data Selain itu, API SERP dari Bright Data memungkinkan Anda untuk menjalankan jumlah pertanyaan pencarian yang tidak terbatas secara paralel. Ini berarti Anda dapat mendapatkan ribuan hasil selama fase “Cari”. Kemudian, Anda dapat memfilter dan peringkat ulang sesuai dengan kebutuhan Anda pada tahap berikutnya dari keseluruhan proses “Cari dan Ekstrak” (seperti disebutkan sebelumnya). Pengumuman ️ Penyebabnya adalah bahwa setiap situs web berbeda, dan bahkan halaman dalam domain yang sama dapat mengikuti rendering, data-visualization, dan logika retrieval yang berbeda. Ini membuat mengakses konten mereka secara programatis cukup sulit. Itu membutuhkan layanan pihak ketiga yang memungkinkan Anda untuk secara dapat diandalkan mengakses konten halaman web, terlepas dari seberapa terlindungi mereka, dan terlepas dari kebutuhan skalabilitas Anda. dalam hal ini, Bright Data adalah salah satu penyedia solusi web scraping terbaik di pasar, berkat alat-alat seperti: Web Unlocker API: API yang mengakses setiap halaman web publik dengan mudah, menangani blok, CAPTCHA, sidik jari, dan rotasi proxy secara otomatis. Browser API: Browser cloud yang sepenuhnya diselenggarakan yang kompatibel dengan Puppeteer, Selenium, Playwright, dan kerangka kerja otomatisasi lainnya, dengan penyelesaian CAPTCHA built-in dan manajemen proxy otomatis. Aplikasi Unlocker API Aplikasi Unlocker API Browser dengan API Browser API Web Unlocker sangat ideal untuk mengunduh konten halaman, baik dalam HTML mentah atau AI-ready Markdown (a Untuk situs dinamis yang membutuhkan interaksi atau otomatisasi untuk mengakses data yang Anda butuhkan, Browser API lebih cocok. besar format data untuk LLM ingestion besar format data untuk LLM ingestion Bersama-sama, kedua solusi ini mencakup semua yang diperlukan untuk tahap “Extract” dari alur kerja “Search and Extract”. Cara menerapkan pencarian dan ekstraksi alur kerja dalam Python Pelajari cara menerapkan alur kerja "Cari dan Ekstrak" yang realistis di Python: Untuk fase pencarian, Anda akan menggunakan API SERP dari Bright Data untuk menjalankan pencarian web langsung. Untuk tahap Ekstrak, Anda akan mengandalkan Web Unlocker API untuk mengambil dan menganalisa konten dari halaman yang dipilih. Ikuti pengantar di bawah ini! 🙂 Persyaratan Untuk mengikuti bagian tutorial ini, pastikan Anda memiliki: Python 3.9+ diinstal secara lokal. Akun Bright Data yang dikonfigurasi dengan zona API SERP dan zona API Web Unlocker, bersama dengan kunci API Anda. Jika Anda tidak akrab dengan cara memulai dengan API SERP Bright Data atau produk API Web Unlocker, ikuti dokumentasi resmi: Menggunakan SERP API Menggunakan Bright Data Unlocker API Menggunakan SERP API Menggunakan SERP API Menggunakan Bright Data Unlocker API Menggunakan Bright Data Unlocker API Mulai sekarang, kami akan merujuk ke zona API SERP Anda sebagai dan ke zona API Web Unlocker Anda sebagai : serp_api web_unlocker Selain itu, pastikan bahwa zona dikonfigurasi dalam mode “Full JSON” di bagian “Data Format” di dalam tabel konfigurasi: serp_api Dengan cara ini, Bright Data SERP API akan mengembalikan hasil SERP yang dianalisis dalam format JSON, membuatnya lebih mudah untuk difilter dan peringkat ulang. Akhirnya , Ini akan digunakan untuk mengautentikasi permintaan ke layanan yang disebutkan di atas! Menghasilkan Kunci API Bright Data Menghasilkan Kunci API Bright Data Untuk mempercepat proses, kami akan mengasumsikan bahwa Anda sudah memiliki proyek Python yang diatur dengan lingkungan virtual. Langkah #1: Bersiaplah untuk Mengakses Layanan Data Cahaya melalui API Cara termudah untuk terhubung ke layanan Bright Data adalah langsung melalui API. Pertama, instal klien HTTP async-ready seperti AIOHTTP: pip install aiohttp Selanjutnya, definisikan dua fungsi berikut untuk memanggil SERP API dan Web Unlocker API, masing-masing: # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() yang fungsi terhubung ke API Bright Data SERP untuk melakukan pencarian Google dan mendapatkan hasil JSON SERP yang dianalisa (seperti yang dikonfigurasi dalam akun Anda). fetch_serp() Demikian juga, menghubungkan ke API Bright Data Web Unlocker untuk mengambil halaman web. Mengkonfigurasi output sebagai Markdown, yang ideal untuk pengambilan ke dalam LLM. fetch_page() Untuk informasi lebih lanjut tentang argumen, parameter, dan cara memanggil dua API tersebut, rujuk ke docs! : Dalam produksi, hindari hardcoding kunci API Bright Data Anda. Note Sekarang Anda memiliki blok bangunan untuk menerapkan fase “Search” dan “Extract” di Fungsi : async import asyncio async def main(): # "Search and Extract" logic... # Run the async main function asyncio.run(main()) Step #2: Perform the Extract Phase Misalkan Anda memiliki agen AI yang bergantung pada integrasi MCP dan ingin menghasilkan laporan yang menunjukkan bagaimana perubahan masa depan dalam protokol dapat mempengaruhi mereka, fitur baru apa yang akan tersedia, dan sebagainya. LLM biasa tidak dapat membantu banyak dengan tugas itu, karena MCP relatif baru dan sebagian besar model dilatih pada data yang lebih tua. "new version of MCP" Hubungi API SERP untuk mendapatkan hasil Google SERP yang dianalisis untuk kueri pencarian tersebut: # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) Di balik adegan tersebut, The fungsi memanggil API SERP menggunakan kueri pencarian yang disediakan. Jika Anda perlu menangani beberapa kueri, Anda dapat memanggil Dengan menggunakan kompetisi . fetch_serp() fetch_serp() asyncio.gather() Secara default, SERP API mengembalikan 10 hasil per kueri, tetapi dapat dikonfigurasi untuk mengembalikan hingga 100 hasil. Note returns parsed Google SERP results as a Python dictionary. Access the ranking using the Atributnya : fetch_serp() organic serp_ranking_results = serp_results.get("organic", []) Cetak hasil pencarian, dan Anda harus mendapatkan output yang mirip dengan ini: Perhatikan bagaimana setiap elemen dalam array sesuai dengan hasil yang akan Anda dapatkan dengan mencari "versi baru MCP" di Google: Langkah #3: Filter URL yang menarik Dari semua hasil SERP yang dikembalikan oleh panggilan API SERP, asumsikan Anda tertarik pada hingga 3 hasil teratas dari " Domain (domain resmi untuk spesifikasi MCP). juga, mari kita pertimbangkan peringkat asli Google sebagai peringkat yang ingin Anda simpan. Peraturan Konten.io Peraturan Konten.io Filter mereka sebagai berikut: # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_data_results: page_url = result.get("url") if "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) # Stop once reaching 3 results if len(page_url) == 3: break Hasilnya akan menjadi daftar URL untuk diakses selama fase “Extract”. [ "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/", "https://modelcontextprotocol.io/development/roadmap", "https://modelcontextprotocol.io/specification/2025-11-25" ] Saatnya untuk mengekstrak informasi dari halaman-halaman ini! Step #4: Perform the Extract Phase Gunakan yang Fungsi untuk memanggil Web Unlocker API dan memindai tiga halaman yang dipilih secara paralel: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) Jika Anda berurusan dengan situs dinamis yang membutuhkan interaksi pengguna, ekstrak data dari sana menggunakan teknologi otomatisasi browser seperti Playwright, yang terintegrasi dengan Browser API. Note Hasilnya akan menjadi array yang berisi konten dari setiap halaman target. Akses ke konten Markdown yang belum diblokir dari setiap halaman dengan: markdown_pages = [page for page in web_page_results] Periksa apakah array benar-benar berisi Markdown dari halaman target: for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") Dalam hal ini, hasilnya adalah : Itu sesuai dengan versi Markdown dari setiap halaman yang ditargetkan, yang berarti Web Unlocker API mampu melakukan ekstraksi data web dengan sukses, terlepas dari tindakan anti-bot atau anti-scraping yang ada. Mengingat data segar, kontekstual, dan terverifikasi ini, simpan untuk analisis lebih lanjut, kirimkan ke LLM untuk pemrosesan, gunakan untuk mendeteksi topik tambahan yang menarik, lanjutkan dengan penelitian yang lebih mendalam, atau menerapkannya ke banyak kasus penggunaan lainnya. Langkah #5: Kode lengkap Versi terakhir dari contoh adalah: # pip install aiohttp import asyncio import aiohttp import urllib.parse import json # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() async def main(): # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_results.get("organic", []): page_url = result.get("link") if page_url and "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) if len(pages_of_interest) == 3: break print("Pages to scrape:", pages_of_interest) # Extract phase: Scrape pages concurrently tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) # Access the content from each page markdown_pages = [page for page in web_page_results] print("Scraped page contents:") for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") # AI processing, RAG pipelines, or further workflows... # Run the async main function asyncio.run(main()) Thanks to Bright Data API-ready products, you can implement an effective, enterprise-grade, production-ready “Search and Extract” workflow in less than 50 lines of Python code! Kesimpulan Dalam posting ini, Anda melihat mengapa pipa data dan alur kerja AI bergantung pada informasi yang up-to-date, kontekstual, dan dapat diandalkan. Salah satu cara yang dapat diandalkan untuk mengumpulkan data tersebut adalah melalui AI pattern, yang secara efektif telah menjadi pendekatan standar untuk mengakses data web berkualitas tinggi dan dapat diperiksa. fasa otomatis menemukan di seluruh mesin pencari, sementara fasa menarik informasi terstruktur dari hasil yang paling relevan. Pencarian dan ekstrak Pencarian Pengumuman ️ Seperti yang ditunjukkan sepanjang artikel ini, menggunakan platform scraping web siap AI seperti Bright Data membuat implementasi alur kerja ini praktis dan dapat diperluas. dan menjelajahi semua solusi data webnya! Start a Bright Data free trial today Mulai uji coba gratis Bright Data hari ini Artikel ini dipublikasikan melalui program HackerNoon Business Blogging. Artikel ini dipublikasikan melalui program HackerNoon Business Blogging.