Tìm kiếm và trích xuất: Tại sao mô hình AI này quan trọng, hướng dẫn và ví dụ

Hầu hết các đại lý AI, đường ống ML, dòng công việc làm giàu AI, hệ thống nghiên cứu sâu và các công cụ ra quyết định dựa trên dữ liệu không thất bại vì các mô hình xấu. Cụ thể, dữ liệu có xu hướng lỗi thời, ngoài ngữ cảnh, không thể xác minh, hoặc cả ba cùng một lúc.Đó là vấn đề cốt lõi. Trong bài viết này, bạn sẽ thấy những gì thực sự có nghĩa là, làm thế nào nó hoạt động dưới mũ, tại sao nó quan trọng hơn nhiều so với hầu hết mọi người nghĩ, và làm thế nào để thực hiện nó từ đầu đến cuối với một ví dụ cụ thể! Tìm kiếm và trích xuất Sự cần thiết của thông tin tươi, ngữ cảnh và đáng tin cậy, có thể xác minh Theo Statista, khoảng 402,74 triệu terabyte dữ liệu được tạo ra mỗi ngày. Dữ liệu đó thấm vào web, kho dữ liệu, đống phân tích và đường ống ở quy mô mà thật sự khó để suy luận. Nhưng đây là câu đố: nhiều dữ liệu hơn không có nghĩa là dữ liệu tốt hơn! Tại khối lượng đó, thật không thực tế khi cho rằng mọi thứ đều phản ánh thực tế - hoặc thậm chí có thể được tin tưởng ở nơi đầu tiên ... Các doanh nghiệp vẫn đưa ra quyết định kinh doanh, tự động hóa và các cuộc gọi dựa trên AI dựa trên Dữ liệu cái đó Và khi nguồn đã lỗi thời, không đầy đủ, hoặc chỉ đơn giản là sai ... những hiểu biết được xây dựng trên nó không thể đáng tin cậy. Đây chính xác là lý do tại sao LLM ảo giác, các đại lý AI đưa ra câu trả lời thuyết phục nhưng không chính xác, và đường ống dẫn dữ liệu lặng lẽ thất bại trong sản xuất. Trong hầu hết các trường hợp thực tế, vấn đề không phải là mô hình, công cụ hoặc thực hiện. Cho dù bạn đang chạy một dòng công việc phân tích cổ điển hay một đại lý AI hoàn toàn tự trị, mọi thứ phụ thuộc vào chất lượng dữ liệu nguồn. Tươi Khung cảnh Kiểm tra Rốt cuộc, nếu bạn không biết dữ liệu đến từ hoặc đã được thu thập, bạn không thể tin tưởng thực tế kết quả. Nơi Khi Đó là câu hỏi thực sự. Làm thế nào bạn có thể đáng tin cậy lấy thông tin mà là cập nhật, có liên quan đến một nhiệm vụ cụ thể, và có thể được liên kết lại với nguồn của nó? Làm thế nào bạn có thể đáng tin cậy lấy thông tin mà là cập nhật, có liên quan đến một nhiệm vụ cụ thể, và có thể được liên kết lại với nguồn của nó? Đó là nơi mà các Pattern comes in! chúng ta hãy phá vỡ nó. Search and Extract Tìm kiếm và trích xuất: Nó là gì và tại sao nó là giải pháp “Search and Extract” là một Quá trình thu thập thông tin cập nhật, có thể xác minh và phong phú trong bối cảnh từ web, đơn giản về cấu trúc, nhưng cực kỳ hiệu quả trong thực tế. De facto tiêu chuẩn Ở cấp độ cao, nó hoạt động trong hai bước khác nhau: Tìm kiếm: Hệ thống thực hiện một tìm kiếm trực tiếp trên web trên các công cụ tìm kiếm như Google để tìm các nguồn có liên quan và đáng tin cậy nhất cho một truy vấn nhất định. Trích xuất: Từ kết quả tìm kiếm, hệ thống xác định các URL có liên quan nhất, truy cập các trang đó và lấy nội dung hoặc dữ liệu hữu ích nhất từ chúng. Điều này có thể bao gồm các sự kiện, thống kê, định nghĩa hoặc thông tin có cấu trúc được phân tích từ trang. Mô hình này đặc biệt hữu ích trong các ứng dụng liên quan đến AI, chẳng hạn như các đại lý AI, , và các dòng công việc AI cấp doanh nghiệp. Ngoài ra, nó áp dụng cho các đường ống học máy truyền thống, kiểm tra thực tế và làm giàu dữ liệu. Hệ thống RAG Hệ thống RAG Mục tiêu cuối cùng của mô hình "Tìm kiếm và trích xuất" là giải quyết những thách thức dữ liệu hiện đại bằng cách đảm bảo thông tin được thu thập là: Tươi , vì dữ liệu web công cộng bị xé ra từ các tìm kiếm web gần đây, có thể bao gồm thông tin và tin tức mới nhất. ngữ cảnh, vì thông tin được sắp xếp chặt chẽ với các chủ đề được chỉ định trong truy vấn tìm kiếm. Có thể xác minh, vì dữ liệu có nguồn gốc trực tiếp từ các trang web cụ thể, với các URL mà bất cứ ai cũng có thể truy cập và kiểm tra. Làm thế nào để tìm kiếm và trích xuất hoạt động? Ở cấp độ cao, “Tìm kiếm và trích xuất” có thể được tóm tắt với dòng công việc sau: Đầu vào cho dòng công việc này là một danh sách các chủ đề có thể tìm kiếm. Những chủ đề này thường được trích xuất theo ngữ cảnh từ tài liệu, tập dữ liệu hoặc các nguồn thông tin được cung cấp bằng cách sử dụng AI / ML. Đó là những gì thường xảy ra trong việc làm giàu AI, xác minh dữ liệu, dòng công việc RAG hoặc các ứng dụng nghiên cứu sâu. Bất kể nguồn gốc, các chủ đề có thể tìm kiếm được chuyển đến thành phần "Tìm kiếm", nơi một giải pháp API SERP thực hiện tìm kiếm web tự động trên các công cụ tìm kiếm mục tiêu. Sau khi thu thập kết quả tìm kiếm, bạn có thể xem xét tất cả các trang web trả về hoặc chỉ lọc những trang web có liên quan nhất bằng cách sử dụng AI / ML hoặc các quy tắc nghiêm ngặt (ví dụ, giữ các trang từ các miền, ngôn ngữ cụ thể hoặc các tiêu chí khác). Khi nhắm mục tiêu nhiều truy vấn tìm kiếm cùng một lúc (hoặc truy vấn khác nhau hoặc nhiều trang cho cùng một truy vấn), bạn có thể cần phải chạy một thuật toán xếp hạng lại tùy chỉnh. thứ hạng được cung cấp bởi Google hoặc bất kỳ công cụ tìm kiếm nào được tối ưu hóa cho SEO, có thể không phản ánh những gì quan trọng đối với trường hợp sử dụng của bạn. Các URL được chọn sau đó được gửi đến nút "Tải ra", nơi một dịch vụ cạo web truy cập vào mỗi trang và trích xuất thông tin chính. dữ liệu được trích xuất này tươi, ngữ cảnh và có thể xác minh, theo mong muốn. Tiếp theo, chúng ta hãy khám phá các dịch vụ bắt đầu hoạt động trong các giai đoạn “Tìm kiếm” và “Tải ra” tương ứng! Tìm kiếm Các công cụ tìm kiếm như Google, Bing, DuckDuckGo, Baidu và Yandex bảo vệ SERPs (Search Engine Results Pages) của họ với giới hạn tỷ lệ và CAPTCHAs để ngăn chặn scraping tự động. Cách đáng tin cậy nhất để thực hiện giai đoạn “Tìm kiếm” là sử dụng giải pháp API SERP. Các dịch vụ này phơi bày các điểm cuối để kích hoạt các nhiệm vụ tìm kiếm trong đám mây bằng cách sử dụng cơ sở hạ tầng được thiết kế để xử lý khả năng mở rộng và các biện pháp chống robot cho bạn. Nó hỗ trợ tìm kiếm toàn cầu thông qua mạng proxy của hơn 150 triệu địa chỉ IP trên 195 quốc gia, có thể trả về dữ liệu SERP được phân tích đầy đủ trong JSON, cung cấp nhiều tùy chọn trang hóa, và hỗ trợ tích hợp vào bất kỳ dữ liệu hoặc đường ống ML sử dụng yêu cầu HTTP tiêu chuẩn, cũng như hơn 50 khuôn khổ và dòng công việc đại lý AI. API SERP của Bright Data API SERP của Bright Data Ngoài ra, API SERP của Bright Data cho phép bạn chạy một số lượng truy vấn tìm kiếm không giới hạn song song. Điều này có nghĩa là bạn có thể lấy hàng ngàn kết quả trong giai đoạn "Tìm kiếm". Thảo luận ️ Việc trích xuất dữ liệu web là phần khó khăn hơn. Lý do là mỗi trang web là khác nhau, và ngay cả các trang trong cùng một tên miền có thể làm theo các trình chiếu khác nhau, dữ liệu-visualization, và tìm kiếm logic. Điều này làm cho chương trình truy cập nội dung của họ khá khó khăn. Điều đó đòi hỏi các dịch vụ của bên thứ ba cho phép bạn truy cập đáng tin cậy vào nội dung của các trang web, bất kể chúng được bảo vệ như thế nào và bất kể nhu cầu khả năng mở rộng của bạn. Về vấn đề này, Bright Data là một trong những nhà cung cấp giải pháp cạo web tốt nhất trên thị trường, nhờ các công cụ như: Web Unlocker API: Một API mà truy cập bất kỳ trang web công cộng một cách dễ dàng, xử lý khối, CAPTCHAs, vân tay, và rotating proxy tự động. Browser API: Một trình duyệt đám mây được lưu trữ đầy đủ tương thích với Puppeteer, Selenium, Playwright và các framework tự động hóa khác, với giải quyết CAPTCHA tích hợp và quản lý proxy tự động. Sử dụng Web Unlocker API Sử dụng Web Unlocker API Trình duyệt API Trình duyệt API Web Unlocker là lý tưởng để truy xuất nội dung trang, hoặc trong HTML thô hoặc AI-ready Markdown (một Đối với các trang web năng động đòi hỏi tương tác hoặc tự động hóa để truy cập dữ liệu bạn cần, API trình duyệt phù hợp hơn. định dạng dữ liệu tuyệt vời cho LLM ingestion định dạng dữ liệu tuyệt vời cho LLM ingestion Cùng với nhau, hai giải pháp này bao gồm tất cả mọi thứ cần thiết cho giai đoạn "Trích xuất" của một dòng công việc "Tìm kiếm và Trích xuất". Làm thế nào để thực hiện một tìm kiếm và trích xuất dòng công việc trong Python Tìm hiểu làm thế nào để thực hiện một dòng công việc "Tìm kiếm và trích xuất" thực tế trong Python: Đối với giai đoạn Tìm kiếm, bạn sẽ sử dụng API SERP của Bright Data để chạy tìm kiếm trực tiếp trên web. Đối với giai đoạn Trích xuất, bạn sẽ dựa vào API Web Unlocker để lấy và phân tích nội dung từ các trang được chọn. Hãy theo dõi giới thiệu bên dưới nhé! Điều kiện Để làm theo cùng với phần hướng dẫn này, hãy chắc chắn rằng bạn có: Python 3.9+ được cài đặt tại chỗ. Một tài khoản dữ liệu sáng được cấu hình với một khu vực API SERP và một khu vực API Web Unlocker, cùng với khóa API của bạn. Nếu bạn không biết làm thế nào để bắt đầu với các sản phẩm API SERP hoặc API Web Unlocker của Bright Data, hãy làm theo tài liệu chính thức: Giới thiệu về SERP API Giới thiệu về API Unlocker của Bright Data Giới thiệu về SERP API Giới thiệu về SERP API Giới thiệu về API Unlocker của Bright Data Giới thiệu về API Unlocker của Bright Data Từ bây giờ, chúng tôi sẽ tham chiếu đến khu vực API SERP của bạn như và vào khu vực Web Unlocker API của bạn như : serp_api web_unlocker Ngoài ra, hãy chắc chắn rằng vùng được cấu hình trong chế độ “Full JSON” trong phần “Data Format” bên trong bảng cấu hình: serp_api Bằng cách này, API Bright Data SERP sẽ trả về các kết quả SERP được phân tích ở định dạng JSON, giúp chúng dễ dàng lọc và xếp hạng lại. Cuối cùng, Điều đó sẽ được sử dụng để xác thực các yêu cầu đến các dịch vụ được đề cập ở trên! Tạo khóa API Bright Data Tạo khóa API Bright Data Để tăng tốc quá trình, chúng tôi sẽ cho rằng bạn đã có một dự án Python được thiết lập với một môi trường ảo. Bước #1: Chuẩn bị truy cập các dịch vụ dữ liệu rõ ràng thông qua API Cách dễ nhất để kết nối với các dịch vụ Bright Data là trực tiếp thông qua API của nó. Đầu tiên, cài đặt một máy khách HTTP sẵn sàng đồng bộ như AIOHTTP: pip install aiohttp Tiếp theo, xác định hai chức năng sau đây để gọi SERP API và Web Unlocker API, tương ứng: # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() Các chức năng kết nối với API Bright Data SERP để thực hiện tìm kiếm Google và lấy kết quả JSON SERP được phân tích (như được cấu hình trong tài khoản của bạn). fetch_serp() Tương tự, kết nối với API Bright Data Web Unlocker để thu thập các trang web. cấu hình đầu ra như Markdown, lý tưởng cho việc hấp thụ vào LLM. fetch_page() Để biết thêm thông tin về các đối số, tham số và cách gọi hai API đó, hãy tham khảo các tài liệu! : Trong sản xuất, tránh hardcoding khóa API dữ liệu tươi sáng của bạn. thay vào đó, tải nó từ một biến môi trường. Note Tuyệt vời! Bây giờ bạn có các khối xây dựng để thực hiện các giai đoạn "Tìm kiếm" và "Trích xuất" trong Chức năng : async import asyncio async def main(): # "Search and Extract" logic... # Run the async main function asyncio.run(main()) Bước #2: Thực hiện giai đoạn chiết xuất Giả sử bạn có các đại lý AI dựa vào tích hợp MCP và muốn tạo ra một báo cáo cho thấy những thay đổi trong tương lai trong giao thức có thể ảnh hưởng đến họ như thế nào, những tính năng mới nào sẽ có sẵn, v.v. LLM thường xuyên không thể giúp ích nhiều với nhiệm vụ đó, vì MCP tương đối mới và hầu hết các mô hình đã được đào tạo trên dữ liệu cũ. "new version of MCP" Gọi API SERP để lấy kết quả Google SERP được phân tích cho truy vấn tìm kiếm đó: # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) Đằng sau các sân khấu, các chức năng gọi API SERP bằng cách sử dụng truy vấn tìm kiếm được cung cấp. Nếu bạn cần xử lý nhiều truy vấn, bạn có thể gọi cạnh tranh sử dụng . fetch_serp() fetch_serp() asyncio.gather() Theo mặc định, API SERP trả về 10 kết quả cho mỗi truy vấn, nhưng có thể được cấu hình để trả về tối đa 100 kết quả. Note trả về các kết quả Google SERP được phân tích dưới dạng từ điển Python. Truy cập vào bảng xếp hạng bằng cách sử dụng Tính năng : fetch_serp() organic serp_ranking_results = serp_results.get("organic", []) In kết quả tìm kiếm, và bạn sẽ nhận được kết quả tương tự như thế này: Lưu ý cách mỗi yếu tố trong mảng tương ứng chính xác với kết quả bạn sẽ nhận được bằng cách tìm kiếm "phiên bản mới của MCP" trên Google: Bước #3: Lọc các URL quan tâm Từ tất cả các kết quả SERP được trả về bởi cuộc gọi API SERP, giả sử bạn quan tâm đến tối đa 3 kết quả hàng đầu từ " Domain (domain chính thức cho thông số kỹ thuật MCP).Ngoài ra, hãy xem xét thứ hạng ban đầu của Google như thứ hạng bạn muốn duy trì. Mô hìnhProtocol.io Mô hìnhProtocol.io Hãy lọc chúng như sau: # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_data_results: page_url = result.get("url") if "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) # Stop once reaching 3 results if len(page_url) == 3: break Kết quả sẽ là một danh sách các URL để truy cập trong giai đoạn “Trích xuất”. [ "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/", "https://modelcontextprotocol.io/development/roadmap", "https://modelcontextprotocol.io/specification/2025-11-25" ] Thời gian để trích xuất thông tin từ các trang này! Bước #4: Thực hiện giai đoạn chiết xuất Sử dụng the chức năng để gọi API Web Unlocker và cạo ba trang được chọn song song: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) Nếu bạn đang đối phó với một trang web năng động đòi hỏi sự tương tác của người dùng, hãy trích xuất dữ liệu từ đó bằng cách sử dụng công nghệ tự động hóa trình duyệt như Playwright, tích hợp với API trình duyệt. Note Kết quả sẽ là một mảng chứa nội dung của mỗi trang đích. Truy cập nội dung Markdown đã mở khóa từ mỗi trang với: markdown_pages = [page for page in web_page_results] Kiểm tra xem mảng có thực sự chứa Markdown của các trang đích: for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") Trong trường hợp này, sản lượng là: Điều đó tương ứng với phiên bản Markdown của mỗi trang được nhắm mục tiêu, có nghĩa là API Web Unlocker đã có thể thực hiện khai thác dữ liệu web thành công, bất kể bất kỳ biện pháp chống bot hoặc chống trầy xước nào có sẵn. Với dữ liệu mới, ngữ cảnh và có thể xác minh này, lưu trữ nó để phân tích thêm, chuyển nó cho một LLM để xử lý, sử dụng nó để phát hiện các chủ đề quan tâm bổ sung, tiếp tục nghiên cứu sâu hơn, hoặc áp dụng nó cho nhiều trường hợp sử dụng khác. Bước #5: Điền mã đầy đủ Phiên bản cuối cùng của ví dụ là: # pip install aiohttp import asyncio import aiohttp import urllib.parse import json # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() async def main(): # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_results.get("organic", []): page_url = result.get("link") if page_url and "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) if len(pages_of_interest) == 3: break print("Pages to scrape:", pages_of_interest) # Extract phase: Scrape pages concurrently tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) # Access the content from each page markdown_pages = [page for page in web_page_results] print("Scraped page contents:") for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") # AI processing, RAG pipelines, or further workflows... # Run the async main function asyncio.run(main()) Nhờ các sản phẩm sẵn sàng API của Bright Data, bạn có thể triển khai một quy trình làm việc hiệu quả, cấp doanh nghiệp, sẵn sàng sản xuất "Tìm kiếm và trích xuất" trong ít hơn 50 dòng mã Python! Kết luận Trong bài đăng này, bạn đã xem xét lý do tại sao các đường ống dẫn dữ liệu và luồng công việc AI phụ thuộc vào thông tin cập nhật, ngữ cảnh và đáng tin cậy.Cuối cùng, đầu vào tốt hơn dẫn đến đầu ra tốt hơn, đặc biệt là trong các hệ thống được thúc đẩy bởi AI! Một cách đáng tin cậy để thu thập dữ liệu đó là thông qua Mẫu AI, đã thực sự trở thành một cách tiếp cận tiêu chuẩn để truy cập dữ liệu web chất lượng cao, có thể xác minh. phase tự động hóa khám phá trên các công cụ tìm kiếm, trong khi Giai đoạn rút ra thông tin có cấu trúc từ các kết quả có liên quan nhất. Tìm kiếm và trích xuất Tìm kiếm Thảo luận ️ Như đã thể hiện trong bài viết này, việc sử dụng một nền tảng cạo web sẵn sàng như Bright Data làm cho việc thực hiện quy trình làm việc này thực tế và có thể mở rộng. và khám phá tất cả các giải pháp dữ liệu web của nó! Bắt đầu thử nghiệm Bright Data miễn phí ngay hôm nay Bắt đầu thử nghiệm Bright Data miễn phí ngay hôm nay Bài viết này được xuất bản thông qua chương trình HackerNoon Business Blogging. Bài viết này được xuất bản thông qua chương trình HackerNoon Business Blogging.