Search and Extract: Why This AI Pattern Matters, Tutorial, and Example (ការស្វែងរកនិងបញ្ចេញ: ហេតុអ្វីដែលគំរូ AI នេះមានប្រសិទ្ធិភាព, ការបណ្តុះបណ្តាលនិងឧទាហរណ៍)

លក្ខណៈពិសេសនៃឧបករណ៍អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់ ជាពិសេសទិន្នន័យមានគុណភាពខុសគ្នានិងមិនអាចត្រួតពិនិត្យបានទេឬទាំងបីនៅតែមួយ។ នេះគឺជាបញ្ហាសំខាន់។ និងគំរូ AI "ការស្វែងរកនិងបំបែក" មានដើម្បីត្រួតពិនិត្យវា! ✨ ក្នុងអត្ថបទនេះអ្នកនឹងឃើញអ្វីដែល ជាការពិតប្រាកដដែលមានន័យថាវាធ្វើការដូចម្តេចនៅក្រោមខ្សែភាពយន្ត, ហេតុអ្វីដែលវាមានន័យច្រើនជាងមនុស្សជាច្រើនគិត, និងធ្វើដូចម្តេចដើម្បីអនុវត្តវា end-to-end ជាមួយនឹងឧទាហរណ៍គោលបំណង! ការស្រាវជ្រាវ និង ការបំបែក ការតម្រូវការនៃព័ត៌មានថ្មី, kontekstual, និងមានសុវត្ថិភាព, អាចធ្វើឱ្យប្រាកដ ទិន្នន័យពី Statista, ប្រហែល 402.74 លាន terabytes នៃទិន្នន័យត្រូវបានបង្កើតឡើងក្នុងមួយថ្ងៃ។ ទិន្នន័យនេះបានបំបែកទៅលើបណ្តាញទិន្នន័យរក្សាសម្ព័ន្ធការពិនិត្យឡើងវិញនិង pipelines នៅទំហំដែលមានភាពងាយស្រួលក្នុងការនិយាយអំពី។ ប៉ុន្តែនៅទីនេះគឺជាការកាត់បន្ថយ: ទិន្នន័យច្រើនទៀតមិនមានន័យថាទិន្នន័យល្អបំផុត! នៅពេលនេះវាគឺជាការមិនពិតប្រាកដដើម្បីគិតថាអ្វីគ្រប់យ៉ាងបង្ហាញពីការពិត - ឬថាវាអាចត្រូវបានគិតថ្លៃជាលើកដំបូង ... ឧស្សាហកម្មក៏ធ្វើការបញ្ជាទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យទិន្នន័យ ទិន្នន័យ នេះ ហើយនៅពេលដែលសារធាតុនេះគឺមិនត្រឹមត្រូវ, មិនពេញលេញ, ឬមិនត្រឹមត្រូវយ៉ាងហោចណាស់ ... ការយល់ដឹងដែលបានបង្កើតឡើងនៅលើវាមិនអាចមានសុវត្ថិភាព។ ពួកគេគ្រាន់តែមើលទៅមានសុវត្ថិភាពទេប៉ុន្តែពួកគេមានសុវត្ថិភាព! នេះគឺជាមូលហេតុដែល LLMs មានការចាក់សង្ឃឹម, អេក្រង់ AI បានផ្តល់នូវការឆ្លើយតបដែលមានជំនឿប៉ុន្តែមិនត្រឹមត្រូវ, និងបំពង់ទិន្នន័យមិនត្រឹមត្រូវនៅក្នុងការផលិត។ ក្នុងករណីពិតប្រាកដជាច្រើនបញ្ហានេះគឺមិនមែនជាម៉ូដែលឧបករណ៍ឬការអនុវត្ត។ វាគឺជាទិន្នន័យចូល! ប្រសិនបើអ្នកកំពុងធ្វើដំណើរការដំណើរការវិញ្ញាបនប័ត្រប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិតប្រឌិត លក្ខខណ្ឌ វិញ្ញាបនបត្រ បន្ទាប់មក, ប្រសិនបើអ្នកមិនដឹង ទិន្នន័យដែលបានមកពីឬ វាត្រូវបានទាញយក, អ្នកមិនអាចជឿទុកចិត្តលទ្ធផលពិតប្រាកដ។ កន្លែងដែល នៅពេល នេះគឺជាសំណួរពិតប្រាកដ តើធ្វើដូចម្តេចដើម្បីស្វែងរកទិន្នន័យដែលមានអត្ថប្រយោជន៍សម្រាប់ការធ្វើតេស្តដែលមានតំណាងសម្រាប់ការធ្វើតេស្តដែលមានលក្ខណៈពិសេសនិងអាចត្រូវបានបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តាល? តើធ្វើដូចម្តេចដើម្បីស្វែងរកទិន្នន័យដែលមានអត្ថប្រយោជន៍សម្រាប់ការធ្វើតេស្តដែលមានតំណាងសម្រាប់ការធ្វើតេស្តដែលមានលក្ខណៈពិសេសនិងអាចត្រូវបានបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តាល? នេះគឺជាកន្លែងដែល ហ្វេសប៊ូតុង! សូមចែកចាយវា។ Search and Extract Search and Extract: អ្វីដែលវាជានិងហេតុអ្វីដែលវាជាដំណោះស្រាយ “ការស្វែងរកនិងបញ្ចេញ” គឺជា នេះគឺជាដំណើរការដើម្បីស្វែងរកព័ត៌មានបច្ចុប្បន្នដែលអាចធ្វើឱ្យប្រាកដនិងមានប្រសិទ្ធភាពពីអ៊ីនធឺណិត។ វាគឺជាដំណើរការងាយស្រួលនៅក្នុងរចនាសម្ព័ន្ធប៉ុន្តែមានប្រសិទ្ធិភាពខ្លាំងណាស់នៅក្នុងការអនុវត្ត។ ស្ដង់ដារ de facto នៅកម្រិតខ្ពស់វាដំណើរការនៅក្នុងដំណោះស្រាយពីរដំណោះស្រាយ: ការស្វែងរក: ប្រព័ន្ធនេះធ្វើការស្វែងរកលើបណ្តាញផ្ទាល់នៅលើម៉ាស៊ីនស្វែងរកដូចជា Google ដើម្បីស្វែងរកប្រភពដែលមានប្រសិទ្ធភាពនិងមានសុវត្ថិភាពបំផុតសម្រាប់សំណួរមួយ។ នេះជួយបំពង់ទិន្នន័យចាប់ផ្តើមជាមួយនឹងព័ត៌មានដែលមានប្រសិទ្ធភាពនិងមកពីប្រភពសាកល្បង។ ការបោះពុម្ព: ពីលទ្ធផលស្វែងរកប្រព័ន្ធនេះបានរកឃើញ URL ដែលមានប្រសិទ្ធភាពបំផុត, បានទស្សនាទំព័រទាំងនេះ, និងទាញយកសម្ភារៈឬទិន្នន័យដែលមានប្រសិទ្ធិភាពបំផុតពីពួកគេ។ នេះអាចរួមបញ្ចូលទាំងទិន្នន័យទិន្នន័យទិន្នន័យដែលមានប្រសិទ្ធភាពឬទិន្នន័យដែលមានប្រសិទ្ធភាពពីទំព័រនេះ។ ទិន្នន័យដែលបានបោះពុម្ពបន្ទាប់មកបានក្លាយជាមូលដ្ឋានដែលមានសុវត្ថិភាពសម្រាប់ដំណោះស្រាយបន្ទាប់ពីដំណោះស្រាយនៅក្នុងបំពង់។ គំរូនេះមានប្រយោជន៍ជាពិសេសនៅក្នុងកម្មវិធីដែលទាក់ទងនឹង AI ដូចជាអេក្រង់ AI ។ វាត្រូវបានអនុវត្តសម្រាប់ការរៀនម៉ាស៊ីនធម្មតា, ការត្រួតពិនិត្យការពិត, និងបំពង់អត្ថប្រយោជន៍ទិន្នន័យ។ ប្រព័ន្ធ RAG ប្រព័ន្ធ RAG គោលបំណងចុងក្រោយនៃគំរូ "ការស្វែងរកនិងបំបែក" គឺដើម្បីដោះស្រាយបញ្ហាទិន្នន័យចុងក្រោយដោយការធានាថាទិន្នន័យដែលបានទាញយកគឺ: ទោះបីជាទិន្នន័យបណ្ដាញសាធារណៈដែលត្រូវបានកាត់បន្ថយមកពីការស្វែងរកបណ្ដាញថ្មីៗដែលអាចរួមបញ្ចូលទាំងព័ត៌មាននិងព័ត៌មានថ្មីបំផុត។ សៀវភៅ, ដូច្នេះទិន្នន័យនេះត្រូវបានបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តុះបណ្តាល។ វិញ្ញាបនប័ត្រ: ដូច្នេះទិន្នន័យអាចរកបានដោយផ្ទាល់ពីទំព័របណ្ដាញដែលមាន URL ដែលគ្រប់គ្រងអាចរកឃើញនិងត្រួតពិនិត្យ។ តើធ្វើដូចម្តេចដើម្បីស្វែងរកនិងកាត់បន្ថយការងារ? នៅលើកម្រិតខ្ពស់, "ការស្វែងរកនិងបញ្ចេញ" អាចត្រូវបានបញ្ជាក់ជាមួយនឹងដំណើរការការងារដូចខាងក្រោម: ទិន្នន័យសម្រាប់ដំណើរការការងារនេះគឺជាសៀវភៅនៃតំបន់បណ្ដាញដែលអាចស្វែងរក។ នេះជាទូទៅត្រូវបានទាញយកពីឯកសារទិន្នន័យប្រព័ន្ធផ្សព្វផ្សាយឬទិន្នន័យដែលបានបង្ហាញដោយប្រើ AI / ML ។ នេះគឺជាអ្វីដែលជាទូទៅនៅក្នុងការអភិវឌ្ឍ AI, ការត្រួតពិនិត្យទិន្នន័យ, ការធ្វើដំណើរការ RAG ឬកម្មវិធីស្រាវជ្រាវទូលំទូលាយ។ ទោះបីជាប្រភព, សៀវភៅដែលអាចរកបានត្រូវបានផ្លាស់ប្តូរទៅក្នុងផ្នែក "ការស្វែងរក" ដែលមានដំណោះស្រាយ API SERP ដែលធ្វើការស្វែងរកបណ្តាញដោយស្វ័យប្រវត្តិនៅលើម៉ាស៊ីនស្វែងរកគោលបំណង។ បន្ទាប់ពីទាញយកផលិតផលស្វែងរកអ្នកអាចមើលឃើញទាំងអស់នៃសៀវភៅដែលបានផ្លាស់ប្តូរឬបញ្ចាំងសៀវភៅដែលមានលក្ខណៈពិសេសបំផុតដោយប្រើ AI / ML ឬច្បាប់រឹងមាំ (ដូចជាការរក្សាទុកសៀវភៅពីតំបន់, សៀវភៅឬគោលបំណងផ្សេងទៀត) ។ ប្រសិនបើអ្នកមានតម្រូវការចែកចាយតម្រូវការចែកចាយតម្រូវការចែកចាយតម្រូវការចែកចាយតម្រូវការចែកចាយតម្រូវការចែកចាយតម្រូវការចែកចាយតម្រូវការចែកចាយតម្រូវការចែកចាយតម្រូវការចែកចាយតម្រូវការចែកចាយតម្រូវការចែកចាយតម្រូវការចែកចាយតម្រូវការចែកចាយតម្រូវការចែកចាយតម្រូវការចែកចាយតម្រូវការចែកចាយតម្រូវការចែកចាយតម្រូវការចែកចាយតម្រូវការចែកចាយតម្រូវការចាយតម្រូវការចែកចាយតម្រូវការចាយតម្រូវការចែកចាយតម្រូវការ URLs ដែលបានជ្រើសរើសនេះត្រូវបានផ្ញើទៅទៅក្នុង "Extract" node, ដែលជាសេវាកម្ម scraping បណ្ដាញចូលទៅក្នុងទំព័រទាំងអស់និងបង្វិលព័ត៌មានសំខាន់នេះ។ ទិន្នន័យដែលបានបង្វិលនេះគឺច្នៃប្រឌិតនិងអាចត្រួតពិនិត្យបានដូចគ្នាត្រូវបានចង់។ បន្ទាប់មក, សូមស្វែងរកសេវាកម្មដែលចូលទៅក្នុងការប្រកួតនៅក្នុងជំហាន "ការស្វែងរក" និង "ការកាត់បន្ថយ" ។ ការស្វែងរក ម៉ាស៊ីនស្វែងរកដូចជា Google, Bing, DuckDuckGo, Baidu និង Yandex នឹងការពារ SERPs របស់ពួកគេ (SERPs) ជាមួយនឹងការកាត់បន្ថយតម្លៃនិង CAPTCHAs ដើម្បីកាត់បន្ថយការកាត់បន្ថយដោយស្វ័យប្រវត្តិ។ ដោយសារតែនេះ, ការកាត់បន្ថយបន្ថយបន្ថយបន្ថយការកាត់បន្ថយ SERPs ដោយផ្ទាល់ត្រូវបានកាត់បន្ថយ។ ឧបករណ៍ដែលអាចធ្វើបានយ៉ាងងាយស្រួលបំផុតដើម្បីធ្វើដំណើរការ "ការស្វែងរក" គឺដោយប្រើដំណោះស្រាយ API SERP ។ សេវាកម្មទាំងនេះបង្ហាញទីបញ្ចប់ដើម្បីកាត់បន្ថយតម្រូវការស្វែងរកនៅក្នុងបណ្តាញបណ្តាញដោយប្រើប្រព័ន្ធប្រតិបត្តិការដែលត្រូវបានរចនាឡើងដើម្បីគ្រប់គ្រងការកាត់បន្ថយនិងតម្រូវការ anti-bot សម្រាប់អ្នក។ វាគឺជាផ្នែកមួយនៃសេវាកម្មស្វែងរកបណ្ដាញពេញលេញបំផុតដែលអាចរកបាន។ វាគឺជាផ្នែកមួយដែលគាំទ្រការស្វែងរកទូទាំងពិភពលោកតាមរយៈបណ្តាញ proxy នៃច្រើនជាង 150 លាន IPs នៅលើ 195 ប្រទេស។ វាគឺជាផ្នែកមួយដែលអាចបង្ហាញទិន្នន័យ SERP ជាពេញលេញនៅក្នុង JSON ។ វាគឺជាផ្នែកមួយដែលផ្តល់ជូននូវជម្រើស pagination ។ វាគឺជាផ្នែកមួយដែលគាំទ្រការរួមបញ្ចូលទៅក្នុងទិន្នន័យណាមួយឬបំពង់ ML ដោយប្រើសំណួរ HTTP ស្ដង់ដារ។ ដូចគ្នានេះវាគឺជាផ្នែកមួយដែលគួរឱ្យចាប់អារម្មណ៍។ លក្ខណៈពិសេស SERP API នៃ Bright Data លក្ខណៈពិសេស SERP API នៃ Bright Data លើសពីនេះទៀត, API SERP របស់ Bright Data អនុញ្ញាតឱ្យអ្នកធ្វើដំណើរការការស្វែងរកជាទូទៅជាទូទៅជាទូទៅ។ វាមានន័យថាអ្នកអាចស្វែងរកផលប៉ះពាល់ជាច្រើនក្នុងរយៈពេលនៃដំណើរការ "ស្វែងរក" ។ បន្ទាប់មកអ្នកអាចបម្រើនិងកម្រិតច្នៃប្រឌិតរបស់ពួកគេបើយោងតាមតម្រូវការរបស់អ្នកនៅក្នុងដំណើរការច្នៃប្រឌិតរបស់ "ស្វែងរកនិងបម្រើ" (ដូចដែលបាននិយាយមុន). លក្ខណៈពិសេស ️ ការកាត់បន្ថយទិន្នន័យបណ្តាញគឺជាផ្នែកដែលមានភាពងាយស្រួលជាងមុន។ គោលបំណងនេះគឺថាគេហទំព័រទាំងអស់គឺផ្សេងគ្នានេះហើយប៉ុណ្ណោះទំព័រក្នុងតំបន់ដូចគ្នាអាចតាមរយៈការកាត់បន្ថយទិន្នន័យ, ការកាត់បន្ថយទិន្នន័យនិងការកាត់បន្ថយទិន្នន័យផ្សេងគ្នានេះធ្វើឱ្យការចូលទៅក្នុងគំនិតរបស់ពួកគេយ៉ាងងាយស្រួល។ លើសពីនេះទៀតគេហទំព័រមានតម្រូវការកាត់បន្ថយការកាត់បន្ថយដើម្បីការពារទិន្នន័យបណ្តាញសាធារណៈដែលមានគុណភាពរបស់ពួកគេ។ វាមានតម្រូវការសម្រាប់សេវាកម្មរបស់ក្រុមហ៊ុនបម្រើទីបីដែលអនុញ្ញាតឱ្យអ្នកទទួលបានអត្ថប្រយោជន៍ក្នុងការចូលទៅក្នុងតម្រូវការនៃទំព័របណ្តាញដោយឥតគិតថ្លៃដោយមិនទោះបីដែលពួកគេមានការពារនិងមិនទោះបីជាតម្រូវការកម្រិតខ្ពស់របស់អ្នក។ នៅក្នុងគោលបំណងនេះ Bright Data គឺជាផ្នែកមួយនៃអ្នកផ្គត់ផ្គង់ដំណោះស្រាយកម្រិតខ្ពស់បំផុតនៅលើទីផ្សារដោយសារតែឧបករណ៍ដូចជា: Web Unlocker API: API ដែលចូលទៅក្នុងទំព័របណ្ដាញសាធារណៈណាមួយយ៉ាងងាយស្រួល, ការដោះស្រាយប្លុក CAPTCHAs, ទិន្នន័យបង្វិលនិងការដោះស្រាយ proxy ដោយស្វ័យប្រវត្តិ។ ប្លុក API: ប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុកប្លុក កម្មវិធី Unlocker API កម្មវិធី Unlocker API ហ្វេសប៊ុក ហ្វេសប៊ុក Web Unlocker គឺជាឧបករណ៍ដ៏អស្ចារ្យសម្រាប់ការស្វែងរកសម្ភារៈទំព័រដែលមានលក្ខណៈសម្បត្តិដូចជា HTML ឬ AI-ready Markdown ។ ) សម្រាប់គេហទំព័រអ៊ីនធឺណិតដែលតម្រូវឱ្យមានការទំនាក់ទំនងឬដោយស្វ័យប្រវត្តិដើម្បីចូលទៅក្នុងទិន្នន័យដែលអ្នកត្រូវការ API Browser គឺល្អបំផុត។ ទម្រង់ទិន្នន័យដ៏អស្ចារ្យសម្រាប់ LLM ingestion ទម្រង់ទិន្នន័យដ៏អស្ចារ្យសម្រាប់ LLM ingestion ទាំងពីរដំណោះស្រាយទាំងនេះរួមបញ្ចូលទាំងអស់ដែលត្រូវការសម្រាប់ដំណោះស្រាយ "Extract" នៃដំណើរការការងារ "Search and Extract" ។ តើធ្វើដូចម្តេចដើម្បីអនុវត្តការស្វែងរកនិងដំណើរការការងារក្នុង Python តើធ្វើដូចម្តេចដើម្បីអនុវត្តដំណើរការការងារ "ការស្វែងរកនិងបង្វិល" ដែលពិតប្រាកដនៅក្នុង Python: សម្រាប់ជំហានស្វែងរកអ្នកនឹងប្រើ API SERP នៃ Bright Data ដើម្បីធ្វើការស្វែងរកគេហទំព័រផ្ទាល់។ ក្នុងអំឡុងពេលបច្ចុប្បន្ននេះអ្នកនឹងប្រើ API Web Unlocker ដើម្បីទាញយកនិងពិនិត្យមើលសម្ភារៈពីទំព័រដែលបានជ្រើសរើស។ សូមស្វែងរកការបង្កើតនៅក្រោមនេះ! គោលបំណង ប្រសិនបើអ្នកចង់ដំណើរការជាមួយបច្ចុប្បន្នភាពបច្ចុប្បន្នភាពបច្ចុប្បន្នភាពបច្ចុប្បន្នភាពបច្ចុប្បន្នភាពបច្ចុប្បន្នភាពបច្ចុប្បន្នភាពបច្ចុប្បន្នភាពបច្ចុប្បន្នភាព។ Python 3.9+ ត្រូវបានដំឡើងនៅកន្លែងនេះ។ គណនី Bright Data បានកំណត់ជាមួយនឹងតំបន់ API SERP និងតំបន់ API Web Unlocker ជាមួយនឹងគោលដៅ API របស់អ្នក។ ប្រសិនបើអ្នកមិនដឹងអំពីរបៀបដើម្បីចាប់ផ្តើមជាមួយផលិតផល API SERP ឬ API Web Unlocker នៃ Bright Data, បន្ទាប់ពីឯកសារផ្លូវការ: ការបង្កើត SERP API លក្ខណៈពិសេសនៃ Bright Data Unlocker API ការបង្កើត SERP API ការបង្កើត SERP API លក្ខណៈពិសេសនៃ Bright Data Unlocker API លក្ខណៈពិសេសនៃ Bright Data Unlocker API ពីឥឡូវនេះយើងនឹងផ្លាស់ប្តូរតំបន់ API SERP របស់អ្នកដូចជា នៅលើ Web Unlocker API របស់អ្នក : serp_api web_unlocker ដូច្នេះ, សូមធ្វើឱ្យប្រាកដថា តំបន់នេះត្រូវបានកំណត់នៅក្នុងដំណើរការ "JSON ពេញលេញ" នៅក្នុងផ្នែក "Data Format" នៅក្នុងតម្រូវការកំណត់ដំណើរការ: serp_api ដូច្នេះ, Bright Data SERP API នឹងបង្ហាញពីផលិតផល SERP ដែលត្រូវបានពិនិត្យឡើងវិញនៅក្នុងទំហំ JSON ដែលធ្វើឱ្យពួកគេមានភាពងាយស្រួលក្នុងការបម្រើនិងកម្រិតឡើងវិញ។ ឥឡូវនេះ . នេះនឹងត្រូវបានប្រើដើម្បីត្រួតពិនិត្យការតម្រូវការទៅកាន់សេវាកម្មដែលបាននិយាយនៅលើនេះ! generate your Bright Data API key ទាញយក Bright Data API Key របស់អ្នក ដើម្បីកើនឡើងល្បឿនលឿនដំណើរការនេះយើងនឹងគិតថាអ្នកមានគម្រោង Python ដែលបានបង្កើតឡើងជាមួយនឹងបរិស្ថានបច្ចុប្បន្ននេះ។ ជំហាន #1: រៀបចំដើម្បីទទួលបានសេវាកម្មទិន្នន័យស្រស់ស្អាតតាមរយៈ API វិធីដែលងាយស្រួលបំផុតដើម្បីភ្ជាប់ជាមួយសេវាកម្ម Bright Data គឺដោយផ្ទាល់តាមរយៈ API របស់វា។ ជាលើកដំបូង, ទាញយកអតិថិជន HTTP ដូចជា AIOHTTP ។ pip install aiohttp បន្ទាប់មកបានកំណត់គោលបំណងពីរដូចខាងក្រោមដើម្បីទូរស័ព្ទ SERP API និង Web Unlocker API ។ # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() នេះ គោលបំណងនេះបំពាក់ជាមួយ API Bright Data SERP ដើម្បីអនុវត្តការស្វែងរក Google និងស្វែងរកផលិតផល JSON SERP ដែលបានសរសេរ (ដូចដែលបានកំណត់នៅក្នុងគណនីរបស់អ្នក) ។ fetch_serp() ដូចគ្នានេះ វាត្រូវបានបង្កើតឡើងដោយប្រព័ន្ធផ្សព្វផ្សាយពាណិជ្ជកម្ម Bright Data Web Unlocker API ដើម្បីទទួលបានទំព័រអ៊ីនធឺណិត។ វាត្រូវបានបង្កើតឡើងដោយប្រព័ន្ធផ្សព្វផ្សាយពាណិជ្ជកម្ម Bright Data Web Unlocker API ។ វាត្រូវបានបង្កើតឡើងដោយប្រព័ន្ធផ្សព្វផ្សាយពាណិជ្ជកម្ម (LLMs) ។ fetch_page() ប្រសិនបើអ្នកមានព័ត៌មានបន្ថែមអំពីគំនិតទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទំហំទ : នៅក្នុងការផលិត, ការពារការកូដ hardcoding របស់អ្នក Bright Data API key. ជាផ្នែកមួយ, សូមទាញយកវាពីផ្លាស់ប្តូរបរិស្ថាន. Note អស្ចារ្យ! ឥឡូវនេះអ្នកមានផ្នែករចនាសម្ព័ន្ធដើម្បីអនុវត្តដំណើរការ "ការស្វែងរក" និង "បម្រើ" ក្នុង សមត្ថភាព : async import asyncio async def main(): # "Search and Extract" logic... # Run the async main function asyncio.run(main()) ជំហាន #2: ធ្វើដំណើរការនៃដំណើរការ Extract ទោះបីជាអ្នកមានអេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រង់អេក្រ LLMs ជាទូទៅមិនអាចជួយយ៉ាងខ្លាំងជាមួយកម្មវិធីនេះ, ដូចជា MCP គឺជាថ្មីប្រហែលហើយម៉ូដែលភាគច្រើនត្រូវបានបណ្តុះបណ្តាលនៅលើទិន្នន័យប្រហែល។ ដូច្នេះអ្នកត្រូវការសេចក្តីពីការស្វែងរកដូចជា: "new version of MCP" ទូរស័ព្ទ API SERP ដើម្បីស្វែងរកផលិតផល Google SERP ដែលត្រូវបានដំឡើងសម្រាប់ការស្វែងរកនេះ: # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) នៅចុងក្រោយនៃរូបរាងនេះ, The គោលបំណងនេះធ្វើឱ្យប្រសិនបើអ្នកត្រូវការដោះស្រាយសំណួរជាច្រើនអ្នកអាចប្រើ SERP API ។ ការប្រើប្រាស់ . fetch_serp() fetch_serp() asyncio.gather() : ដោយគោលបំណង, API SERP អនុញ្ញាតឱ្យវាឱ្យមាន 10 លទ្ធផលក្នុងមួយសំណួរប៉ុន្តែវាអាចត្រូវបានកំណត់ដើម្បីធ្វើឱ្យវាទៅ 100 លទ្ធផល។ Note ទាញយកផលិតផល Google SERP ក្នុងនាមជាសៀវភៅ Python ។ ទាញយកផលិតផល លក្ខណៈពិសេស : fetch_serp() organic serp_ranking_results = serp_results.get("organic", []) ការបោះពុម្ពផលប៉ះពាល់នៃការស្វែងរក, ហើយអ្នកគួរតែទទួលបានផលិតផលដូចនេះ: សូមពិនិត្យឡើងវិញពីរបៀបដែលទាំងអស់នៃអេឡិចត្រូនិនេះបើយោងតាមលទ្ធផលដែលអ្នកនឹងទទួលបានដោយការស្វែងរក “កំណែថ្មីនៃ MCP” នៅលើ Google: ជំហាន #3: Filter the URLs of Interest ពីលទ្ធផល SERP ទាំងអស់ដែលបានបង្ហាញដោយការចែកចាយ SERP API, បាននិយាយថាអ្នកមានអារម្មណ៍ទៅនឹងលទ្ធផលទី 3 នៃ " ទោះជាយ៉ាងណាក៏ដោយយើងគួរឱ្យចាប់អារម្មណ៍អំពីចំណុចដំបូងរបស់ Google ដូចជាចំណុចដែលអ្នកចង់រក្សាទុក។ modelcontextprotocol.io គំរូប្រព័ន្ធប្រតិបត្តិការ.io បម្រើពួកគេដូចខាងក្រោម។ # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_data_results: page_url = result.get("url") if "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) # Stop once reaching 3 results if len(page_url) == 3: break លទ្ធផលនេះនឹងជាសៀវភៅនៃ URLs ដែលត្រូវការចូលទៅក្នុងរយៈពេលនៃដំណោះស្រាយ "Extract" ។ នៅក្នុងដំណោះស្រាយនេះ URLs ដែលបានរកឃើញគឺ: [ "http://blog.modelcontextprotocol.io/posts/2025-11-25-first-mcp-anniversary/", "https://modelcontextprotocol.io/development/roadmap", "https://modelcontextprotocol.io/specification/2025-11-25" ] ឥឡូវនេះគឺជាពេលដើម្បីកាត់បន្ថយព័ត៌មានពីទំព័រនេះ! ជំហាន #4: ធ្វើដំណើរការនៃដំណើរការ Extract ការប្រើប្រាស់ ឧបករណ៍ដើម្បីទូរស័ព្ទ API Web Unlocker និង scrape ទាំងបីទំព័រដែលបានជ្រើសរើសក្នុងដំណោះស្រាយ: fetch_page() tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) : ប្រសិនបើអ្នកកំពុងធ្វើដំណើរការជាមួយគេហទំព័រច្នៃប្រឌិតដែលតម្រូវឱ្យការរួមបញ្ចូលអ្នកប្រើប្រាស់ទាញយកទិន្នន័យពីគេហទំព័រនេះដោយប្រើបច្ចេកវិទ្យាដោយស្វ័យប្រវត្តិដូចជា Playwright ដែលត្រូវបានរួមបញ្ចូលជាមួយ API Browser ។ សម្រាប់សំណួរបន្ថែម, សូមមើលឯកសារ។ Note លទ្ធផលនេះនឹងជាទំហំដែលមានសម្ភារៈនៃទំព័រវិជ្ជាជីវៈទាំងអស់។ ទទួលបានសម្ភារៈ Markdown បានបិទពីទំព័រទាំងអស់ដោយប្រើ: markdown_pages = [page for page in web_page_results] សូមបញ្ជាក់ថាតើទំហំនៃទំហំនៃទំហំនៃទំហំនៃទំហំនៃទំហំនៃទំហំនៃទំហំនៃទំហំនៃទំហំនៃទំហំនៃទំហំនៃទំហំនៃទំហំនៃទំហំនៃទំហំនៃទំហំនៃទំហំនៃទំហំនៃទំហំន: for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") ក្នុងករណីនេះផលិតផលនេះគឺ: នេះបើយោងតាមកំណែ Markdown នៃទំព័រគោលបំណងទាំងអស់, ដែលមានន័យថា API Web Unlocker អាចធ្វើការកាត់បន្ថយទិន្នន័យបណ្តាញយ៉ាងជោគជ័យដោយគ្មានការប្រឆាំងនឹង bot ឬការប្រឆាំងនឹងការកាត់បន្ថយ។ ទោះបីជាទិន្នន័យច្នៃប្រឌិតនិងអាចត្រួតពិនិត្យឡើងវិញនេះ, ទាញយកវាសម្រាប់ការដោះស្រាយបន្ថែមទៀតផ្ញើវាទៅ LLM សម្រាប់ការដំណើរការ, ប្រើវាដើម្បីរកឃើញសម្ភារៈបន្ថែមទៀតនៃអារម្មណ៍, ធ្វើការជាមួយការស្រាវជ្រាវបន្ថែមទៀតឬអនុវត្តវាទៅជាទិន្នន័យការប្រើប្រាស់ផ្សេងទៀតជាច្រើន។ គោលបំណងបញ្ចប់! ជំហាន #5: គោលបំណងពេញលេញ កំណែចុងក្រោយនៃឧទាហរណ៍នេះគឺ: # pip install aiohttp import asyncio import aiohttp import urllib.parse import json # Replace these with your Bright Data API token and zone names BRIGHT_DATA_API_TOKEN = " " SERP_ZONE = "serp_api" # Your SERP API zone WEB_UNLOCKER_ZONE = "web_unlocker" # Your Web Unlocker API zone HEADERS = { "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}", # To authenticate the API requests to Bright Data "Content-Type": "application/json" } async def fetch_serp(session, query, location="us", language="en"): url = "https://api.brightdata.com/request" data = { "zone": SERP_ZONE, "url": f"https://www.google.com/search?q={urllib.parse.quote_plus(query)}&hl={language}&gl={location}", "format": "json" } async with session.post(url, json=data, headers=HEADERS) as resp: response_data = await resp.json() return json.loads(response_data["body"]) async def fetch_page(session, page_url, data_format="markdown"): url = "https://api.brightdata.com/request" data = { "zone": WEB_UNLOCKER_ZONE, "url": page_url, "format": "raw", "data_format": data_format } async with session.post(url, json=data, headers=HEADERS) as resp: return await resp.text() async def main(): # Topics to search input_topic = "new version of MCP" async with aiohttp.ClientSession() as session: # Search phase: Get SERP results serp_results = await fetch_serp(session, input_topic) # Where to store the page URLs to scrape in the "Extract" phase pages_of_interest = [] # Iterate over results and filter for URLs containing "modelcontextprotocol.io" for result in serp_results.get("organic", []): page_url = result.get("link") if page_url and "modelcontextprotocol.io" in page_url: pages_of_interest.append(page_url) if len(pages_of_interest) == 3: break print("Pages to scrape:", pages_of_interest) # Extract phase: Scrape pages concurrently tasks = [fetch_page(session, url) for url in pages_of_interest] web_page_results = await asyncio.gather(*tasks) # Access the content from each page markdown_pages = [page for page in web_page_results] print("Scraped page contents:") for markdown_page in markdown_pages: print(markdown_page[:300] + "...\n---\n") # AI processing, RAG pipelines, or further workflows... # Run the async main function asyncio.run(main()) ដោយសារតែផលិតផលដែលបានរចនាឡើងដោយ API របស់ Bright Data, អ្នកអាចអនុវត្តដំណើរការការងារដែលមានប្រសិទ្ធិភាពនិងមានគុណភាពជាសហគ្រាសដែលបានរចនាឡើងសម្រាប់ផលិតកម្ម "ការស្វែងរកនិងបញ្ចេញ" ក្នុងរយៈពេលតិចជាង 50 ដំណាក់កាលនៃកូដ Python! លទ្ធផល នៅលើប្រកាសនេះអ្នកបានមើលពីរបៀបដែលបំពង់ទិន្នន័យនិងដំណើរការការងារ AI ត្រូវបានផ្លាស់ប្តូរដោយទិន្នន័យដែលមានប្រសិទ្ធភាពទិន្នន័យដែលមានប្រសិទ្ធភាពនិងមានប្រសិទ្ធិភាព។ នៅចុងក្រោយនៃថ្ងៃនេះការចូលល្អប្រសើរជាងមុនបាននាំឱ្យផលិតផលល្អប្រសើរជាងមុន, ជាពិសេសនៅក្នុងប្រព័ន្ធដែលត្រូវបានផ្អែកដោយ AI! វិធីមួយដែលអាចជឿទុកចិត្តដើម្បីទាញយកទិន្នន័យនេះគឺតាមរយៈ គំរូ AI ដែលមានប្រសិទ្ធិភាពបានក្លាយជាវិធីសាស្រ្តធម្មតាសម្រាប់ការចូលទៅក្នុងទិន្នន័យបណ្តាញដែលមានគុណភាពខ្ពស់និងអាចបញ្ជាក់។ ការស្វែងរកដោយស្វ័យប្រវត្តិតាមរយៈម៉ាស៊ីនស្វែងរកនៅពេលដែល វាត្រូវបានរក្សាទុកនូវព័ត៌មានដែលមានរចនាឡើងពីផលិតផលដែលមានតម្លៃបំផុត។ ការស្រាវជ្រាវ និង ការបំបែក ការស្វែងរក លក្ខណៈពិសេស ️ ដូចដែលបានបង្ហាញនៅលើអត្ថបទនេះ, ការប្រើប្រាស់ប្លាស្ទិច scraping ប្លាស្ទិចដែលមានអត្ថប្រយោជន៍ពី AI ដូចជា Bright Data ធ្វើឱ្យការអនុវត្តដំណើរការការងារនេះយ៉ាងងាយស្រួលនិងអាចកាត់បន្ថយ។ និងស្រាវជ្រាវទាំងអស់នៃដំណោះស្រាយទិន្នន័យបណ្តាញរបស់ខ្លួន! Start a Bright Data free trial today ចាប់ផ្តើមការធ្វើតេស្តដោយឥតគិតថ្លៃ Bright Data ថ្ងៃនេះ វាត្រូវបានបោះពុម្ពតាមកម្មវិធី HackerNoon Business Blogging ។ អត្ថបទនេះត្រូវបានបោះពុម្ពដោយ គម្រោង ហ្វេសប៊ុក Hacker