នេះគឺជាបញ្ហានេះ: បាននិយាយថាអ្នកកំពុងទាញយកប្រហែល 4 លានគំនិត Reddit ក្នុងមួយថ្ងៃហើយអ្នកត្រូវការរកឃើញការមានប្រហែល 10,000 សៀវភៅពិសេសនៅក្នុងពេលវេលាពិតប្រាកដ។ នេះជាការពិតណាស់គឺជាការពិតប្រាកដ - ប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែល។ for comment in reddit_comments:
    for keyword in keywords:
        if keyword in comment:
            # alert user
 វាគឺជាការងាយស្រួល។ វាគឺជាការងាយស្រួលផងដែរ។ ទោះបីជាអ្នកមិនគិតមាតិកានេះទេប៉ុន្តែវាជាការធ្វើការប្រៀបធៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀបរៀប នេះគឺជាបញ្ហានេះដែល Lewis Van Winkle បានរកឃើញនៅពេលដែលបានបង្កើត F5Bot (សេវាកម្ម scraping Reddit ដោយឥតគិតថ្លៃ) ហើយគាត់បានដំណើរការវានៅលើ VPS តូចមួយដែលមាន CPU ដែលមានគុណសម្បត្តិ, មិនមែនកម្រិតខ្មៅមួយចំនួន។ ការដោះស្រាយនេះ? សៀវភៅអេឡិចត្រូនិពីឆ្នាំ 1975 ដែលគេស្គាល់ថា វាត្រូវបានអនុញ្ញាតឱ្យអ្នកស្វែងរកគំរូនៅក្នុងដំណើរការតែមួយ។ ហ្វេសប៊ុក គោលបំណងសៀវភៅ $600 វាត្រូវបានរកឃើញនៅក្នុង Bell Labs នៅឆ្នាំ 1975 នៅពេលដែលលោក Margaret Corasick បានធ្វើការលើឧបករណ៍ដើម្បីស្វែងរកគំនិតគោលបំណងនៅលើខ្សែភាពយន្តដែលបានផ្គត់ផ្គង់ដោយរដ្ឋាភិបាល ។ សៀវភៅសៀវភៅមួយបានក្លាយទៅជាការត្រឹមត្រូវនៃការប្រើប្រាស់ $ 600 ខណៈពេលដែលស្វែងរកគំនិតគោលបំណងជាដំណាក់កាល (និងកម្មវិធីនេះមិនបានបញ្ចប់) ។ ប្រភេទនៃបញ្ហាដែលអ្នកបានរកឃើញនៅពេលអាកាសធាតុរបស់អ្នកមិនបានកម្រិត។ Corasick បានចូលរួមក្នុងសម្ភារៈអំពីការរចនាអាល្លឺម៉ង់ដោយ Alfred Aho ហើយពួកគេបានរកឃើញអ្វីដែលយើងដឹងថាជាអាល្លឺម៉ង់ Aho-Corasick ។ ការស្វែងរករបស់ bibliographer ឥឡូវនេះបានដំណើរការសម្រាប់ $ 25. 24x speedup. ហេតុអ្វីបាន Aho-corasick គឺជាប្រហែលជាការពេញនិយមខ្លាំងណាស់។ ការអនុវត្តដំបូងនៃ   Aho-Corasick. កុំព្យូទ័រវ៉ុលប្រើវាដើម្បីសាកល្បងសម្រាប់សញ្ញាបនប័ត្រកូទ័រហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គីហ្គី fgrep អាន សូមមើលប្រព័ន្ធប្រតិបត្តិការ F5Bot ។ Loaded 3000 keywords to search on a text of 19377 chars

searching with strpos (naive):  0.384 seconds
searching with aho-corasick:    0.055 seconds (7x faster)
 វាគឺជាការ flex ដែលខ្ញុំនឹងរីករាយក្នុងការមាននៅពេលណាមួយ. តើធ្វើដូចម្តេច គំនិតជាមូលដ្ឋានគឺ - ប្រសិនបើអ្នកកំពុងស្វែងរកកំណត់ចម្បងជាច្រើនអ្នកកំពុងធ្វើការធ្លាក់ចុះ។ សូមប្រាកដថាអ្នកកំពុងស្វែងរក: លោក លោក ដោយប្រើវិធីសាស្រ្តដែលមានគួរឱ្យចាប់អារម្មណ៍, អ្នកនឹង scan ដោយសៀវភៅរបស់អ្នកបីដង - មួយដងសម្រាប់គោលបំណងទាំងអស់។ "art" "cart" "ted" ប្រសិនបើអ្នកបានស្វែងរក និងអ្នកដឹងថាវាមាននៅទីនេះអ្នកអាចចាប់ផ្តើមនៅទីនេះ។ គ្រាន់តែបង្កើតម៉ាស៊ីនស្ថានភាពចុងបញ្ចប់និងប្រើប្រាស់ការផ្គត់ផ្គង់ដែលបានផ្គត់ផ្គង់។ ជាមូលដ្ឋាន, កញ្ចក់ (នៃ strings) ដែលជាកញ្ចក់មួយដែលជាកញ្ចក់មួយនៃគោលបំណងមួយនៃគោលបំណងរបស់អ្នក។ នៅពេលដែលអ្នកសាកល្បងតាមរយៈគោលបំណងអត្ថបទរបស់អ្នកដោយគោលបំណងអ្នកផ្លាស់ប្តូរតាមរយៈគោលបំណងនេះ។ វាគឺជាការដូចជា trie? "art" អ្វីដែលមានគួរឱ្យចាប់អារម្មណ៍គឺថាតើអាល្លឺម៉ង់បានបង្កើត "តំណភ្ជាប់គួរឱ្យចាប់អារម្មណ៍" ក្នុងរយៈពេល ២ វិនាទី ក្នុងរយៈពេល ២ វិនាទី ក្នុងរយៈពេល ២ វិនាទី ក្នុងរយៈពេល ២ វិនាទី ក្នុងរយៈពេល ២ វិនាទី ក្នុងរយៈពេល ២ វិនាទី ក្នុងរយៈពេល ២ វិនាទី ក្នុងរយៈពេល ២ វិនាទី ក្នុងរយៈពេល ២ វិនាទី ក្នុងរយៈពេល ២ វិនាទី ក្នុងរយៈពេល ២ វិនាទី ក្នុងរយៈពេល ២ វិនាទី ក្នុងរយៈពេល ២ វិនាទី ក្នុងរយៈពេល ២ វិនាទី ក្នុងរយៈពេល ២ វិនាទី ក្នុងរយៈពេល ២ វិនាទី ក្នុងរយៈពេល ២ វិនាទី ក្នុងរយៈពេល ២ វិនាទី។ សូមផ្តល់ឱ្យអ្នកនូវឧទាហរណ៍មួយ។ ប្រសិនបើអ្នកកំពុងស្វែងរក , មូលនិធិនេះបង្កើត trie (បន្លឺផែនទី) និងបន្ថែមតំណភ្ជាប់បន្ថែមទៀតដែលអ្នកមើលឃើញនៅក្នុងខ្មៅ / អស្ចារ្យ: {a, ab, b, bc, bca, c, ca, caa} ប្រសិនបើអ្នកបានដឹងអំពី a វាត្រូវបានបន្ថែម a ដូច្នេះអ្នកអាចឆ្លងកាត់ពេលវេលាទៅនឹងការឆ្លងកាត់ពេលវេលាដែលមានទំហំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំទូលំ អ្នកធ្វើការតាមរយៈការ trie នេះ (automaton) នៅពេលមួយ, សៀវភៅតាមរយៈសៀវភៅ។ សៀវភៅនេះត្រូវបានសាកល្បងតែមួយដង - ដូច្នេះអ្នកបានបញ្ចប់ជាមួយនឹងភាពងាយស្រួលពេលវេលានៃ O(n); នៅទីនេះ n គឺជាទំហំនៃសៀវភៅ។ trie ហ្វេសប៊ុក "abccab" គោលបំណងដ៏គួរឱ្យចាប់អារម្មណ៍នេះនឹងធ្វើឱ្យអ្នកសាកល្បងគោលបំណងនេះហើយហើយហើយហើយ។ O(n * m * k) ដែលមាន m គឺជាទំហំនៃគោលបំណងនិង k គឺជាទំហំអតិបរមា។ Aho-Corasick គឺជា O(n + m + z) ដែលមាន z គឺជាទំហំនៃគោលបំណង។ ទោះបីជាអ្នកបានស្វែងរកគោលបំណងជាលាននាក់ Aho-Corasick បានដោះស្រាយវាតាមដំណោះស្រាយ។ ការអនុវត្ត អ្នកអាចរកឃើញ a ក្នុងគម្រោងថ្មីរបស់ខ្ញុំ, នៅទីនេះខ្ញុំបានកំណត់វាដើម្បីស្វែងរកគំរូ 9 (គំរូ) នៅក្នុងឯកសារអេឡិចត្រូនិ (ជាមូលដ្ឋាននៃគំនិត 4M) ហើយវាបានស្វែងរកវាទាំងអស់នៅក្នុង 0.75s ។ ដូចគ្នានេះវាជាគំរូដែលខ្ញុំប្រើគឺតូចតូចប៉ុន្តែវាជាយ៉ាងឆាប់រហ័ស! ការអនុវត្តងាយស្រួល ខ្ញុំបានបង្ហាញនូវឧទាហរណ៍ងាយស្រួលដូច្នេះអ្នកអាចដឹងពីរបៀបដែលវាធ្វើការ។  
# naive approach
for comment in reddit_comments:
    for keyword in keywords:
        if keyword in comment:
            # alert user
 
# with aho-corasick
step 1: build an automaton (trie) using patterns
step 2: add failure links (with bfs)
step 3: search automaton by following failure links, and return patterns that matched
 ខ្ញុំគិតថាការអនុវត្តនេះគឺប្រហែល 60 ដំណឹងនៃកូដពិតប្រាកដ។ វាគឺជាសៀវភៅថ្មីមួយ - វាគឺជាការងាយស្រួលក្នុងការប្រើប្រាស់។ pyahocorasick ការប្រើប្រាស់នេះនៅពេលដែល អ្នកមិនចាំបាច់ដើម្បី spam នៅពេលដែលអ្នកកំពុងស្វែងរកបីស្លាកស្លាកនៅក្នុងកំណែ។ ប្រើវានៅពេលដែល: ahocorasick 
 
 
 អ្នកកំពុងស្វែងរកប្រភេទស្លាកដែលមិនផ្លាស់ប្តូរយ៉ាងធម្មតា (F5Bot usecase) វាត្រូវបានធ្វើឡើងយ៉ាងទូលំទូលំទូលាយ (Think Streams) យោបល់ច្បាស់ Aho-Corasick ត្រូវបានរចនាឡើងដោយលោក Margaret ជាមួយនឹងសៀវភៅនិងសៀវភៅ 50 ឆ្នាំមុនដោយមិនមានអេឡិចត្រូនិកណាមួយទេប៉ុន្តែគំនិតសំខាន់នេះមិនបានផ្លាស់ប្តូរយ៉ាងខ្លាំងនៅក្នុងការដោះស្រាយរចនាសម្ព័ន្ធជាច្រើន។ កុំព្យូទ័របច្ចុប្បន្ននេះគឺមានល្បឿនលឿនជាងអតិថិជនប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហែលប្រហ អាហារសម្រាប់ការគួរឱ្យចាប់អារម្មណ៍, មានប្រសិនបើមានអាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអាភាសអ Footnotes: 
 
 
 
 
 
 សៀវភៅដំបូងនៃឆ្នាំ 1975 Efficient string matching: An aid to bibliographic search គឺជាការអានអស្ចារ្យ។ លោក Margaret J. Corasick បានបច្ចុប្បន្នភាពបច្ចុប្បន្នភាព (1974) គឺជា "ការធានាទិន្នន័យផ្ទាល់ខ្លួនក្នុងប្រព័ន្ធបើកចំហ" - ការសុវត្ថិភាពទិន្នន័យដំបូង។ យោបល់ថាគាត់មិនមានទំព័រវេជ្ជបណ្ឌិតរបស់គាត់ប៉ុន្តែវេជ្ជបណ្ឌិតរបស់គាត់និង Alfred Aho (គាត់គឺជា "A" នៅក្នុង AWK - Aho, Weinberger, Kernighan) ទាំងពីរមានទំព័រវេជ្ជបណ្ឌិតរបស់គាត់។ មានសៀវភៅ Python ដែលមានឈ្មោះ pyahocorasick ដែលត្រូវបានអនុវត្តនៅក្នុង C សម្រាប់ការប្រើប្រាស់ផលិតកម្ម។ ខ្ញុំមានសុវត្ថិភាពថាវាគឺយ៉ាងឆាប់រហ័សជាងកំណែរបស់ខ្ញុំប៉ុន្តែគោលដៅគឺដូចគ្នា។ ខ្ញុំនឹងដំណើរការគោលដៅយ៉ាងឆាប់រហ័ស។ KMP (Knuth-Morris-Pratt) ប្រើវិធីសាស្រ្តដូចគ្នានេះដើម្បីបញ្ចូលគ្នានៃគំរូទៅជា automata ដំបូង។ ជាមូលដ្ឋាន ahocorasick សម្រាប់គំរូតែមួយ។ ទាំងពីរបានបញ្ចប់គ្នានៃគំរូនិងការប្រើប្រាស់គំរូដែលបានបង្ហាញ។ កុំព្យូទ័រ Aho-Corasick អាចក្លាយជាធំទូលំទូលាយ - O(សៀវភៅទាំងអស់នៅក្នុងសៀវភៅទាំងអស់) ។ ប្រសិនបើអ្នកមានគំរូជាច្រើនគ្នានេះវាមានតម្រូវការចម្ងាយធំ។

This story contains new, firsthand information uncovered by the writer.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Read My Stories

សំឡេងនេះផលិតជាភាសាដើមនៃរឿង!

សៀវភៅ សៀវភៅ សៀវភៅ សៀវភៅ សៀវភៅ សៀវភៅ សៀវភៅ សៀវភៅ សៀវភៅ សៀវភៅ សៀវភៅ សៀវភៅ សៀវភៅ សៀវភៅ សៀវភៅ

About Author

មតិយោបល់

ព្យួរស្លាក

អត្ថបទនេះត្រូវបានបង្ហាញនៅក្នុង

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps