CVPR 2022 बेस्ट पेपर ऑनरेबल मेंशन: डुअल-शटर ऑप्टिकल वाइब्रेशन सेंसिंग

TLDR: वे किसी भी कंपन सतह पर कैमरों और एक लेजर बीम का उपयोग करके ध्वनि का पुनर्निर्माण करते हैं, जिससे वे संगीत वाद्ययंत्रों को अलग कर सकते हैं, एक विशिष्ट स्पीकर पर ध्यान केंद्रित कर सकते हैं, परिवेशी शोर को हटा सकते हैं, और कई और अद्भुत अनुप्रयोग।

अधिक जानने के लिए वीडियो देखें और कुछ पागल परिणाम सुनें!

संदर्भ

►पूरा लेख पढ़ें: https://www.louisbouchard.ai/cvpr-2022-best-paper /
शीनिन, मार्क और चैन, डोरियन और ओ'टोल, मैथ्यू और नरसिम्हन,
श्रीनिवास जी, 2022, डुअल-शटर ऑप्टिकल वाइब्रेशन सेंसिंग, प्रोक। आईईईई
सीवीपीआर।
प्रोजेक्ट पेज: https://imaging.cs.cmu.edu/vibration/
►माई न्यूज़लेटर (आपके ईमेल को साप्ताहिक रूप से समझाया गया एक नया AI एप्लिकेशन!): https://www.louisbouchard.ai/newsletter/

वीडियो प्रतिलेख

0:00

इस साल मुझे cvpr . पर आने का मौका मिला

0:02

व्यक्तिगत रूप से और अद्भुत सर्वश्रेष्ठ में भाग लें

0:05

इसके साथ पेपर अवार्ड प्रेजेंटेशन

0:07

शानदार कागज़ पर मुझे कवर करना था

0:09

चैनल को ड्यूल शटर ऑप्टिकल कहा जाता है

0:12

मार्क शानिन डोरियन द्वारा कंपन संवेदन

0:15

चान मैथ्यू ओ'टोल और श्रीनिवास

0:18

नरसिम्हन एक वाक्य में वे

0:21

कैमरों का उपयोग करके ध्वनि का पुनर्निर्माण करें a

0:23

किसी भी कंपन सतह पर लेजर बीम

0:26

उन्हें संगीत को अलग करने की अनुमति देता है

0:28

उपकरण एक विशिष्ट वक्ता पर ध्यान केंद्रित करते हैं

0:30

परिवेशी शोर और बहुत कुछ हटा दें

0:33

अद्भुत अनुप्रयोग आइए जानें कैसे

0:35

वे इसे हासिल करते हैं और कुछ पागल सुनते हैं

0:37

परिणाम लेकिन पहले मुझे एक मिनट का समय दें

0:40

आपका समय एक से आपका परिचय कराने का है

0:41

शानदार कंपनी इसका प्रायोजक है

0:44

वीडियो असेंबली एआई असेंबली एआई है a

0:47

कंपनी जो के लिए सटीक एपीआई प्रदान करती है

0:49

टेक्स्ट और ऑडियो इंटेलिजेंस के लिए भाषण

0:52

आप स्वचालित रूप से उनके एपिस का उपयोग कर सकते हैं

0:54

ऑडियो को ट्रांसक्राइब करें और समझें और

0:56

कोड की कुछ ही पंक्तियों में वीडियो डेटा

0:58

और स्वचालित रूप से अतुल्यकालिक रूपांतरित करें

1:00

और टेक्स्ट में लाइव ऑडियो स्ट्रीम

1:03

करने के लिए बेहद चुनौतीपूर्ण कुछ

1:05

और आम तौर पर मजबूत और की आवश्यकता होती है

1:07

महंगा मॉडल बेशक यह रुकता नहीं है

1:10

यहां असेंबली एआई भी आपकी प्रक्रिया करेगी

1:12

ऑडियो डेटा और सूचनात्मक सुविधा है

1:15

प्रतिनिधित्व आपको आसानी से करने की अनुमति देता है

1:17

टेक्स्ट-आधारित सुविधाएँ जोड़ें जैसे

1:19

सारांश सामग्री मॉडरेशन विषय

1:21

पता लगाने और अधिक सभी एक में यदि आप

1:24

ऑडियो को समझने या ट्रांसक्रिप्ट करने की आवश्यकता है

1:26

या वीडियो डेटा के साथ विधानसभा एआई का प्रयास करें

1:29

पहला लिंक नीचे

1:33

आइए इस उदाहरण को सुनकर शुरू करते हैं

1:35

विधि क्या हासिल कर सकती है

1:38

[संगीत]

1:53

आप दोनों को स्पष्ट रूप से सुन सकते हैं

1:54

प्रत्येक ऑडियो ट्रैक में अलग-अलग गिटार

1:57

यह रिकॉर्ड की गई ध्वनि का उपयोग करके नहीं बनाया गया था

2:00

लेकिन एक लेजर और दो कैमरों से लैस

2:02

रोलिंग और वैश्विक शटर सेंसर के साथ

2:05

क्रमशः ऐसा लगता है कि इससे निपटने के लिए

2:08

दृष्टि के माध्यम से कार्य इसे बहुत आसान बनाता है

2:10

ऑडियो ट्रैक को विभाजित करने की कोशिश करने के बजाय

2:12

रिकॉर्डिंग के बाद इसका मतलब यह भी है कि हम कर सकते हैं

2:15

चश्मे के माध्यम से और से कुछ भी रिकॉर्ड करें

2:18

यहाँ कोई भी कंपन करने वाली वस्तु जिसका वे उपयोग करते हैं

2:21

वक्ताओं पर उनकी विधि स्वयं

2:23

बाएँ और दाएँ वक्ताओं को अलग करने के लिए

2:25

जबकि एक माइक्रोफ़ोन स्वचालित रूप से होगा

2:27

दोनों को रिकॉर्ड करें और ऑडियो ट्रैक्स को ब्लेंड करें

2:41

[संगीत]

2:45

आमतौर पर इस तरह की जासूसी तकनीक

2:48

जिसे विजुअल वाइब्रोमेट्री की आवश्यकता होती है

2:51

सही प्रकाश व्यवस्था की स्थिति और

2:52

उच्च गति वाले कैमरे जो एक जैसे दिखते हैं

2:54

उच्च गति पर कब्जा करने के लिए छलावरण स्नाइपर

2:56

यहाँ 63 किलोहर्ट्ज़ तक के कंपन

3:00

वे समान परिणाम प्राप्त करते हैं

3:02

केवल 60 और 130 हर्ट्ज़ के लिए बनाए गए सेंसर

3:06

और इससे भी बेहतर वे प्रक्रिया कर सकते हैं

3:08

एक साथ कई वस्तुएँ अभी भी यह है a

3:11

बहुत चुनौतीपूर्ण कार्य जिसमें बहुत अधिक की आवश्यकता होती है

3:13

इसे बनाने के लिए इंजीनियरिंग और महान विचार

3:16

ऐसा होता है कि वे केवल रिकॉर्ड नहीं करते हैं

3:18

उपकरण और वीडियो को a . पर भेजें

3:20

मॉडल जो स्वचालित रूप से बनाता है और

3:22

उस ऑडियो को अलग करता है जिसकी उन्हें सबसे पहले आवश्यकता होती है

3:24

उनके द्वारा प्राप्त लेजर को समझें और

3:26

इसे सही ढंग से संसाधित करें वे एक लेज़र को उन्मुख करते हैं

3:29

सतह पर सुनने के लिए तो यह

3:32

लेज़र सतह से a . में उछलता है

3:34

फोकस प्लेन यह फोकस प्लेन है जहां हम

3:37

से हमारी जानकारी नहीं लेंगे

3:39

यंत्र या वस्तुएं स्वयं तो हम

3:42

के छोटे कंपनों का विश्लेषण करेंगे

3:44

लेजर के माध्यम से रुचि की वस्तुएं

3:46

प्रतिक्रिया एक प्रतिनिधित्व बनाने की तरह

3:49

यह

3:50

यह द्वि-आयामी लेजर प्रतिक्रिया

3:52

हमारे कैमरों द्वारा काटे गए पैटर्न को a . कहा जाता है

3:54

धब्बेदार को तब विश्व स्तर पर संसाधित किया जाता है

3:58

और स्थानीय रूप से हमारे दो कैमरों का उपयोग करते हुए हमारे

4:01

स्थानीय कैमरा या रोलिंग शटर

4:03

कैमरा केवल 60 . पर फ़्रेम कैप्चर करेगा

4:06

एफपीएस तो यह कई तस्वीरें लेगा

4:08

और उन्हें y-अक्ष पर घुमाकर a . प्राप्त करें

4:11

वास्तव में शोर और गलत 63 किलोहर्ट्ज़

4:14

प्रतिनिधित्व यह वह जगह है जहाँ वैश्विक

4:16

शटर कैमरा आवश्यक है क्योंकि

4:18

धब्बेदार इमेजिंग में यादृच्छिकता

4:21

वस्तु के खुरदरेपन के कारण

4:23

सतह और उसके आंदोलनों यह होगा

4:25

मूल रूप से का वैश्विक स्क्रीनशॉट लें

4:27

उसी धब्बेदार छवि का उपयोग हमने अपने . के साथ किया

4:29

पहला कैमरा और इस नई छवि का इस्तेमाल किया

4:32

केवल अलग करने के लिए एक संदर्भ फ्रेम

4:34

रोलिंग से प्रासंगिक कंपन

4:37

शटर कैप्चर

4:38

रोलिंग शटर कैमरा नमूना करेगा

4:40

एक उच्च के साथ पंक्ति से दृश्य पंक्ति

4:42

आवृत्ति जबकि वैश्विक शटर

4:44

कैमरा पूरे दृश्य का नमूना लेगा

4:47

एक बार संदर्भ फ्रेम के रूप में काम करने के लिए और

4:49

हम इस प्रक्रिया को पूरी तरह से दोहराते हैं

4:51

वीडियो

4:52

और वोइला इस तरह से वे सक्षम हैं

4:55

एक रिकॉर्डिंग निकालने से विभाजित ध्वनि

4:57

केवल एक ही उपकरण परिवेश को हटाता है

5:00

शोर या यहां तक कि भाषण का पुनर्निर्माण

5:02

चिप्स के एक बैग का कंपन

5:05

मरियम के पास एक छोटा मेमना था यह पत्ता था

5:08

बर्फ की तरह सफेद बेशक यह सिर्फ एक है

5:10

इस महान पेपर का सरल अवलोकन और

5:12

मैं आपको इसे पढ़ने के लिए दृढ़ता से आमंत्रित करता हूं

5:14

अधिक जानकारी के लिए बधाई

5:16

माननीय उल्लेख के लिए अधिकारियों i

5:18

कार्यक्रम में शामिल होकर खुशी हुई

5:21

प्रस्तुति लाइव मैं इसके लिए बहुत उत्साहित हूं

5:23

भविष्य के प्रकाशन यह पेपर करेंगे

5:25

प्रेरित करें मैं आपको दोगुना करने के लिए भी आमंत्रित करता हूं

5:27

चिप्स के सभी बैगों की जांच करें

5:29

एक खिड़की के पास छोड़ दो या अन्यथा कुछ

5:31

लोग आपकी बात सुन सकते हैं धन्यवाद

5:34

आप पूरा वीडियो देखने के लिए और

5:36

मुझे पता है कि आप इस तकनीक को कैसे लागू करेंगे

5:38

और यदि आप कोई संभावित जोखिम देखते हैं या

5:40

रोमांचक उपयोग के मामले जिन पर मैं चर्चा करना पसंद करूंगा

5:42

ये आपके साथ और विशेष धन्यवाद

5:45

सीवीपीआर मुझे उस कार्यक्रम में आमंत्रित करने के लिए जो यह था

5:47

न्यू ऑरलियन्स में वहां रहना वाकई अच्छा है

5:49

सभी शोधकर्ताओं और कंपनियों के साथ i

5:52

अगले हफ्ते दूसरे के साथ मिलेंगे

अद्भुत कागज