লেখক: (1) Rui Duan University of South Florida Tampa, USA (ইমেল: ruiduan@usf.edu); (2) Zhe Qu Central South University Changsha, China (ইমেইল: zhe_qu@csu.edu.cn); (3) Leah Ding American University Washington, DC, USA (ইমেইল: ding@american.edu); (4) ইয়াও লিউ ইউনিভার্সিটি অফ সাউথ ফ্লোরিডা টাম্পা, ইউএসএ (ইমেল: yliu@cse.usf.edu); (5) Yao Liu University of South Florida Tampa, USA (ইমেল: yliu@cse.usf.edu)। লিঙ্কের টেবিল বিমূর্ত এবং ভূমিকা পটভূমি এবং প্রেরণা তোতা প্রশিক্ষণ: সম্ভাব্যতা এবং মূল্যায়ন PT-AE জেনারেশন: একটি যৌথ স্থানান্তরযোগ্যতা এবং উপলব্ধি দৃষ্টিকোণ অপ্টিমাইজ করা ব্ল্যাক-বক্স PT-AE আক্রমণ পরীক্ষামূলক মূল্যায়ন সম্পর্কিত কাজ উপসংহার এবং রেফারেন্স পরিশিষ্ট — অডিও প্রতিকূল উদাহরণ (AEs) বাস্তব-বিশ্বের স্পিকার শনাক্তকরণ সিস্টেমে গুরুত্বপূর্ণ নিরাপত্তা চ্যালেঞ্জ তৈরি করেছে। বেশিরভাগ ব্ল্যাক-বক্স আক্রমণে এখনও কার্যকরী হওয়ার জন্য স্পিকার স্বীকৃতি মডেল থেকে কিছু তথ্যের প্রয়োজন হয় (যেমন, অনুসন্ধান করা এবং মিল স্কোরগুলির জ্ঞানের প্রয়োজন)। এই কাজের লক্ষ্য একটি লক্ষ্য স্পিকার স্বীকৃতি মডেল সম্পর্কে আক্রমণকারীর জ্ঞান কমিয়ে ব্ল্যাক-বক্স আক্রমণের ব্যবহারিকতাকে ঠেলে দেওয়া। যদিও আক্রমণকারীর পক্ষে সম্পূর্ণ শূন্য জ্ঞানের সাথে সফল হওয়া সম্ভব নয়, আমরা ধরে নিই যে আক্রমণকারী শুধুমাত্র একটি টার্গেট স্পিকারের একটি সংক্ষিপ্ত (বা কয়েক সেকেন্ড) বক্তৃতা নমুনা জানে। লক্ষ্য মডেল সম্পর্কে আরও জ্ঞান অর্জনের জন্য কোনো অনুসন্ধান ছাড়াই, আমরা লক্ষ্য মডেলের বিপরীতে AE তৈরি করতে একটি নতুন পদ্ধতির প্রস্তাব করি, যাকে প্যারট প্রশিক্ষণ বলা হয়। ভয়েস কনভার্সন (ভিসি) এর সাম্প্রতিক অগ্রগতি দ্বারা অনুপ্রাণিত হয়ে, আমরা একটি ছোট বাক্য জ্ঞান ব্যবহার করার প্রস্তাব করছি আরো সিন্থেটিক ভাষণের নমুনা তৈরি করতে যা টার্গেট স্পিকারের মতো শোনায়, যাকে প্যারট স্পিচ বলা হয়। তারপর, আমরা আক্রমণকারীর জন্য একটি তোতা-প্রশিক্ষিত (PT) সারোগেট মডেলকে প্রশিক্ষণ দিতে এই তোতা স্পিচ নমুনাগুলি ব্যবহার করি। একটি যৌথ স্থানান্তরযোগ্যতা এবং উপলব্ধি কাঠামোর অধীনে, আমরা PT মডেলে (PT-AEs বলা হয়) AEs তৈরি করার বিভিন্ন উপায় অনুসন্ধান করি যাতে PT-AEগুলি উচ্চ স্থানান্তরযোগ্যতার সাথে একটি ব্ল্যাক-বক্স টার্গেট মডেলে উত্তম মানব উপলব্ধিগত মানের সাথে তৈরি করা যায়। বাস্তব-বিশ্বের পরীক্ষাগুলি দেখায় যে ফলস্বরূপ PT-AEগুলি ডিজিটাল-লাইন পরিস্থিতিতে ওপেন-সোর্স মডেলগুলির বিরুদ্ধে 45.8%–80.8% আক্রমণের সাফল্যের হার এবং Apple HomePod (Siri) সহ স্মার্ট ডিভাইসগুলির বিরুদ্ধে 47.9%–58.3% সাফল্য অর্জন করে৷ , Amazon Echo, এবং Google Home, ওভার-দ্য-এয়ার দৃশ্যে[1]। বিমূর্ত সূচনা বক্তৃতা স্বীকৃতির বিরুদ্ধে প্রতিপক্ষের বক্তৃতা আক্রমণ [২৮], [১১৪], [৭২], [১০১], [১০৫], [৩২], [৪৩], [১১৮] এবং বক্তা স্বীকৃতি [৪৩], [২৯], [১১৮] ] কম্পিউটার অডিও নিরাপত্তায় মেশিন লার্নিং এর সবচেয়ে সক্রিয় গবেষণা ক্ষেত্রগুলির মধ্যে একটি হয়ে উঠেছে। এই আক্রমণগুলি হোয়াইট-বক্স [২৮], [১১৪], [৭২], [৫২] বা ব্ল্যাক-বক্স সেটিংস [১০৫], [৩২], [৪৩-এ স্পিচ ক্লাসিফায়ারকে ফাঁকি দিতে পারে এমন অডিও প্রতিপক্ষ উদাহরণ (AEs) তৈরি করে। ], [118], [29], [74], [17]। হোয়াইট-বক্স আক্রমণগুলির সাথে তুলনা করে যার জন্য একটি লক্ষ্য অডিও শ্রেণিবিন্যাস মডেলের সম্পূর্ণ জ্ঞান প্রয়োজন, ব্ল্যাকবক্স আক্রমণগুলি সম্পূর্ণ জ্ঞান গ্রহণ করে না এবং বিভিন্ন আক্রমণের পরিস্থিতিতে সাহিত্যে তদন্ত করা হয়েছে [২৯], [১১৮]। ব্ল্যাকবক্স আক্রমণগুলি ডিজাইন করার ক্ষেত্রে যথেষ্ট অগ্রগতি সত্ত্বেও, তারা এখনও বাস্তব জগতের পরিস্থিতিতে চালু করা চ্যালেঞ্জিং হতে পারে যে আক্রমণকারীকে এখনও লক্ষ্য মডেল থেকে তথ্য অর্জন করতে হবে। সাধারণত, আক্রমণকারী ধীরে ধীরে লক্ষ্য মডেল জানতে একটি প্রশ্ন (বা অনুসন্ধান) প্রক্রিয়া ব্যবহার করতে পারে: বারবার লক্ষ্য মডেলে একটি বক্তৃতা সংকেত প্রেরণ, তারপর আত্মবিশ্বাসের স্তর/ভবিষ্যদ্বাণী স্কোর পরিমাপ করা [32], [43], [29] অথবা চূড়ান্ত আউটপুট ফলাফল [118], [113] একটি ক্লাসিফায়ার. অনুসন্ধান প্রক্রিয়ার জন্য সাধারণত প্রচুর সংখ্যক মিথস্ক্রিয়া প্রয়োজন (যেমন, 1000 টিরও বেশি প্রশ্ন [113]), যার জন্য যথেষ্ট শ্রম এবং সময় ব্যয় হতে পারে। এটি ডিজিটাল লাইনে কাজ করতে পারে, যেমন স্থানীয় মেশিন লার্নিং মডেলের সাথে ইন্টারঅ্যাক্ট করা (যেমন, কালডি টুলকিট [৯৩]) বা অনলাইন বাণিজ্যিক প্ল্যাটফর্ম (যেমন, মাইক্রোসফ্ট আজুর [১২])। যাইহোক, এটি আরও বেশি কষ্টকর হতে পারে, যদি সম্ভব না হয়, ভৌত ডিভাইসগুলি পরীক্ষা করা কারণ আজকের স্মার্ট ডিভাইসগুলি (যেমন, অ্যামাজন ইকো [২]) বাতাসের উপর মানুষের কথাবার্তা গ্রহণ করে। অধিকন্তু, লক্ষ্য মডেলের কিছু অভ্যন্তরীণ জ্ঞান এখনও আক্রমণকারীর কাছে পরিচিত বলে ধরে নিতে হবে (উদাহরণস্বরূপ, লক্ষ্য মডেলের সাদৃশ্য স্কোরের অ্যাক্সেস [২৯], [১১৩])। দুটি সাম্প্রতিক গবেষণায় আক্রমণকারীর জ্ঞানকে আরও সীমিত করা হয়েছে (i) [118] শুধুমাত্র টার্গেট স্পিকারের এক-বাক্য বক্তৃতা [118] জানা এবং লক্ষ্য মডেলের হার্ড-লেবেল (স্বীকার বা প্রত্যাখ্যান) ফলাফল পেতে অনুসন্ধানের প্রয়োজন (যেমন, 10,000-এর বেশি বার) এবং (ii) [৩০] লক্ষ্য মডেলে নথিভুক্ত প্রতিটি স্পিকারের জন্য শুধুমাত্র এক-বাক্যের বক্তৃতা জানা। এই কাগজে, আমরা স্পিকার স্বীকৃতির বিরুদ্ধে ব্ল্যাক-বক্স আক্রমণের জন্য একটি নতুন, এমনকি আরও বেশি ব্যবহারিক দৃষ্টিভঙ্গি উপস্থাপন করি। আমরা প্রথমে লক্ষ্য করি যে আক্রমণকারীকে লক্ষ্য মডেল সম্পর্কে কিছুই জানাতে না দেওয়া এবং কখনই মডেলটি অনুসন্ধান না করাই সবচেয়ে ব্যবহারিক আক্রমণের অনুমান। যাইহোক, আক্রমণকারীর জন্য এই ধরনের সম্পূর্ণ শূন্য জ্ঞান অসম্ভাব্য কার্যকর অডিও AE-এর দিকে নিয়ে যায়। আমাদের কিছু জ্ঞান অনুমান করতে হবে তবে আক্রমণের ব্যবহারিকতার দিকে ন্যূনতম স্তরে রাখতে হবে। আমাদের কাজ আক্রমণকারীর জ্ঞানকে লক্ষ্য মডেল সম্পর্কে অন্য কোনো তথ্য না জেনে তার টার্গেট স্পিকারের শুধুমাত্র একটি বাক্য (বা কয়েক সেকেন্ড) বক্তৃতা নমুনা হিসাবে সীমাবদ্ধ করে। আক্রমণকারীর লক্ষ্য মডেলের অভ্যন্তরীণ জ্ঞান বা অ্যাক্সেস নেই। তদুপরি, তিনি শ্রেণীবিভাগের অনুসন্ধান করেন না এবং শ্রেণীবিভাগের ফলাফলগুলির (নরম বা হার্ড লেবেল) কোনও পর্যবেক্ষণের প্রয়োজন নেই। আমাদের সর্বোত্তম জ্ঞান অনুসারে, আক্রমণকারীর জ্ঞান সম্পর্কে আমাদের অনুমান পূর্বের কাজের তুলনায় সবচেয়ে সীমাবদ্ধ (বিশেষ করে সাম্প্রতিক দুটি আক্রমণ [118], [30])। টার্গেট স্পিকারের এই এক-বাক্য জ্ঞানের চারপাশে কেন্দ্রীভূত, আমাদের মৌলিক আক্রমণ কাঠামো হল (i) একটি নতুন প্রশিক্ষণ পদ্ধতির প্রস্তাব করা, যাকে বলা হয় প্যারট ট্রেনিং, যা টার্গেট স্পিকারের পর্যাপ্ত সংখ্যক সিন্থেটিক বক্তৃতা নমুনা তৈরি করে এবং সেগুলি তৈরি করতে ব্যবহার করে আরও স্থানান্তর আক্রমণের জন্য তোতা-প্রশিক্ষিত (PT) মডেল, এবং (ii) পদ্ধতিগতভাবে বিভিন্ন AE প্রজন্মের প্রক্রিয়ার স্থানান্তরযোগ্যতা এবং উপলব্ধি মূল্যায়ন করুন এবং উচ্চ আক্রমণ সাফল্যের হার এবং ভাল অডিও মানের দিকে PT-মডেল ভিত্তিক AEs (PT-AEs) তৈরি করুন। তোতাপাখি প্রশিক্ষণের পিছনে আমাদের প্রেরণা হল ভয়েস কনভার্সন (ভিসি) ডোমেনে সাম্প্রতিক অগ্রগতিগুলি দেখিয়েছে যে এক-শট বক্তৃতা পদ্ধতি [৩৪], [৭৭], [১১০], [৩১] শব্দার্থিক মানুষের বক্তৃতা লাভ করতে সক্ষম। বিভিন্ন ভাষাগত বিষয়বস্তুতে একটি টার্গেট স্পিকারের ভয়েসের মতো শোনালে বক্তৃতার নমুনা তৈরি করার বৈশিষ্ট্য। আক্রমণকারীর স্বকীয়তা জ্ঞানের উপর ভিত্তি করে, আমরা তার টার্গেট স্পিকারের বিভিন্ন সিন্থেটিক বক্তৃতা নমুনা তৈরি করতে সক্ষম হওয়া উচিত এবং স্পিকার স্বীকৃতির জন্য একটি PT মডেল তৈরি করতে তাদের ব্যবহার করতে হবে। আমাদের সম্ভাব্যতা মূল্যায়ন দেখায় যে একটি পিটি মডেল একটি গ্রাউন্ড-ট্রুথ প্রশিক্ষিত (জিটি) মডেলের অনুরূপ কাজ করতে পারে যা লক্ষ্য স্পিকারের প্রকৃত বক্তৃতা নমুনা ব্যবহার করে। PT এবং GT মডেলের মধ্যে সাদৃশ্য স্থানান্তরযোগ্যতার একটি নতুন, আকর্ষণীয় প্রশ্ন তৈরি করে: যদি আমরা একটি PT মডেল থেকে একটি PT-AE তৈরি করি, তাহলে এটি কি GT মডেল (GT-AE) থেকে উত্পন্ন একটি AE এর মতো কাজ করতে পারে এবং একটি কালোতে স্থানান্তর করতে পারে? -বক্স টার্গেট জিটি মডেল? প্রতিপক্ষের মেশিন লার্নিংয়ে স্থানান্তরযোগ্যতা ইতিমধ্যেই একটি কৌতূহলী ধারণা। এটি লক্ষ্য করা গেছে যে স্থানান্তরযোগ্যতা অনেকগুলি দিকের উপর নির্ভর করে, যেমন মডেল আর্কিটেকচার, মডেল প্যারামিটার, প্রশিক্ষণ ডেটাসেট এবং আক্রমণকারী অ্যালগরিদম [79], [76]। বিদ্যমান AE মূল্যায়নগুলি সিন্থেটিক ডেটা জড়িত না করেই GT মডেলগুলিতে GT-AE-এর উপর প্রাথমিকভাবে ফোকাস করা হয়েছে। ফলস্বরূপ, আমরা PT-AE-এর উপর তাদের প্রজন্ম এবং মানের পরিপ্রেক্ষিতে একটি ব্যাপক গবেষণা পরিচালনা করি। • গুণমান: একটি PT-AE ভাল কি না তা পরিমাপ করার জন্য আমাদের প্রথমে একটি গুণমান মেট্রিক সংজ্ঞায়িত করতে হবে। PT-AE-এর দুটি গুরুত্বপূর্ণ কারণ রয়েছে: (i) একটি ব্ল্যাকবক্স টার্গেট মডেলে PT-AE-এর স্থানান্তরযোগ্যতা। স্থানান্তরযোগ্যতা পরিমাপ করার জন্য আমরা ম্যাচের হার গ্রহণ করি, যা চিত্র ডোমেনে ব্যাপকভাবে অধ্যয়ন করা হয়েছে [79]। ম্যাচ রেটকে PT-AE-এর শতাংশ হিসাবে সংজ্ঞায়িত করা হয় যা এখনও একটি ব্ল্যাক-বক্স GT মডেলে একই লক্ষ্য লেবেল হিসাবে ভুল শ্রেণিবদ্ধ করা যেতে পারে। (ii) অডিও AE-এর উপলব্ধি গুণমান। আমরা একটি মানবিক অধ্যয়ন পরিচালনা করি যাতে মানব অংশগ্রহণকারীদের AE-এর বক্তৃতা গুণমানকে বিভিন্ন ধরণের বাহক সহ উপলব্ধি স্কোরের একীভূত স্কেলে 1 (সবচেয়ে খারাপ) থেকে 7 (সেরা) সাধারণত বক্তৃতা মূল্যায়ন গবেষণায় ব্যবহৃত হয় [47], [ 108], [23], [19], [91], [36], এবং তারপর মানুষের বক্তৃতা মানের স্কোর ভবিষ্যদ্বাণী করার জন্য রিগ্রেশন মডেল তৈরি করুন। যাইহোক, এই দুটি কারণ সাধারণত পরস্পরবিরোধী, কারণ উচ্চ স্তরের স্থানান্তরযোগ্যতার ফলে ধারণার গুণমান খারাপ হয়। তারপরে আমরা একটি নির্দিষ্ট ধরণের ক্যারিয়ার ব্যবহার করে উত্পন্ন PT-AEগুলির জন্য স্থানান্তরযোগ্যতা-ধারণা অনুপাত (TPR) নামে একটি নতুন মেট্রিক সংজ্ঞায়িত করি। এই মেট্রিকটি তাদের ম্যাচ রেট এবং গড় উপলব্ধি স্কোরের উপর ভিত্তি করে তৈরি করা হয় এবং এটি মানুষের উপলব্ধির একটি ইউনিট স্কোরকে অবনমিত করার জন্য একটি ক্যারিয়ার টাইপের স্থানান্তরযোগ্যতার স্তরের পরিমাণ নির্ধারণ করে। একটি উচ্চ TPR কে উপলব্ধি অধঃপতনের তুলনামূলকভাবে ছোট খরচ দ্বারা অর্জিত উচ্চ স্থানান্তরযোগ্যতা হিসাবে ব্যাখ্যা করা যেতে পারে। TPR কাঠামোর অধীনে, আমরা একটি দুই-পর্যায়ের PTAE আক্রমণ প্রণয়ন করি যা একটি ব্ল্যাক-বক্স টার্গেট মডেলের বিরুদ্ধে বাতাসে চালু করা যেতে পারে। প্রথম পর্যায়ে, আমরা আক্রমণকারীর টার্গেট স্পিকারের জন্য উচ্চ TPR সহ প্রার্থীদের একটি উপসেটে ক্যারিয়ারের সম্পূর্ণ সেট থেকে সংকুচিত করি। দ্বিতীয় পর্যায়ে, আমরা একটি এনসেম্বল লার্নিং-ভিত্তিক ফর্মুলেশন গ্রহণ করি [76] যা প্রথম পর্যায় থেকে সেরা ক্যারিয়ার প্রার্থীদের নির্বাচন করে এবং আক্রমণের কার্যকারিতা এবং মানুষের উপলব্ধির যৌথ ক্ষতির লক্ষ্য কমাতে তাদের শ্রবণ বৈশিষ্ট্যগুলিকে কাজে লাগায়। বাস্তব-বিশ্বের পরীক্ষাগুলি দেখায় যে প্রস্তাবিত PT-AE আক্রমণ ডিজিটাল-লাইন পরিস্থিতিতে ওপেন-সোর্স মডেলগুলির বিরুদ্ধে 45.8%–80.8% সাফল্যের হার এবং Apple HomePod (Siri) সহ স্মার্ট ডিভাইসগুলির বিরুদ্ধে 47.9%–58.3% সাফল্য অর্জন করে। Amazon Echo, এবং Google Home, ওভার-দ্য-এয়ার দৃশ্যে। দুটি সাম্প্রতিক আক্রমণ কৌশল Smack [113] এবং QFA2SR [30] এর সাথে তুলনা করে, আমাদের কৌশল স্ম্যাকের তুলনায় 263.7% (আক্রমণের সাফল্য) এবং 10.7% (মানুষের উপলব্ধি স্কোর) এবং 95.9% (আক্রমণের সাফল্য) এবং 44.9% (মানুষ) উন্নতি অর্জন করেছে। উপলব্ধি স্কোর) QFA2SR এর উপরে। সারণী I প্রস্তাবিত PT-AE আক্রমণ এবং বিদ্যমান কৌশলগুলির মধ্যে প্রয়োজনীয় জ্ঞানের তুলনা প্রদান করে। আমাদের প্রধান অবদান নিম্নরূপ সংক্ষিপ্ত করা যেতে পারে. (i) আমরা PT মডেলের একটি নতুন ধারণার প্রস্তাব করি এবং লক্ষ্য স্পিকারের শুধুমাত্র একটি বাক্য বক্তৃতার জ্ঞান সহ আক্রমণকারীর জন্য একটি সারোগেট মডেল তৈরি করার জন্য তোতা বক্তৃতা নমুনা তৈরি করার জন্য অত্যাধুনিক ভিসি পদ্ধতিগুলি তদন্ত করি। (ii) বিভিন্ন ধরণের ক্যারিয়ারের সাথে PT-AE প্রজন্মের জন্য স্থানান্তরযোগ্যতা এবং উপলব্ধিগত গুণমানকে যৌথভাবে মূল্যায়ন করার জন্য আমরা একটি নতুন TPR কাঠামোর প্রস্তাব করছি। (iii) আমরা একটি দুই-পর্যায়ের PT-AE আক্রমণ কৌশল তৈরি করি যা আক্রমণকারীর জ্ঞানের ন্যূনতম স্তরের প্রয়োজনের সময় বিদ্যমান আক্রমণ কৌশলগুলির চেয়ে বেশি কার্যকরী হিসাবে দেখানো হয়েছে। এই কাগজটি CC0 1.0 DEED লাইসেন্সের অধীনে । arxiv-এ উপলব্ধ [১] আমাদের আক্রমণের ডেমো এখানে পাওয়া যাবে: https://sites.google.com/view/pt-attack-demo
