Sekiranya anda mengikuti perbincangan mengenai keselamatan AI hari ini, anda akan diampuni untuk berfikir bahawa kami berdiri di tepi tebing eksistensial. Setiap minggu membawa tajuk baru yang mengerikan yang kelihatan memperkuat perasaan krisis yang akan datang: 
 
 “Agens AI boleh ditipu ke dalam sistem serangan” Ini sering merujuk kepada penyelidikan yang menunjukkan bagaimana sistem AI autonomi, yang direka untuk melaksanakan tugas-tugas yang berguna, boleh dimanipulasi melalui input halus yang dikenali sebagai contoh musuh atau teknik jailbreaking untuk melakukan tindakan jahat, mengelakkan penjaga keselamatan, atau bahkan melancarkan serangan canggih terhadap infrastruktur yang mendasari. 
 
 “LLM membolehkan serangan siber baru” Ini meliputi ancaman ganda yang dihasilkan oleh Model Bahasa Besar (LLM). Kekhawatiran utama adalah bahawa LLM boleh mengurangkan bar masuk ke dalam jenayah siber dengan membantu pemula merancang e-mel phishing yang sangat meyakinkan, menghasilkan kode eksploit, atau melakukan pengiktirafan. Kedua, terdapat kebimbangan bahawa penyerang boleh menggunakan LLM sebagai komponen dalam serangan mereka, memanfaatkan mereka untuk mengotomatiskan kempen kejuruteraan sosial yang kompleks dan adaptif atau untuk mendedahkan dan membangunkan beban faedah hari nol secara dinamik. 
 
 “Prompt injection ialah injeksi SQL baru” Analogi ini menonjolkan kelas kerentanan baru yang khas untuk sistem AI. Sama seperti injeksi SQL mengeksploitasi kegagalan untuk menghapuskan input pengguna yang dimaksudkan untuk pangkalan data, injeksi prompt mengeksploitasi kegagalan untuk mengisolasi arahan pengguna ( 'prompt') dengan betul daripada arahan operasi dalaman model. Implikasi kumulatif aliran berita negatif dan analisis takut yang berterusan ini sering kali sama: AI itu sendiri adalah masalah. narasi cenderung untuk memberi tumpuan kepada ketidakstabilan, ketidakprosesan, dan risiko yang berkaitan dengan teknologi teras, yang membawa kepada keyakinan bahawa teknologi mesti dikekalkan, dikawal dengan ketat, atau secara mendasar direka semula untuk selamat. Sebagai seseorang yang telah menghabiskan tahun-tahun menganalisis tingkah laku penyerang dunia sebenar, bingkai ini sentiasa berasa tidak lengkap. Kebanyakan klaim bergantung kepada hipotesis, contoh mainan, atau demonstrasi yang sengaja tidak selamat. Sangat sedikit bertanya soalan yang lebih mudah: Apa permukaan serangan sebenarnya dikesan oleh integrasi AI sebenar hari ini? Jadi, bukannya menambah pendapat lain, saya memutuskan untuk mengukurnya. Mengapa MCP Adalah Ujian Realiti yang Bermanfaat Kebangkitan model bahasa yang canggih telah memerlukan pembangunan mekanisme yang kukuh dan standard untuk interaksi dengan sumber-sumber luaran. telah diperkenalkan, mewujudkan rangka kerja yang penting dan bersandar yang membolehkan model bahasa untuk memohon alat dan perkhidmatan luaran dengan selamat dan dapat diprediksi. Model Context Protocol (MCP) Protokol Konteks Model (MCP) Protokol ini bertindak sebagai perantara yang selamat, membolehkan model bahasa untuk meluaskan keupayaan melampaui pengetahuan dalaman dan sempadan pengiraan. Pada asasnya, MCP adalah penting untuk mengubah model bahasa dari pemproses teks canggih kepada agen yang mampu dan interaktif yang boleh melaksanakan tugas dunia sebenar dengan mengintegrasikan secara selamat dan kontekstual dengan ekosistem digital yang lebih luas. Metodologi Penyelidikan Analisis ini sengaja mengelakkan setup spekulatif atau bermusuhan.Reka bentuk kajian menggunakan kaedah konservatif yang melibatkan lima langkah utama: 
 
 
 
 
 
 Pengenalan repositori: repositori pelayan MCP ditempatkan dengan menganalisis corak import SDK yang terdapat di GitHub. Pengesahan pelaksanaan: Penyimpanan yang gagal memulakan berjaya dikecualikan daripada analisis. Analisis Alat: Pelayan yang berjaya menjalankan mempunyai alat dan skim yang didedahkan mereka diekstrak. Mapping keupayaan: Alat-alat diklasifikasikan berdasarkan tindakan potensial mereka (iaitu, apa yang mereka boleh lakukan), tidak kira sama ada mereka mengandungi kelemahan yang diketahui. Peringkat pelayan: Pelayan pada akhirnya dikumpulkan dan dinilai mengikut kepadatan dan jenis keupayaan yang didedahkan yang mereka mengandungi. Hanya pelayan MCP yang sebenarnya berjalan dan mengekspos alat disertakan, kerana permukaan serangan yang tidak menjalankan bukan permukaan serangan. Apa yang MCP server sebenarnya mendedahkan Sebaik sahaja pelayan yang boleh dijalankan diisolasi, corak yang jelas muncul: pelayan MCP mendedahkan primitif keselamatan yang biasa, bukan keupayaan AI yang eksotik sahaja. Jadual 1 - Kelas Keupayaan MCP yang diamati: 
 
 
 
 
 
 
 
 
 
 
 
 Capability Class 
 Description 
 
 
 
 Filesystem access 
 Read/write operations on files or documents 
 
 
 
 HTTP requests 
 Fetching or scraping remote URLs 
 
 
 
 Database queries 
 Structured data retrieval 
 
 
 
 Process execution 
 Local command or script execution 
 
 
 
 Orchestration 
 Tool chaining, planning, or agent control 
 
 
 
 Read-only search 
 Constrained data or API lookups Sistem Fail Akses Membaca/menulis operasi pada fail atau dokumen Permintaan HTTP Menyelamatkan atau memotong URL jauh Database Permintaan Pemulihan Data Terstruktur proses eksekusi Perintah tempatan atau eksekusi skrip Orkestrasi Alat rantaian, perancangan, atau kawalan agen Read-only Pencarian Data terhad atau API lookups Poin utama di sini adalah bahawa primitiv ini sudah wujud di seluruh sistem perisian moden. Pengedaran keupayaan di antara pelayan MCP sebenar Walaupun klaim yang meluas bahawa alat AI secara rutin membolehkan tingkah laku yang berbahaya, pengedaran yang diamati jauh lebih tertekan. Jadual 2 - Frekuensi Keupayaan (Server MCP yang boleh dijalankan): 
 
 
 
 
 
 
 
 
 
 
 Capability 
 Relative Frequency 
 
 
 
 Filesystem access 
 Medium 
 
 
 
 HTTP requests 
 Medium 
 
 
 
 Database queries 
 Low 
 
 
 
 Process execution 
 Rare 
 
 
 
 Orchestration 
 Occasional Sistem Fail Akses Medium Permintaan HTTP Medium Database Permintaan rendah proses eksekusi Aneh Orkestrasi Kadangkala Pengawasan : Temuan awal menunjukkan perbezaan yang signifikan daripada narasi yang berlaku, sering alarm, mengenai ketidakpastian yang melekat pada sistem AI canggih.Sebagai contoh, penyelidikan mengenai eksploitasi praktikal sistem ini mendedahkan bahawa pelaksanaan perintah arbitrari, sebuah keupayaan yang boleh membawa kepada kompromi sistem yang dahsyat atau pelanggaran data, telah diidentifikasi sebagai Kerentanan Keselamatan Berpengaruh Tinggi paling sedikit Hasil kontra-intuitif ini secara langsung menantang tuntutan yang meluas bahawa model AI semasa adalah secara asas-asas "tidak berhati-hati" atau cenderung kepada kelemahan yang mudah digunakan, ketara yang memberi penyerang kawalan yang mendalam atas infrastruktur yang mendasari. manakala kelemahan lain tidak diragukan lagi wujud, frekuensi yang rendah kesilapan pelaksanaan perintah bermakna bahawa sanitasi input yang kukuh, sandboxing, dan pertahanan arsitektur di tempat mungkin lebih berkesan daripada yang diiktiraf secara am. Ia mendesak perbincangan yang lebih bernuansa dalam komuniti keselamatan siber, memindahkan tumpuan daripada panik yang meluas kepada pemahaman yang bertujuan mengenai risiko sebenar, signifikan secara statistik yang ditimbulkan oleh penyebaran AI moden. Data menunjukkan bahawa usaha keselamatan mungkin lebih berkesan digunakan untuk menangani kerentanan biasa, kesan yang lebih rendah yang berlaku dengan frekuensi yang lebih tinggi, daripada memberi tumpuan kepada eksploit potensial yang paling jarang, walaupun yang paling sensasional. Risiko sebenar: komposisi keupayaan Secara individu, banyak pelayan kelihatan tidak berbahaya. Risiko meningkat apabila beberapa primitif bersatu di dalam pelayan yang sama, terutamanya apabila pengoreksian hadir. Risiko keselamatan yang ditimbulkan oleh pelayan MCP individu seringkali minimal atau kelihatan tidak berbahaya apabila dilihat secara berasingan. MCP tunggal dengan skop sempit boleh melaksanakan fungsi yang diperlukan, seperti menguruskan perubahan konfigurasi yang mudah atau melaksanakan operasi logging asas. Walau bagaimanapun, potensi untuk eksploitasi meningkat secara dramatis apabila beberapa pelayan diletakkan dan bersatu dalam pelayan atau persekitaran operasi yang sama. Risiko yang memburukkan ini berakar pada kemungkinan kombinasi yang timbul apabila primitif yang berbeza boleh dikaitkan atau digunakan secara berurutan. Sebagai contoh, satu pelayan MCP mungkin mampu membaca data konfigurasi sensitif, manakala yang lain mungkin mampu mengubah peraturan firewall, dan yang ketiga mungkin boleh memulakan semula perkhidmatan kritikal. Secara individu, tindakan ini terhad. Bersama-sama, mereka membentuk vektor serangan yang kuat, membolehkan penyerang untuk meningkatkan keistimewaan, mencapai ketekunan, dan mengalih keluar data. The true inflection point for this risk is the introduction of  Orkestrasi, sama ada disediakan oleh alat keselamatan automatik, platform kontena (seperti Kubernetes), rangka kerja berasaskan awan, atau skrip canggih, direka untuk mengoordinasikan dan menguruskan keupayaan yang didistribusikan ini dengan cekap. Orkestrasi Seorang penyerang yang mendapatkan kawalan atas lapisan orkestrasi boleh secara berkesan mengarahkan sebuah simfoni tindakan jahat, mengubah koleksi primitif yang tidak berbahaya menjadi sistem senjata yang kuat dan automatik. Jadual 3 – Contoh model komposisi: 
 
 
 
 
 
 
 
 
 
 Composition 
 Security Implication 
 
 
 
 HTTP fetch + filesystem write 
 Content injection / persistence 
 
 
 
 Database query + orchestration 
 Data exfiltration pipelines 
 
 
 
 HTTP fetch + planning 
 Prompt-injection amplification 
 
 
 
 Filesystem write + orchestration 
 Supply-chain style poisoning HTTP FETCH + Filesystem menulis Kandungan suntikan / persistensi Pertanyaan Pangkalan Data + Orkestrasi Data exfiltration pipelines HTTP FETCH + Perancangan Amplifikasi suntikan cepat Filesystem menulis + orkestrasi Supply Chain gaya keracunan MCP tidak mencipta rantaian ini.Ia hanya membuatnya jauh lebih mudah untuk meletakkan mereka bersama-sama. Skim, Bukan Prompts, Tentukan Kawasan Serangan Tema yang berulang dalam perbincangan keselamatan AI, terutamanya dalam bidang LLM, ialah kerentanan terhadap manipulasi segera, yang sering disenaraikan sebagai "injeksi segera." Tumpuan ini, walaupun boleh dimengerti kerana keutamaan, sering meliputi kelemahan keselamatan yang lebih sistemik dan berpengaruh. Skim dalam konteks ini merujuk kepada keseluruhan rangka kerja: seni bina, model data yang mendasari, kawalan capaian, logik orkestrasi, dan langkah pra- dan selepas pemprosesan yang merangkumi LLM teras. penyerang canggih tidak akan memberi tumpuan kepada memaksa penyimpangan kecil daripada output model melalui prompt pintar. Sebagai contoh, skim yang tidak selamat boleh: 
 
 
 
 Membenarkan panggilan fungsi yang tidak terkawal: Jika skim membenarkan LLM untuk memanggil API atau fungsi luaran tanpa pengesahan input yang kukuh dan prinsip-prinsip keutamaan terendah, serangan suntikan yang berjaya membolehkan pergerakan lateral, penapisan data, atau pelaksanaan perintah arbitrari. Kekurangan pemisahan konteks dan arahan: Menggabungkan input pengguna (panduan) dengan arahan sistem atau konteks operasi dengan cara yang membolehkan input pengguna untuk merampas arahan sistem adalah kesilapan skim. Gunakan input / output yang tidak cukup disahkan dalam sistem Retrieval-Augmented Generation (RAG): Jika dokumen yang didapati tidak disemak dengan betul sebelum dihantar kembali ke konteks prompt, atau jika sistem secara buta melaksanakan langkah-langkah selepas pemprosesan berdasarkan output, vektor serangan mengelakkan pertahanan model teras. Pada asasnya, manakala suntikan segera membuktikan bahawa LLM adalah pengesahan input yang kompleks dan tidak-deterministik, risiko yang serius dan kritikal untuk perniagaan berakar dalam kerumitan yang rapuh di sekeliling model, skim. mengekalkan sistem AI memerlukan memindahkan tumpuan keselamatan daripada teknik prompting pertahanan sahaja kepada mengadopsi bunyi, memasang perisian tradisional, menerapkan prinsip keselamatan di seluruh stack aplikasi AI, dan merawat LLM sebagai hanya satu komponen sistem yang lebih besar, saling berkaitan dan berpotensi rentan. Jadual 4 - Kesan Skema Pembatasan: 
 
 
 
 
 
 
 
 
 
 
 Schema Pattern 
 Risk Implication 
 
 
 
 url: string 
 High (arbitrary network access) 
 
 
 
 path: string 
 High (potential traversal / overwrite) 
 
 
 
 query: string 
 Medium (depends on backend) 
 
 
 
 enum(values) 
 Low (constrained intent) 
 
 
 
 Hard-coded parameters 
 Minimal Rujukan : String Akses rangkaian yang tinggi (arbitrary network access) Perkhidmatan : String Tinggi (potensi traversal / overwrite) Perkhidmatan : String Medium (tergantung kepada latar belakang) enum(values) Keinginan yang rendah (constrained intention) Parameternya Hardcoded minimum Dalam pelayan MCP, skimnya ialah sempadan kepercayaan.Jika alat menerima input yang tidak terhad dan melepaskannya kepada sink yang berkuasa, risiko itu adalah arsitektur, bukan AI. Mengapa Ini Bukan Kisah "AI Adalah Berbahaya" Perbincangan yang meluas yang mengisytiharkan bahawa AI memperkenalkan "risikonya yang belum pernah terjadi sebelumnya" seringkali terlepas daripada kenyataan yang lebih nuansa dan penting secara arsitektur. atau Sebaliknya, akibat mendalam daripada mengintegrasikan AI, terutamanya dalam bentuk LLM dan agen pintar, ialah AI secara mendasar mengubah lokasi di mana keputusan keselamatan penting dibuat dan dilaksanakan. baru tidak boleh dikendalikan Ini bukan sekadar kemas kini kepada model keselamatan yang sedia ada; ia mewakili perubahan arsitektur yang mendalam dalam cara aplikasi dibina dan dilindungi. 
 
 
 
 
 
 
 
 
 
 
 
 FROM: The Traditional Application Security Focus 
 TO: The Modern AI-Driven System Security Focus 
 
 
 
 UI Flows (User Interface) 
 Schemas (Data and Interaction) 
 
 
 
 Security was heavily focused on validating inputs and protecting against manipulation of front-end components and presentation layers. 
 The emphasis moves to strictly defining and validating the structure and content of data exchanged between models, tools, and the application, ensuring input and output types are rigorously adhered to. 
 
 
 
 Human Intent and Manual Vetting 
 Tool Composition and Orchestration 
 
 
 
 Logic was often designed around what a human   to do, relying on role-based access control (RBAC) and explicit permissions tied to individual actions or user profiles. intended 
 Security now centers on how the AI agent selects, chains, and uses various external tools (e.g., APIs, databases, services). The integrity and safety of the   of actions must be guaranteed, focusing on preventing prompt injection from driving unintended tool use. entire sequence 
 
 
 
 Application Logic (Hard-Coded Business Rules) 
 Execution Context Isolation (Sandboxing) 
 
 
 
 Security resided within monolithic or tightly coupled business logic, where rules were explicitly coded and easy to audit within the application's source code. 
 The focus shifts to isolating the AI model's runtime environment, ensuring that the consequences of any erroneous or malicious model output (e.g., code generation or external calls) are strictly contained and cannot impact critical infrastructure or bypass perimeter defenses. Perkhidmatan UI (User Interface) Skim (Data dan Interaksi) Keselamatan sangat memberi tumpuan kepada mengesahkan input dan melindungi daripada manipulasi komponen bahagian depan dan lapisan persembahan. Penekanan bergerak kepada menentukan dan mengesahkan struktur dan kandungan data yang bertukar antara model, alat, dan aplikasi, memastikan jenis input dan output diikuti dengan ketat. Intensifikasi manusia dan vetting manual Alat Komposisi dan Orkestrasi Logik sering dirancang di sekitar apa yang manusia untuk melakukan, bergantung kepada kawalan capaian berasaskan peranan (RBAC) dan kebenaran eksplisit yang dikaitkan dengan tindakan individu atau profil pengguna. bermaksud Keselamatan kini memberi tumpuan kepada bagaimana agen AI memilih, rantaian, dan menggunakan pelbagai alat luaran (contohnya, API, pangkalan data, perkhidmatan). tindakan mesti dijamin, memberi tumpuan kepada mencegah suntikan segera daripada mendorong penggunaan alat yang tidak disengaja. Keseluruhan urutan Logik Perniagaan (Hard-Coded Business Rules) Isolasi Konteks Eksekusi (Sandboxing) Keselamatan terletak di dalam logik perniagaan monolitik atau terikat, di mana peraturan dikodkan secara eksplisit dan mudah di audit dalam kod sumber aplikasi. Tumpuan beralih kepada mengisolasi persekitaran runtime model AI, memastikan bahawa akibat daripada mana-mana output model yang salah atau berbahaya (contohnya, pengeluaran kod atau panggilan luaran) dikurangkan secara ketat dan tidak boleh menjejaskan infrastruktur kritikal atau perimeter perlindungan. Pemindahan lokus keselamatan ini merupakan perubahan arsitektur, bukan sekadar mencerminkan kegagalan dalam amalan keselamatan yang sedia ada.Ia memerlukan organisasi untuk menyesuaikan strategi pertahanan mereka, alat keselamatan, dan latihan pengembang untuk menangani titik kawalan baru ini.Mengiktiraf bahawa sempadan keselamatan utama bukan lagi pintu depan aplikasi, tetapi konfigurasi dan pengurusan paip kecerdasan itu sendiri. Tindakan pertama, panik kemudian Diskurs yang meluas mengenai keselamatan AI sering didominasi oleh ketakutan dan skenario terburuk hipotetik.Walau bagaimanapun, bagi pengamal, meningkatkan keadaan keselamatan AI memerlukan perubahan perspektif: kita mesti menggantikan ketakutan dengan pengukuran dan disiplin pragmatik. LLM dan sistem pemprosesan AI / mesin yang rumit lain tidak secara intrinsik tidak selamat; mereka hanyalah sistem yang kaya dengan keupayaan. fungsi yang melimpah ini bermakna mereka memerlukan pendekatan yang sama yang ketat, berdisiplin untuk pemodelan ancaman, konfigurasi yang selamat, dan pengawasan operasi yang kita telah menerapkan kepada infrastruktur kritikal lain seperti paip automatik dan API awan. Kebenaran yang tidak selesa tetapi pada akhirnya memberi kuasa adalah bahawa sejumlah besar apa yang dipanggil "risikonya" AI sebenarnya adalah masalah keselamatan lama yang menggunakan bahasa baru. konsep-konsep seperti lalai yang tidak selamat, kelemahan rantaian bekalan, kesilapan suntikan, dan kawalan capaian yang salah telah menjadi kebimbangan asas selama beberapa dekad. Ini merupakan berita yang sangat baik. Ini merupakan berita yang baik kerana ia bermakna bahawa kita tidak memulakan daripada awal.Kami sudah tahu bagaimana untuk menyelesaikan masalah ini. Prinsip keselamatan yang ditubuhkan, rangka kerja, dan metodologi, seperti Prinsip Privilege Minimum (PoLP) dan arsitektur pertahanan dalam kedalaman, kekal sempurna sah. Cabaran bukan mencipta sains baru, tetapi secara sistematik menyesuaikan kepakaran keselamatan yang sedia ada kepada permukaan serangan baru dan ciri-ciri sistem yang diperkenalkan oleh AI. Dengan membahagikan keselamatan AI sebagai perpanjangan keselamatan korporat yang telah ditubuhkan, bukannya masalah yang sama sekali baru dan tidak dapat diatasi, organisasi boleh bergerak dari kecemasan yang melumpuhkan kepada pengurangan risiko yang berkesan dan boleh diukur.

This story contains new, firsthand information uncovered by the writer.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Read My Stories

Audio ini dihasilkan dalam bahasa asal cerita!

Semua orang kata AI tidak selamat, jadi saya mengukurnya

About Author

KOMEN

GANTUNG TANDA

ARTIKEL INI DIBENTANGKAN DALAM

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps