AI hanya butuh waktu kurang dari setahun untuk mengubah lanskap keamanan secara drastis. AI generatif mulai menjadi arus utama pada bulan Februari 2024. Beberapa bulan pertama dihabiskan dengan rasa kagum. Apa yang dapat dilakukan dan efisiensi yang dapat dihasilkannya belum pernah terdengar sebelumnya. Menurut sebuah penelitian  , sekitar 75% pengembang saat ini menggunakan atau berencana menggunakan alat pengkodean AI.   Survei Pengembang Stack Overflow 2024  Di antara alat-alat ini, ChatGPT OpenAI sangat populer, dengan  , diikuti oleh GitHub Copilot, digunakan oleh 44% pengembang. Dalam hal penulisan kode, 82% pengembang menggunakan AI dan 68% memanfaatkan AI saat mencari jawaban. Saat Anda memasangkan pengembang yang memahami cara menulis kode dengan benar dengan AI generatif, efisiensi yang melebihi 50% atau lebih baik adalah hal yang umum.   82% pengembang melaporkan penggunaan rutin  Penerapannya meluas, tetapi ada kekhawatiran tentang keakuratan dan keamanan kode yang dihasilkan AI. Bagi pengembang berpengalaman atau praktisi keamanan aplikasi, tidak butuh waktu lama untuk menyadari bahwa kode yang dibuat dengan Generative AI memiliki masalah. Hanya dengan beberapa perintah singkat, bug dan masalah akan segera muncul.  Namun, para pengembang yang antusias dengan AI memperkenalkan lebih dari sekadar bug keamanan kuno ke dalam kode. Mereka juga semakin banyak memasukkan model AI ke dalam produk yang mereka kembangkan—sering kali tanpa kesadaran keamanan, apalagi izin—yang menimbulkan banyak masalah. Untungnya, AI juga sangat baik dalam mengatasi masalah ini jika diarahkan ke arah yang benar.   Artikel ini akan membahas bagaimana:  AI dapat membantu organisasi menemukan semua teknologi AI yang mereka miliki dan gunakan, bahkan AI bayangan yang tidak diketahui oleh tim keamanan.  AI memungkinkan ekstraksi titik data semantik dari kode, sebuah perkembangan revolusioner dalam keamanan aplikasi.  Tim merah bertenaga AI dapat mengungkap kerentanan dalam LLM dan aplikasi  AI dapat membantu dalam menciptakan pembatas dan strategi mitigasi untuk melindungi dari kerentanan terkait AI.  AI dapat membantu pengembang memahami dan mengamankan API yang mereka gunakan dalam aplikasi mereka.   Shadow AI: Ancaman Tak Terlihat yang Mengintai di Basis Kode Anda  Bayangkan sebuah skenario di mana para pengembang, yang didorong oleh kebutuhan untuk bersaing dengan rekan-rekan mereka atau sekadar tertarik dengan apa yang ditawarkan AI, mengintegrasikan model dan alat AI ke dalam aplikasi tanpa sepengetahuan tim keamanan. Beginilah cara Shadow AI terjadi.  Pengamatan kami di Mend.io telah mengungkap tren yang mengejutkan: rasio antara apa yang disadari oleh tim keamanan dan apa yang sebenarnya digunakan oleh pengembang dalam hal AI adalah faktor 10. Ini berarti bahwa untuk setiap proyek AI yang berada dalam lingkup keamanan, 10 proyek lainnya beroperasi secara diam-diam, sehingga menciptakan risiko yang signifikan terhadap keamanan organisasi.  Mengapa Shadow AI begitu mengkhawatirkan?    : Model AI yang tidak terpantau dapat menyimpan kerentanan yang diketahui, membuat aplikasi Anda rentan atau mudah diserang. Kerentanan yang Tidak Terkendali    : AI yang dikonfigurasi secara tidak tepat dapat secara tidak sengaja mengekspos data sensitif, yang menyebabkan pelanggaran privasi dan denda regulasi. Kebocoran Data    : Penggunaan model AI yang tidak disetujui dapat melanggar peraturan industri dan standar keamanan data. Pelanggaran Kepatuhan  Untungnya, AI sendiri menawarkan solusi untuk tantangan ini. Alat keamanan canggih yang digerakkan oleh AI dapat memindai seluruh basis kode Anda, mengidentifikasi semua teknologi AI yang digunakan, termasuk yang tersembunyi dari pandangan. Inventaris yang komprehensif akan memungkinkan tim keamanan untuk mendapatkan visibilitas ke dalam AI bayangan, membantu menilai risiko, dan menerapkan strategi mitigasi yang diperlukan.   Keamanan Semantik: Era Baru dalam Analisis Kode  Alat keamanan aplikasi tradisional bergantung pada data dasar dan analisis aliran kontrol, yang memberikan pemahaman terbatas tentang fungsionalitas kode. Namun, AI memiliki kemampuan untuk menyertakan pemahaman semantik dan, sebagai hasilnya, memberikan temuan yang lebih baik.   Alat keamanan yang mendukung AI kini dapat mengekstrak titik data semantik dari kode, yang memberikan wawasan lebih mendalam tentang maksud dan perilaku sebenarnya dari model AI. Hal ini memungkinkan tim keamanan untuk:  Identifikasi kerentanan kompleks: Temukan kerentanan yang mungkin tidak terdeteksi oleh alat keamanan tradisional  Memahami perilaku model AI: Dapatkan pemahaman yang jelas tentang bagaimana model AI berinteraksi dengan data dan sistem lain, khususnya dengan model AI agen atau RAG.  Mengotomatiskan pengujian keamanan: Mengembangkan pengujian keamanan yang lebih canggih dan terarah berdasarkan pemahaman semantik, dan mampu dengan cepat menulis dan memperbarui skrip otomatisasi QA serta pengujian unit internal.   AI yang Bermusuhan: Munculnya Tim Merah AI  Seperti sistem lainnya, model AI juga rentan terhadap serangan. AI red teaming memanfaatkan kekuatan AI untuk mensimulasikan serangan adversarial, mengungkap kelemahan dalam sistem AI dan implementasinya. Pendekatan ini melibatkan penggunaan adversarial prompts, masukan yang dibuat khusus untuk mengeksploitasi kerentanan dan memanipulasi perilaku AI. Kecepatan pencapaian ini membuatnya hampir pasti bahwa AI akan banyak digunakan dalam waktu dekat.    Dengan menggunakan alat AI Red Teaming, aplikasi dapat menghadapi serangan brutal yang dirancang untuk mengidentifikasi kelemahan dan melumpuhkan sistem. Beberapa alat ini mirip dengan cara kerja DAST, tetapi pada tingkat yang jauh lebih sulit. AI Red Teaming tidak berhenti di situ.   Poin-poin Utama:  ● Pemodelan Ancaman Proaktif: Antisipasi serangan potensial dengan memahami bagaimana model AI dapat dimanipulasi dan bagaimana model tersebut dapat disesuaikan untuk menyerang lingkungan atau model AI lainnya.  ● Pengujian Keamanan yang Kuat: Terapkan teknik tim merah AI untuk mengidentifikasi dan mengurangi kerentanan secara proaktif.  ● Kolaborasi dengan Pengembang AI: Bekerja sama erat dengan tim pengembangan untuk memastikan pengembangan AI yang aman dan praktik pengkodean yang aman.   Pagar Pengaman: Membentuk Perilaku AI yang Aman  AI menawarkan banyak nilai yang tidak dapat diabaikan. Kemampuan generatifnya terus memukau mereka yang bekerja dengannya. Tanyakan apa yang Anda suka dan ia akan memberikan jawaban yang tidak selalu tetapi sering kali sangat akurat. Karena itu, sangat penting untuk mengembangkan pembatas yang memastikan penggunaan AI yang bertanggung jawab dan aman.   Pagar pembatas ini dapat memiliki berbagai bentuk, termasuk:    : Menerapkan praktik keamanan terbaik dalam kode untuk mencegah kerentanan seperti injeksi perintah. Kode yang Diperkuat    : Menyusun perintah sistem dengan cermat untuk membatasi kemampuan model AI dan mencegah tindakan yang tidak diinginkan. Modifikasi Perintah Sistem    : Mengintegrasikan mekanisme keamanan yang memvalidasi masukan, menyaring keluaran, dan mencegah akses tidak sah. Sanitizer dan Penjaga  Pertimbangan utama dalam penerapan pembatas adalah keseimbangan antara keamanan dan fleksibilitas pengembang. Sementara pendekatan terpusat seperti firewall menawarkan kemudahan penerapan, pembatas khusus aplikasi yang dirancang oleh pengembang dapat memberikan perlindungan yang lebih terperinci dan efektif.   Keharusan Keamanan API di Era AI  Aplikasi AI sangat bergantung pada API untuk berinteraksi dengan layanan dan sumber data eksternal. Interkonektivitas ini menimbulkan potensi risiko keamanan yang harus ditangani oleh organisasi secara proaktif.   Kekhawatiran Utama Terkait Keamanan API dalam Aplikasi AI:  Kebocoran Data Melalui API: Aktor jahat dapat mengeksploitasi kerentanan API untuk mencuri data sensitif yang diproses oleh model AI.  Kunci API yang Dirusak: Kunci API yang tidak aman dapat memberikan akses tidak sah ke sistem dan data AI.  Risiko API Pihak Ketiga: Mengandalkan API pihak ketiga dapat membuat organisasi rentan terhadap kerentanan dalam layanan tersebut.   Praktik Terbaik untuk Mengamankan API dalam Aplikasi AI:  Inventaris API Menyeluruh: Identifikasi semua API yang digunakan dalam aplikasi AI Anda dan nilai postur keamanannya.  Autentikasi dan Otorisasi API yang Aman: Terapkan mekanisme autentikasi dan otorisasi yang kuat untuk membatasi akses API. Pastikan Anda menerapkan model "Least Common Privilege".  Pengujian Keamanan API Secara Berkala: Lakukan penilaian keamanan secara berkala untuk mengidentifikasi dan mengurangi kerentanan API.  Kesimpulan    Dengan meninjau wawasan keamanan AI yang dibahas dalam posting ini, organisasi dapat menavigasi era transformatif ini dan memanfaatkan kekuatan AI sambil meminimalkan risiko. AI baru menjadi arus utama untuk sementara waktu, bayangkan seperti apa bentuknya dalam setahun. Masa depan AI cerah jadi bersiaplah untuk memanfaatkannya dan pastikan juga keamanannya. **   **dan jelajahi pertanyaan-pertanyaan penting seputar AppSec yang digerakkan oleh AI dan temukan cara mengamankan kode Anda di era baru ini!  Revolusi AI bukanlah kemungkinan di masa depan, namun sudah ada di sini! Untuk detail lebih lanjut tentang AI & AppSec - Tonton   seminar daring AI merevolusi pengembangan perangkat lunak, tetapi apakah strategi keamanan Anda mengikutinya?  -Ditulis oleh Jeffrey Martin, VP Pemasaran Produk di  Mend.io

This story contains new, firsthand information uncovered by the writer.

Audio ini diproduksi dalam bahasa asli cerita!

Pedang Bermata Dua Al Generatif: Membuka Potensi Sambil Mengurangi Risiko

About Author

KOMENTAR

HANG TAG

ARTIKEL INI DISAJIKAN PADA

Related Stories

The Crypto Trading Writing Contest: Submission Deadline Extended!

THE DAWN COMES, AND MY UNCLE APPEARS IN A NEW SILK HAT

And In The Open Air

How to Fetch Large Data Files Through GitHub API

The Crypto Trading Writing Contest: Submission Deadline Extended!

THE DAWN COMES, AND MY UNCLE APPEARS IN A NEW SILK HAT

And In The Open Air

How to Fetch Large Data Files Through GitHub API

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps