Kevesebb mint egy évbe telt, mire az AI drámai módon megváltoztatta a biztonsági környezetet. A generatív mesterséges intelligencia 2024 februárjában kezdett általánossá válni. Az első néhány hónap ámulattal telt. Hallatlan volt, hogy mire képes, és milyen hatékonyságot hozhat. szerint a  , a fejlesztők hozzávetőlegesen 75%-a használ vagy tervez használni AI kódoló eszközöket.   2024 Stack Overflow fejlesztői felmérés  Ezen eszközök közül az OpenAI ChatGPT különösen népszerű  , a GitHub Copilot követésével a fejlesztők 44%-a használja. Ami a kódírást illeti, a fejlesztők 82%-a használ mesterséges intelligenciát, 68%-a pedig az AI-t, miközben válaszokat keres. Ha olyan fejlesztőt párosít, aki érti, hogyan kell helyesen írni a kódot a generatív AI-val, akkor gyakori az 50%-ot meghaladó vagy annál jobb hatékonyság.   A fejlesztők 82%-a rendszeres használatról számolt be  Az elfogadás széles körben elterjedt, de aggályok merülnek fel az AI által generált kód pontosságával és biztonságával kapcsolatban. Egy tapasztalt fejlesztő vagy alkalmazásbiztonsági szakember számára nem tart sokáig, hogy rájöjjön, hogy a Generative AI-vel létrehozott kódnak megvannak a maga problémái. Néhány gyors felszólítással gyorsan megjelennek a hibák és problémák.  A mesterséges intelligencia miatt izgatott fejlesztők azonban nem csak régimódi biztonsági hibákat vezetnek be a kódba. Egyre gyakrabban visznek be mesterséges intelligencia modelleket az általuk kifejlesztett termékekbe – gyakran a biztonsági tudatosság, nemhogy engedély nélkül –, ami egy sor problémát vet fel. Szerencsére a mesterséges intelligencia kiválóan képes megbirkózni ezekkel a problémákkal, ha a helyes irányba mutat.   Ez a cikk megvizsgálja, hogyan:  A mesterséges intelligencia segíthet a szervezeteknek felfedezni a rendelkezésükre álló és használt mesterségesintelligencia-technológiákat, még az olyan árnyék-AI-t is, amelyről a biztonsági csapatok nem tudnak.  Az AI lehetővé teszi a szemantikus adatpontok kódból történő kinyerését, ami az alkalmazásbiztonság forradalmi fejlesztése.  A mesterséges intelligencia által vezérelt red teaming sebezhetőségeket fedhet fel az LLM-ekben és az alkalmazásokban  A mesterséges intelligencia segíthet védőkorlátok és enyhítő stratégiák létrehozásában az MI-vel kapcsolatos sebezhetőségek elleni védelem érdekében.  Az AI segíthet a fejlesztőknek megérteni és biztonságossá tenni az alkalmazásaikban használt API-kat.   Shadow AI: The Invisible Threat Lurking in Codebase  Képzeljünk el egy olyan forgatókönyvet, amelyben a fejlesztők, akiknek lépést kell tartaniuk társaikkal, vagy egyszerűen csak izgatottak az AI által kínált lehetőségek miatt, a biztonsági csapat tudta nélkül integrálják az AI-modelleket és -eszközöket az alkalmazásokba. Így jön létre a Shadow AI.  A Mend.io-nál végzett megfigyeléseink megdöbbentő tendenciát tártak fel: a biztonsági csapatok által ismert és a fejlesztők által ténylegesen használt mesterséges intelligencia tekintetében az arány 10-es. Ez azt jelenti, hogy minden értékpapír-felügyelőség alá tartozó mesterségesintelligencia-projekt esetében további 10 működik az árnyékban, ami jelentős kockázatot jelent a szervezet biztonságára nézve.  Miért olyan aggasztó a Shadow AI?    : A nem felügyelt mesterséges intelligencia modellek ismert sebezhetőségeket rejthetnek magukban, így az alkalmazás sebezhetővé vagy támadásokra érzékeny. Ellenőrizetlen sebezhetőségek    : A nem megfelelően konfigurált mesterséges intelligencia véletlenül érzékeny adatokhoz vezethet, ami az adatvédelem megsértéséhez és a szabályozási bírságokhoz vezethet. Adatszivárgás    : A nem jóváhagyott mesterséges intelligencia modellek használata sértheti az iparági előírásokat és az adatbiztonsági szabványokat. Megfelelőségi megsértések  Szerencsére az AI maga kínál megoldást erre a kihívásra. A fejlett mesterséges intelligencia által vezérelt biztonsági eszközök átvizsgálhatják a teljes kódbázist, azonosítva az összes használt mesterséges intelligencia technológiát, beleértve a rejtetteket is. Az átfogó leltár lehetővé teszi a biztonsági csapatok számára, hogy rálátást nyerjenek az árnyék AI-ra, segítsenek a kockázatok felmérésében és a szükséges mérséklő stratégiák végrehajtásában.   Szemantikai biztonság: új korszak a kódelemzésben  A hagyományos alkalmazásbiztonsági eszközök az alapvető adatokra és a vezérlési folyamatelemzésre támaszkodnak, így korlátozott ismereteket nyújtanak a kódfunkciókról. Az AI azonban képes a szemantikai megértésre, és ennek eredményeként jobb eredményeket adni.   Az AI-kompatibilis biztonsági eszközök mostantól szemantikus adatpontokat vonhatnak ki a kódból, így mélyebb betekintést nyújtanak az AI-modellek valódi szándékába és viselkedésébe. Ez lehetővé teszi a biztonsági csapatok számára, hogy:  Az összetett biztonsági rések azonosítása: Fedezze fel azokat a sebezhetőségeket, amelyeket egyébként a hagyományos biztonsági eszközök észrevétlenek lennének  Az AI-modell viselkedésének megértése: Tisztában kell lennie azzal, hogy az AI-modellek hogyan hatnak egymásra az adatokkal és más rendszerekkel, különösen az ügynöki AI vagy RAG modellekkel.  Automatizálja a biztonsági tesztelést: Fejlesszen ki kifinomultabb és célzottabb biztonsági teszteket a szemantikai megértés alapján, és képes legyen gyorsan írni és frissíteni a minőségbiztosítási automatizálási szkripteket, valamint a belső egység tesztelését.   Adversarial AI: The Rise of AI Red Teaming  Csakúgy, mint bármely más rendszer, az AI modellek is sebezhetőek a támadásokkal szemben. Az AI red teaming kihasználja az AI erejét az ellenséges támadások szimulálására, feltárva az AI-rendszerek és megvalósításaik gyengeségeit. Ez a megközelítés a sebezhetőségek kihasználására és a mesterséges intelligencia viselkedésének manipulálására szolgáló, ellenséges figyelmeztetéseket, speciálisan kialakított bemeneteket foglal magában. A sebesség, amellyel ez megvalósítható, szinte biztossá teszi, hogy a mesterséges intelligencia a közeljövőben erősen használatos lesz.    Az AI Red Teaming eszközök használatával az alkalmazások brutális támadásokkal szembesülhetnek, amelyek célja a gyengeségek azonosítása és a rendszerek leállítása. Ezen eszközök némelyike hasonló a DAST működéséhez, de sokkal keményebb szinten. Az AI Red Teaming nem áll meg itt.   Legfontosabb elvitelek:  ● Proaktív fenyegetésmodellezés: Előre jelezheti a lehetséges támadásokat azáltal, hogy megérti, hogyan manipulálhatók az AI-modellek, és hogyan hangolhatók be bármilyen környezet vagy más mesterséges intelligencia modell megtámadására.  ● Robusztus biztonsági tesztelés: Alkalmazza az AI red teaming technikákat a sebezhetőségek proaktív azonosítására és enyhítésére.  ● Együttműködés a mesterséges intelligencia fejlesztőivel: Szorosan működjön együtt a fejlesztői csapatokkal a biztonságos mesterséges intelligencia fejlesztés és a biztonságos kódolási gyakorlatok biztosítása érdekében.   Védőkorlátok: A biztonságos mesterséges intelligencia viselkedésének kialakítása  Az AI rengeteg értéket kínál, amelyet nem lehet figyelmen kívül hagyni. Generatív képességei továbbra is lenyűgözik a vele dolgozókat. Kérdezze meg, amit szeretne, és olyan választ fog adni, amely nem mindig, de gyakran nagyon pontos. Emiatt kritikus fontosságú olyan védőkorlátok kifejlesztése, amelyek biztosítják a felelős és biztonságos mesterséges intelligencia használatát.   Ezek a korlátok különféle formákat ölthetnek, többek között:    : A legjobb biztonsági gyakorlatok bevezetése a kódban a biztonsági rések, például az azonnali befecskendezés megelőzésére. Megerősített kód    : A rendszerkérdések gondos kidolgozása az AI-modell képességeinek korlátozására és a nem kívánt műveletek megelőzésére. Rendszerkérdés módosítása    : olyan biztonsági mechanizmusok integrálása, amelyek ellenőrzik a bemeneteket, szűrik a kimeneteket, és megakadályozzák az illetéktelen hozzáférést. Fertőtlenítők és védőeszközök  A védőkorlátok megvalósítása során kulcsfontosságú szempont a biztonság és a fejlesztői rugalmasság közötti kompromisszum. Míg a központosított tűzfalszerű megközelítések egyszerű telepítést tesznek lehetővé, a fejlesztők által személyre szabott alkalmazás-specifikus védőkorlátok részletesebb és hatékonyabb védelmet nyújthatnak.   Az API biztonsági követelménye az AI-korszakban  Az AI-alkalmazások nagymértékben támaszkodnak az API-kra a külső szolgáltatásokkal és adatforrásokkal való interakcióban. Ez az összekapcsolhatóság potenciális biztonsági kockázatokat jelent, amelyeket a szervezeteknek proaktívan kell kezelniük.   Az AI-alkalmazások API biztonságával kapcsolatos legfontosabb aggályok:  Adatszivárgás API-kon keresztül: A rosszindulatú szereplők kihasználhatják az API sebezhetőségeit, hogy ellopják az AI-modellek által feldolgozott érzékeny adatokat.  Kompromittált API-kulcsok: A nem biztonságos API-kulcsok jogosulatlan hozzáférést biztosíthatnak az AI-rendszerekhez és adatokhoz.  Harmadik féltől származó API-kockázatok: A harmadik féltől származó API-kra támaszkodva a szervezeteket e szolgáltatások sebezhetőségének tehetik ki.   A legjobb gyakorlatok az API-k biztonságossá tételéhez az AI-alkalmazásokban:  Alapos API-leltár: Azonosítsa az AI-alkalmazásokban használt összes API-t, és értékelje biztonsági helyzetüket.  Biztonságos API-hitelesítés és engedélyezés: Erős hitelesítési és engedélyezési mechanizmusok alkalmazása az API-hozzáférés korlátozása érdekében. Győződjön meg arról, hogy a „Least Common Privilege” modellt alkalmazza.  Rendszeres API biztonsági tesztelés: Végezzen rendszeres biztonsági értékeléseket az API sebezhetőségeinek azonosítása és enyhítése érdekében.  Következtetés    Az ebben a bejegyzésben tárgyalt mesterségesintelligencia-biztonsági betekintések áttekintésével a szervezetek eligazodhatnak ebben az átalakuló korszakban, és kihasználhatják az AI erejét, miközben minimalizálják a kockázatokat. A mesterséges intelligencia csak egy rövid ideig terjedt el, képzeld el, hogyan fog kinézni egy év múlva. A mesterséges intelligencia jövője fényes, ezért álljon készen arra, hogy kihasználja, és gondoskodjon a biztonságáról. **   **és fedezze fel az AI-vezérelt AppSec körüli kritikus kérdéseket, és fedezze fel, hogyan védheti meg kódját ebben az új korszakban!  A mesterséges intelligencia forradalma nem egy jövőbeli lehetőség, már itt van! Az AI és az AppSec további részleteiért tekintse meg a mi oldalunkat   webinárium Az AI forradalmasítja a szoftverfejlesztést, de az Ön biztonsági stratégiája lépést tart?  -Jeffrey Martin,   termékmarketing alelnöke írta a Mend.io

This story contains new, firsthand information uncovered by the writer.

Ez a hanganyag a történet eredeti nyelvén készült!

Generatív Al kétélű kardja: A potenciál felszabadítása a kockázatok csökkentése mellett

About Author

HOZZÁSZÓLÁSOK

HANG TAGOK

EZT A CIKKET BEMUTATTA

Related Stories

HackerNoon Raises $250k at $50M Valuation From Forward Research

INTRODUCTION

HackerNoon Contributor Denisa Ganea on HackerNoon, Human Existence, and Everything in Between

THE HABITS OF INSECTS IN RELATION TO THE FERTILISATION OF FLOWERS

HackerNoon Raises $250k at $50M Valuation From Forward Research

INTRODUCTION

HackerNoon Contributor Denisa Ganea on HackerNoon, Human Existence, and Everything in Between

THE HABITS OF INSECTS IN RELATION TO THE FERTILISATION OF FLOWERS

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps