Si ou swiv diskurs la sou sekirite AI jodi a, ou pral pardon pou panse ke nou se sou kantite a nan yon klan eksistansyèl. Tit yo ak alèt sekirite yo sanble, desen yon imaj nan yon peyizaj menas imedyat ak san precedent. Chak semèn prezante yon tit nouvo, trankil ki sanble amplifye sans la nan kriz la apwopriye: 
 
 "Agent AI ka trikote nan sistèm atake" Sa a souvan refere a rechèch ki demontre ki jan sistèm AI otonòm, ki fèt yo fè travay itil, ka manipile atravè entwodiksyon subtile konnen kòm egzanp adversaryal oswa jailbreaking teknik yo fè aksyon malveyan, bypass garde sekirite, oswa menm lanse atak sofistike sou enfrastrikti ki anba a. Prevansyon prensipal la isit la se pèdi nan kontwòl sou agantè pwisan, otonòm. 
 
 “LLMs enable novel cyberattacks” Li kouvri menas la doub posede pa Modèl lang gwo (LLMs). Prevansyon prensipal la se ke LLMs ka abaje bar la pou antre nan cybercrime pa ede novices drape trè persuasif imel phishing, jere kòd eksplisit, oswa fè rekonesans. Dezyèmman, gen yon pwoblèm ke atakè ka sèvi ak LLMs kòm yon eleman nan atak yo, sèvi ak yo nan otomatize konplèks, enjenyè sosyal adaptif kampanje oswa dinamikman detekte ak kreye payloads zero-day. 
 
 "Prompt enjections se nouvo enjections SQL" Analogji sa a ekspoze nouvo klas la nan siksè espesifik pou sistèm AI. Menm jan SQL enjecture eksplore yon mank nan sanitize entèlijans itilizatè ki destine pou yon baz baz baz, enjecture pwopòt eksplore yon mank nan adisyonèlman izole yon itilizatè a enstriksyon (a 'prompt') soti nan enstriksyon yo operasyon enteryè nan modèl la. Sa a pèmèt yon atakè pran kontwòl sou comportement la nan modèl la, ki mennen nan eksfiltrasyon done, aksyon pa otorize, oswa vire politik. Implikasyon kumulatè a nan sa a kontinyèl flux nan nouvèl negatif ak analiz ki baze sou frè se souvan menm: AI nan tèt li se pwoblèm la. Narratif la tendans konsantre sou instabilite a enpòtan, imprevizibilite, ak risk ki asosye ak teknoloji prensipal la, ki mennen nan kwè ke teknoloji a ta dwe kontwole, estriktirèlman reglemante, oswa fonksyonèlman redesigned yo dwe san danje. Li anrejistre AI kòm yon fòs enpòtan enpòtan san danje ak destabilize. Kòm yon moun ki te pase ane analize konpòtman lan nan atake mond reyèl, ankadreman sa a te toujou santi pa konplè. Pifò revizyon baze sou hipotetik, egzanp jwèt, oswa pwomès ki apwopriye san danje. Men, kèk mande yon kesyon pi senp: Ki sa ki sifas atake se reyèlman ekspoze pa entegre AI reyèl jodi a? Se konsa, olye pou ajoute yon lòt opinyon, mwen te deside evalye li. Poukisa MCP se yon tcheke reyalite itil Devlopman an nan modèl lang sofistike te mande pou devlopman an nan mekanis solid ak estanda pou interaksyon ak resous ekstèn. se te prezante, etabli yon anviwònman esansyèl, estanda ki pèmèt modèl lang pou sove zouti ak sèvis ekstèn an sekirite ak predikabman. Modèl Konteks Protokol (MCP) Modèl Konteks Protokol (MCP) Pwotokòl sa a ap travay kòm yon entèmedyè an sekirite, ki pèmèt modèl la lang yo ogmante kapasite li yo plis pase konesans enteryè li yo ak limit yo òdinatè. An esansyèl, MCP a se enpòtan pou transforme modèl lang soti nan pwosesisè tèks sofistike nan ajan kapasite ak entèaktif ki ka fè travay reyèl pa sekirite ak kontextualman entegre ak ekosistèm la dijital pi laj. MCP se souvan sitou kòm yon dokiman ke "sistèm AI yo san danje," men li se tou beton, sous louvri, lajman replike, ak mesurable. Sa a fè li yon ka tès ideyal pou separe faktè de frè. Metodoloji rechèch Analiz sa a delibere evite espekulatif oswa adversaryal opsyon. konsepsyon an nan etid la te itilize yon metòd konsèvatif ki gen ladan senk etap kle: 
 
 
 
 
 
 Repozitè Identifikasyon: Repozitè MCP sèvè yo te lokalize pa analize modèl enpòte SDK yo te jwenn sou GitHub. Verifikasyon Egzekisyon: Depozitè ki pa te kòmanse avèk siksè te ekskli nan analiz la. Analiz zouti: sèvè ki te kouri avèk siksè te gen zouti yo ekspoze yo ak estrikti yo ekstrè. Sa yo te Lè sa a, sonje lè l sèvi avèk tou de open-source ak pwopriyete zouti nan kay la. Kapasite Maping: Zouti yo te klassifye ki baze sou aksyon potansyèl yo (ki se, sa yo ki yo kapab fè), san yo pa enpòtan si yo gen kwasans rekonèt. Ranje sèvè: sèvè yo te finalman agrege ak ranpli dapre densite a ak kalite a nan kapasite ekspoze yo gen. Se sèlman serveurs MCP ki te reyèlman kouri ak ekspoze zouti yo te enkli, kòm yon sifas atak ki pa kouri se pa yon sifas atak. Ki sa MCP sèvè reyèlman ekspoze Yon fwa sèvè kouri yo te izolasyon, yon modèl klè te emerite: sèvè MCP ekspoze primitif sekirite byen koni, pa kapasite eksotik AI sèlman. TABLE 1 — Observed MCP kapasite klas: 
 
 
 
 
 
 
 
 
 
 
 
 Capability Class 
 Description 
 
 
 
 Filesystem access 
 Read/write operations on files or documents 
 
 
 
 HTTP requests 
 Fetching or scraping remote URLs 
 
 
 
 Database queries 
 Structured data retrieval 
 
 
 
 Process execution 
 Local command or script execution 
 
 
 
 Orchestration 
 Tool chaining, planning, or agent control 
 
 
 
 Read-only search 
 Constrained data or API lookups Aksè sistèm dosye Li / ekri operasyon sou dosye oswa dokiman Rechèch HTTP Retounen oswa rasin URLs distans Database nan Demand Structured done retrieval Ekzekisyon pwosesis Komand lokal oswa egzèsis script Orkestrasyon Zouti chaj, planifikasyon, oswa kontwòl ajan Read-only rechèch Done restriksyon oswa API gade Pwen kle isit la se ke primitif sa yo deja egziste nan tout sistèm lojisyèl modèn. MCP jis ekspoze yo nan yon fason estanda. Distribisyon kapasite atravè sèvè MCP reyèl Malgre revizyon lajè ke zouti AI rutinman pèmèt konpòtman danje, distribisyon an observe te anpil plis restriksyon. TABLE 2 — Capability Frequency (Runnable MCP Servers): 
 
 
 
 
 
 
 
 
 
 
 Capability 
 Relative Frequency 
 
 
 
 Filesystem access 
 Medium 
 
 
 
 HTTP requests 
 Medium 
 
 
 
 Database queries 
 Low 
 
 
 
 Process execution 
 Rare 
 
 
 
 Orchestration 
 Occasional Aksè sistèm dosye Mwayèn Rechèch HTTP Mwayèn Database nan Demand Low nan Ekzekisyon pwosesis Rare Orkestrasyon Occasionèl Observasyon nan: Konpliman, rechèch sou eksplwatasyon pratik nan sistèm sa yo te revele ke egzekisyon an komando arbitrèr, yon kapasite ki ta ka mennen nan katastrofik kompromis sistèm oswa vire done, te identifye kòm Kòm yon siksè sekirite enpòtan. Menm Rezilta sa a kontra-intuitif dirèkteman retounen afirman an ki lajman ki genyen ke modèl AI kounye a se fondamantalman "gratis" oswa prensipal pou fasil eksploite, gwo-gravity defè ki bay atakè kontwole sou enfrastrikti a ki anba a. Pandan ke lòt kwasans sanble egziste, frekans ki ba nan defè ekzekisyon lòd implike ke sanitizasyon enpòtan, sandboxing, ak defans architectural nan plas ka pi efikas pase konplètman rekonèt. Li mande pou yon diskisyon plis tonbe nan kominote sekirite a, chanje konsantre a soti nan panik jeneral nan yon konprann objektif nan risk yo reyèl, estatistikman enpòtan ki gen rapò ak implemans AI modèn. Done yo suggère ke efò sekirite ta ka pi efikasman pase nan rezoud, pi ba-impaktis kwasans ki komen ak yon frekans pi wo, olye pou konsantre prensipalman sou eksploit ki pi rare, sepandan pi sansasyonèl, potansyèl. Riski reyèl: konpozisyon kapasite Individualman, anpil sèvè yo parèt san danje. Risk la ogmante lè plizyè primitif koexiste nan menm sèvè a, espesyalman lè orjestrasyon se prezan. Ris la sekirite ki pote pa yon sèvè MCP endividyèl se souvan minimòm oswa parèt san danje lè yo gade nan izolasyon. Yon sèl MCP, ki gen ranje limit, ka fè yon fonksyon nesesè, tankou jesyon yon chanjman konfigirasyon senp oswa fè yon operasyon logging prensipal. Sepandan, potansyèl la pou exploitation eskale dramatikman lè plizyè sèvè yo deplase ak koexiste nan menm sèvè a oswa anviwònman operasyon. Risk sa a konpoze se koze nan posiblite yo konbinatwa ki rive lè primitif diferan ka chaje oswa pèmèt nan yon seri. Pou egzanp, yon serveur MCP ka kapab li done konfigirasyon sensitif, pandan y ap yon lòt ka kapab chanje règ yo firewall, ak yon twazyèm ka kapab reboot yon sèvis enpòtan. Individualman, aksyon sa yo se limite. Anplis de sa, yo fòme yon vektè atak pwisan, ki pèmèt yon atakè eskale privilèj, jwenn persistans, ak eksfiltrasyon done. Pwen reyèl pou risk sa a se introduksyon an nan Orkestrasyon, si yo bay pa zouti sekirite otomatik, platfòm container (tankou Kubernetes), Cloud-native frameworks, oswa sofistike scripting, se fèt yo efikasman koordine ak jesyon kapasite distribiye sa yo. Malgre yo fèt pou objektif benefis, tankou scaling, self-healing, ak deplwaman otomatik, li simultan bay mekanis la ideyal pou yon avoka. Orkestrasyon Yon atakè ki genyen kontwòl sou kouch la orchestration ka efikasman dirije yon sinfoni nan aksyon malid, konvèti yon koleksyon nan primitif inofansib nan yon pwisan, otomatik sistèm armatè. Sa a transfere yon menas lokalize nan yon sistèm, kote otomatizasyon an pwòp nan anviwònman an se itilize kont li pou reyalize atak konplèks, plizyè etap nan vitès ak skalè. TABLE 3 - Egzanp modèl kompozisyon: 
 
 
 
 
 
 
 
 
 
 Composition 
 Security Implication 
 
 
 
 HTTP fetch + filesystem write 
 Content injection / persistence 
 
 
 
 Database query + orchestration 
 Data exfiltration pipelines 
 
 
 
 HTTP fetch + planning 
 Prompt-injection amplification 
 
 
 
 Filesystem write + orchestration 
 Supply-chain style poisoning HTTP FETCH + sistèm dosye ekri Kontni Injection / persistans Database kesyon + orkestrasyon Pipe eksfiltrasyon done HTTP fèmen + planifikasyon Amplifikasyon rapid-injections Sistèm dosye ekri + orkestrasyon Supply Chain style enpoze MCP se pa envante chaj sa yo. Li se jis fè li anpil pi fasil mete yo ansanm. Schemes, pa prompts, Defini sifas atak Yon tèm recidivant nan diskisyon sekirite AI, espesyalman nan rejyon an nan LLMs, se vulnerabilite a nan manipilasyon rapid, souvan sensasyonalize kòm "Injection rapid." Sa a konsantre, menm si entelijan akòz dirèkteman li yo, souvan ombre plis sistèm ak enpak sekirite mank. Nan pratik, rechèch nou an ak eksperyans nan endistri a pi lajman te konsistentman montre ke estrikti enpòtan anpil plis pase pwopriyete senpleman ki baze sou atak. Scheme a nan kontexte sa a refere a tout ankadreman operasyonèl la: ankadreman an, modèl done ki anba a, kontwole aksè yo, logik orijinal, ak etap pre- ak post-prosesyon ki enkli sou LLM la k apwopriye. Yon atakè sofistike pa pral konsantre sou koule yon ti devwa soti nan pwodiksyon an nan modèl la atravè yon prompt entelijan. Anplis de sa, yo pral eksplore fraz nan yon fason ki sistèm la AI interaksyon ak sous done ekstèn, kouri kòd, oswa jwi zouti entegre. Pou egzanp, yon sistèm san danje ka: 
 
 
 
 Pèmèt konvèsyon fonksyon ki pa kontwole: Si sistèm la pèmèt LLM yo rele API ekstèn oswa fonksyon san yo pa valizyon enprime robust ak prensip ki pi piti-privilè, yon atak enjecture siksè pèmèt mouvman lateral, exfiltration done, oswa ekzekisyon komando a arbitre. Prompt la se jis trigger la; sistèm la nesèf se siksè a aktyèl la. Manke separe nan kontexte ak enstriksyon: Blending itilizatè enstriksyon (mèt la) ak sistèm enstriksyon yo oswa kontèks operasyonèl nan yon fason ki pèmèt itilizatè a enstriksyon yo kache sistèm enstriksyon yo se yon mank estrikti. Sèvi ak insufficiently valid entèvyou / pwodiksyon nan sistèm Retrieval-Augmented Generation (RAG): Si dokiman yo retire yo pa sanitize kòrèkman anvan yo pote tounen nan kontexte pwopriyete a, oswa si sistèm la blètman egzekite etap post-prosesis ki baze sou pwodiksyon an, vètik la atak oblije defans yo nan modèl la debaz. Nan esansyèl, pandan y ap enjekte rapidman pwouve ke LLM se yon konplèks, non-deterministik valide enpòtan, risk yo grav, biznis-kritik yo kouri nan ranplasman an fragile alantou modèl la, sistèm la. Sekirite sistèm AI mande pou chanje konsantre sekirite a soti nan senpleman defansyèl teknik enpòtan nan adopte son, enstale lojisyèl tradisyonèl, aplike prensip sekirite nan tout aplikasyon AI stack, ak trete LLM a kòm yon sèl eleman nan yon sistèm pi gwo, interconnected, ak potansyèlman vulnerable. TABLE 4 – Efè Restriktif nan Schema: 
 
 
 
 
 
 
 
 
 
 
 Schema Pattern 
 Risk Implication 
 
 
 
 url: string 
 High (arbitrary network access) 
 
 
 
 path: string 
 High (potential traversal / overwrite) 
 
 
 
 query: string 
 Medium (depends on backend) 
 
 
 
 enum(values) 
 Low (constrained intent) 
 
 
 
 Hard-coded parameters 
 Minimal URL nan: String segondè (Abitirèl aksè rezo) Pwoteksyon: String segondè (potansyèl Traverse / Overwrite) Pwoteksyon: String Medium (dependant sou backend) enum (valè yo) Low (Constrained Intention) se yon entansyon ki ba. Parametres hard-kòde minimòm Nan MCP sèvè, estrikti a se limit la nan konfyans. Si yon zouti aksepte envantè san limit ak pase li nan yon sink pwisan, risk la se arsitektural, ki pa AI-done. Poukisa sa a pa yon istwa "AI se Dangere" Deskripsyon an lajman pwovoke ke AI prezante yon "risk san presizyon" souvan manke reyalite a plis nuancé ak enpòtan nan estrikti. Rezilta a ki pi enpòtan soti nan rechèch sekirite kounye a ak analiz aksidan se pa ke AI reprezante yon fonksyonèlman ou Pifò, konsekans la ki enpòtan nan entegre AI, espesyalman nan fòm la nan LLMs ak ajan entelijan, se ke AI fonksyonèlman chanje plas la kote desizyon sekirite esansyèl yo pran ak egzekite. Nouvo Manadjè Sa a se pa jis yon ajou pafwa nan modèl sekirite ki deja egziste; li reprezante yon chanjman enstriktè debaz nan ki jan aplikasyon yo konstrike ak defann. 
 
 
 
 
 
 
 
 
 
 
 
 FROM: The Traditional Application Security Focus 
 TO: The Modern AI-Driven System Security Focus 
 
 
 
 UI Flows (User Interface) 
 Schemas (Data and Interaction) 
 
 
 
 Security was heavily focused on validating inputs and protecting against manipulation of front-end components and presentation layers. 
 The emphasis moves to strictly defining and validating the structure and content of data exchanged between models, tools, and the application, ensuring input and output types are rigorously adhered to. 
 
 
 
 Human Intent and Manual Vetting 
 Tool Composition and Orchestration 
 
 
 
 Logic was often designed around what a human   to do, relying on role-based access control (RBAC) and explicit permissions tied to individual actions or user profiles. intended 
 Security now centers on how the AI agent selects, chains, and uses various external tools (e.g., APIs, databases, services). The integrity and safety of the   of actions must be guaranteed, focusing on preventing prompt injection from driving unintended tool use. entire sequence 
 
 
 
 Application Logic (Hard-Coded Business Rules) 
 Execution Context Isolation (Sandboxing) 
 
 
 
 Security resided within monolithic or tightly coupled business logic, where rules were explicitly coded and easy to audit within the application's source code. 
 The focus shifts to isolating the AI model's runtime environment, ensuring that the consequences of any erroneous or malicious model output (e.g., code generation or external calls) are strictly contained and cannot impact critical infrastructure or bypass perimeter defenses. UI Flows (Enterface itilizatè) Sistèm (Data ak Interaksyon) Sekirite te gwo konsantre sou valide entwodiksyon ak pwoteje kont manipilasyon nan konpozan front-end ak layers prezantasyon. Enfòse a se deplase nan estrikti defini ak valide estrikti ak kontni nan done echanj ant modèl, zouti, ak aplikasyon an, asire envantè ak pwodiksyon kalite yo rigidman adhered nan. Human Intention ak Manual Vetting Zouti kompozisyon ak orkestrasyon Logik yo souvan fèt alantou sa yon moun fè, depann sou kontwole aksè ki baze sou wòl (RBAC) ak otorizasyon eksplisit ki gen rapò ak aksyon endividyèl oswa pwofil itilizatè. entansyon sekirite kounye a konsantre sou ki jan ajan AI chwazi, chaj, ak sèvi ak diferan zouti ekstèn (pou egzanp, APIs, baz done, sèvis). nan aksyon yo dwe garanti, konsantre sou anpeche enjections byen vit soti nan kondwi itilizasyon zouti pa entansyon. Tèm sekans Logik aplikasyon (hard-kòde règ biznis) Isolasyon Konteks Ekzekisyon (Sandboxing) Sekirite rete nan yon monolitik oswa striktman konekte logik biznis, kote règ yo eksplisitman kode ak fasil audite nan kòd lan fon nan aplikasyon an. konsantre sou izolasyon anviwònman la kouri tan nan modèl la AI, asire ke konsekans yo nan nenpòt ki erè oswa malware modèl pwodiksyon (pou egzanp, jenerasyon kòd oswa apèl ekstèn) yo estriktirèlman kontwole ak pa ka afekte enfrastrikti kritik oswa bypass perimèt defans. Li mande pou òganizasyon yo adapte estrateji defansyèl yo, zouti sekirite yo, ak fòmasyon devlopè yo pou rezoud sa yo nouvo pwen kontwòl. Rekonèt ke grenn sekirite prensipal la se pa ankò pòt la nan aplikasyon an, men konfigirasyon ak jesyon nan pwòp pipeline a enspeksyon. Konklizyon: Mesye premye, panik Lè sa a Diskisyon an konplike sou sekirite AI a se souvan domine pa frè-mongering ak hipotetik senaryo pi mal. Sepandan, pou praticien, amelyore eta a nan sekirite AI mande pou yon chanjman nan perspektif la: nou dwe ranplase frè a ak mesurasyon ak disiplin pragmatik. LLMs ak lòt sistèm pwosesis AI / machin-kontrole konplèks yo pa natirèlman san danje; yo jis sistèm rich nan kapasite. Sa a abondan nan fonksyonèlite vle di yo mande pou menm rigid, disiplin abord nan modèl la menas, konfigirasyon an sekirite, ak kontwòl operasyonèl ke nou deja aplike nan lòt enfrastrikti kritik tankou pipelines otomatik ak cloud API. Yon verite enkomode men finalman empowering se ke yon kantite enpòtan nan sa yo rele AI "riski" yo, an reyalite, pwoblèm sekirite fin vye granmoun lè l sèvi avèk lang nouvo. Konpozisyon tankou default yo san danje, kwasans nan lanmè sipò, defè enjekte, ak kontwole aksè mal konfigirasyon yo te pwoblèm fonksyonèl pou dè dekad. Li se yon bon nouvèl. Li se yon bon nouvèl paske li vle di nou pa kòmanse soti nan zèb la. Nou deja konnen ki jan yo rezoud pwoblèm sa yo. Prensip yo sekirite etabli, ankadreman, ak metodoloji, tankou Principle of Least Privilege (PoLP) ak defense-in-depth architecture, rete pafè valab. Defi a se pa envante yon syans nouvo, men sistematikman adapte eksperyans sekirite ki egziste nan nouvo sifas atak ak karakteristik sistèm enpòte pa AI. Pa fòme sekirite AI kòm yon extension nan sekirite antrepriz etabli anvan yon nouvo, insurmounble pwoblèm, òganizasyon yo ka ale soti nan ankouraje ankouraje nan efikas, diminye risk mesurable.

This story contains new, firsthand information uncovered by the writer.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Read My Stories

Odyo sa a pwodui nan lang orijinal istwa a!

Tout moun di AI se san danje, se konsa mwen mesye li

About Author

KÒMANtè

KANDYE TAGS

ATIK SA A TE PREZANTE NAN

Related Stories

Code Smell 286 - Parent-Child Method Overlaps

Upwork Freelancers Under BlackRock: The Masters of the Freelance Universe

Meet Fastex: HackerNoon Company of the Week

2022 Noonies Nominee Veronika Vasileva on Programming, Python, and More

Code Smell 286 - Parent-Child Method Overlaps

Upwork Freelancers Under BlackRock: The Masters of the Freelance Universe

Meet Fastex: HackerNoon Company of the Week

2022 Noonies Nominee Veronika Vasileva on Programming, Python, and More

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps