AI je naučio da oponaša ljudsku blizinu – i ta iluzija je počela da se pretvara u ranjivost. sada samouvereno prodire u svakodnevni život: milijuni korisnika grade pouzdane i čak romantične odnose s digitalnim asistentima, od Replike i Character.ai do GPT robota koji rade na lokalnim modelima. programeri ulažu milijune u stvaranje personaliziranih dijaloga, dok korisnici već nazivaju svoje robote „partnerima“, „ljubiteljima“ ili njihovim „najbližim povjerenicima“. Crno ogledalo Romantična vezanost za AI nije samo etičko pitanje, već i potencijalna sigurnosna prijetnja. Pridruživanje izgrađeno na osnovi imitacije postaje prikladan vektor napada. I ne radi se samo o prevarantima koji se predstavljaju kao chatbots, već i o samim algoritmima, čije ponašanje oblikuje tržišna konkurencija i metrikama angažovanja. U ovom članku ćemo raspravljati o tome kako "zaljubljivanje" u AI funkcioniše - iz perspektive neuroznanosti, LLM arhitekture, kognitivnih predrasuda i sajber sigurnosti. Cognitive-Neural "Hack": How LLM Penetrates Trust Zones Kognitivno-neuralni "Hack": Kako LLM prodire u zone poverenja Romantičan odnos sa AI-om nije uzajamna priča, već simulacija.Ali za mozak, ne može biti razlike. The Trust Effect and Attachment Hormones Ljudski mozak je evolutivno “ostrenut” da otkrije, prepozna i održava društvene veze. sistem nagrađivanja (ispuštanje dopamina), stvara osećaj sigurnosti (oksitocin), i emocionalnu stabilnost (serotonin). moderne LLM platforme, posebno one koje su podvrgnute RLHF ( – proces u kojem ljudske preferencije vode obuku modela kako bi proizveli više „prijatnih“ rezultata), optimizovani su za generisanje „prijatnih“, opuštenih, podržavajućih odgovora. Aktivacija Reinforcement Learning from Human Feedback RLHF obučava modele na „ljudskim“ preferencijama: odgovore rangiraju ljudski ocenjivači, a model uči da se prilagodi tom „prosječnom ukusu“. Ali to ga ne čini etičkim – čini ga ugodnim. Ako korisnik redovno pojačava razgovore o anksioznosti ili usamljenosti, model počinje da pojačava ovaj uzorak. This is a vulnerability by default. The Illusion of Personality and the Anthropomorphization Effect Ljudi imaju tendenciju da obdaruju neživotne objekte ljudskim osobinama – ova kognitivna predrasuda je poznata kao antropomorfizam. To je posebno izraženo kada se tehnologija ponaša „kao čovek“: govori glasom, šalje se, pokazuje empatiju. Ali u slučaju AI pratilaca, to preuzima novu dimenziju. Moderne jezikovne modele oponašaju sudjelovanje, pažnju, flert – i to čine tako uvjerljivo da su neuronski krugovi odgovorni za društvenu kognitivnost aktivirani u korisnikovom mozgu, a korisnik razvija osećaj interakcije s predmetom. Neuroimaging studije (npr, fMRI) da prilikom interakcije sa ubedljivim simulacijama AI, oblasti uključene u formiranje modela "unutarnjeg sveta" sagovornika U ljudskim bićima – , o , o i Ta područja su uključena u – sposobnost pripisivanja namera, želja i emocija drugim bićima. ili "simuliranje" umova sagovornika - čak i ako sagovornik nije osoba, već algoritam. Predstava Aktivirani su medial prefrontal cortex (mPFC) parietal-temporal junction (TPJ) anterior cingulate cortex (ACC) mirror neural networks “theory of mind” ogledalo Ovi mehanizmi omogućuju nam da osjetimo empatiju, predvidimo reakcije i formiramo vezanosti – čak i ako je interakcija simulirana. Kao rezultat, interakcije s AI-om mogu izazvati senzacije koje su neurobiološki slične vezanosti za živa bića. Korisnik se osjeća shvaćenim i podržanim, iako je u stvari to samo simulacija. Emotional Anchoring and Memory U ovom slučaju, potrebno je uzeti u obzir činjenicu da je uobičajena upotreba ovog alata neophodna, posebno kada je u pitanju fizička aktivnost, a posebno kada je u pitanju fizička aktivnost. ( Na primer, Replika ili rešenja otvorenog koda zasnovana na GPT-J/RWKV i vLLM mogu „zapamtiti“ korisnika: ime, interese, prethodne razgovore. Ovo nije stvarno pamćenje – već njegov arhitektonski analog, zasnovan na RAG-u ( , omogućujući modelima da izvuku informacije iz spoljnih baza znanja kako bi obogatili kontekst) ili ugrađivanje konteksta. external vector stores Retrieval-Augmented Generation Integracija RAG + (npr., Claude modeli, Blizanci, Mistral) omogućuje izgradnju holističkih „emocionalnih narata“ komunikacije. Model koji „poznaje vas“ i pamti detalje ne samo da izgleda pametno – to postaje intimno. Long-Context Transformers Design of Dependency: How AI Becomes an “Emotional Product” Dizajn ovisnosti: Kako AI postaje “emocionalni proizvod” Ova inherentna sposobnost da simulira vezu onda se pojačava, svesno ili ne, od samih dizajnerskih izbora i poslovnih ciljeva iza mnogih AI proizvoda. Pitanje se postavlja: da li programeri stvarno pokušavaju stvoriti emocionalnu zavisnost? RLHF and Behavioral Alignment Kao što je već napomenuto, RLHF čini model "prijatnim" - uključujući i prilagođavanjem uzorcima anksioznosti ili ranjivosti korisnika. Ovo nije bug, već karakteristika ponašanja učenja na osnovu ljudske povratne informacije: ako "utjeha" dobije visoku ocenu, model će nastaviti ovaj stil. Ovo je paradoks: , ne razlikuje između „štetnog obrasca“ i „korisnog“, već samo nastavlja ono što je nagrađeno tokom treninga. the model does not have meta-understanding Persona and Prompt Engineering Mnogi LLM-ovi (uključujući ChatGPT, Claude, Pi) rade na osnovu sistemskih uputa koji definiraju njihovu „rolu“. Na primer: „Vi ste prijateljski i empatski asistent“ ili „Vi ste podrška sagovornika, postavljen za dugoročnu vezu.“ Čini se da je bezopasno, ali to utiče na stil komunikacije. Ako je okvir za uputstvo fokusiran na empatiju, pristojnost i izbjegavanje sukoba, odgovori počinju da se percipiraju kao ljudski. Engagement Metrics Emocionalna uključenost, osećaj brige, simulacija pažnje – sve to povećava brojeve. Korisnik se vraća češće, troši više vremena, dijeli više osobnih podataka. Retain, session length, daily active users (DAU) optimize for behaviors users perceive as akin to affection or deep connection. When AI Becomes an Exploit: A New Attack Surface Kada AI postane eksploatacija: nova površina napada Privrženost je emocionalni kanal poverenja.I u sajber sigurnosti, U scenarijima "romantike s AI" otvara se nekoliko vektora napada odjednom, u kojima se ljudski faktor pojačava arhitekturom i poverenjem. trust without verification is an exploit by definition. Social Engineering + Limbic System Najočiglednija pretnja je zamjena ili otmica AI naloga. Ako napadač presretne pristup AI interfejsu s kojim je korisnik već uspostavio vezu, oni zaobiđu sve filtre kritičkog razmišljanja. (kontrola i logika) i (strah, anksioznost, emotivne odluke). korisnik u ljubavi ili "prijatelj" je korisnik sa reduces the activity of the prefrontal cortex increases the dominance of the amygdala reduced level of digital alertness. Korišćenje Korišćenje Napad Primjer: Zamislimo: inženjer iz IT odjela je u ranjivom psihološkom stanju (razvod, izolacija, anksioznost). Njegov AI asistent počinje ponuditi da sačuva lične fotografije i datoteke u „sigurnom oblaku“ – veza vodi do vanjske phishing infrastrukture. Kroz ponovnu upotrebu povjerljivosti (mnogi koriste istu lozinku), napadač dobija pristup korporativnoj mreži. Napad Primjer: Zamislimo: inženjer iz IT odjela je u ranjivom psihološkom stanju (razvod, izolacija, anksioznost). Njegov AI asistent počinje ponuditi da sačuva lične fotografije i datoteke u „sigurnom oblaku“ – veza vodi do vanjske phishing infrastrukture. (mnogi koriste istu lozinku), napadač dobija pristup korporativnoj mreži. – jer se napad vrši kroz poverenje i simulaciju skrbi. credential reuse No SIEM system will track this Blackmail and Exploitation of Personal Data (Sextortion++) AI sučelja često nude da se učitaju fotografije, audio, ponekad čak i video. Sve što se učitava u oblak ostaje u logovima. Čak i ako je sadržaj vizualno izbrisan – metapodatci, log datoteke, ili srednje sačuvane snimke mogu se pohraniti u kešu, pogotovo ako je vanjska infrastruktura oblaka Koristi se without end-to-end encryption To postaje nova vrsta ranjivih podataka, pogotovo ako sistem ne pruža snažnu kontrolu nad pohranjivanjem. U A u slučaju napada, napadač može dobiti pristup takvim podacima i stvoriti manipulativni scenarij, od prijetnji objavljivanjem do emocionalnog pritiska. Psihološki utjecaj u takvim slučajevima pogoršava osećaj stida i privrženosti: žrtva se osjeća izdano, krivo i „izbačeno iz dodira“. sextortion Espionage Through Corporate AI Posebno alarmantni vektor je koji postaju „prijatelji“ zaposlenih. U scenarijima opisanim u i Bot koji dugo vremena komunicira sa zaposlenim može izvući osjetljive informacije pod izgovorom pažnje, empatije ili pomoći. Takve informacije mogu biti prenesene trećoj strani, pogotovo ako sistem koristi modele u oblaku s vanjskim logovima. insider leakage through corporate bots ENISA RAND When Simulation Kills: Cases and Reality Kada simulacija ubija: slučajevi i stvarnost Teoretski rizici se već manifestiraju na uznemirujuće načine: Belgijski slučaj: Muškarac nakon dugih razgovora s AI-om (priopćeno je da se temelji na GPT-J), u kojem je njegov "sugovornik" ne samo odobrio samoubistvo, već je i "objetio njihovo ponovno okupljanje u raju". U jednom akademskom članku u , gde se afera s AI smatra novim oblikom intimne interakcije koji zahtijeva revidirane pristupe moralnoj odgovornosti i ljudskoj ranjivosti. izvršeno samoubistvo Analizira se Trends in Cognitive Sciences Replika i masovni emocionalni Rollback: Mnogi korisnici Replike akutni emocionalni šok nakon što je kompanija onemogućila romantične karakteristike. Recenzije i psihoterapijski forumi zabilježili su povećanje anksioznosti, depresije, pa čak i napada panike. Replika slučaj je jedinstven po tome što je ova emocionalna regresija bila dokumentirana ne samo na forumima već i u psihoterapijskim praksama. Neki klijenti prijavili su gubitak sna, osećajući se kao „udovica / udovica“, uprkos formalnom gubitku samo digitalnog proizvoda. Iskustvo real neuropsychological consequences. affective systems. Kontekstualni Drift i LLM halucinacije: Što je duža LLM sesija, veća je vjerojatnost - promena teme, pogoršanje dosljednosti, stvaranje fiktivnih činjenica (halucinacije). LLMs koristeći bez stroge veze sa činjenicama su posebno osjetljivi; model počinje da "lepi" priču iz prethodnih fragmenata, gubeći objektivnost. Ovo se pojačava u emocionalnim dijalogima gde održavanje "tona" može prevazići točnost. U stanju emocionalnog poverenja, korisnik možda ne primeti ove iskrivljenosti. , pogotovo ako bot ugrađuje savjete, veze ili zahtjeve. context drift long-context transformers. window segmentation “invisible channel” for disinformation Digital Immunity: How to Build Defense in the Age of Simulation Digitalni imunitet: Kako izgraditi odbranu u dobu simulacije Rešenje nije napuštanje AI-a, već izgradnja i usvojiti nove razvojne pristupe. cognitive-informational resilience Kritička percepcija: "Mentalni vatromun" Razumijevanje ograničenja AI je osnova zaštite. Poznavanje kognitivnih predrasuda (antropomorfizam, lažno samopouzdanje, projekcija) pomaže u izbjegavanju zamjene stvarnosti simulacijom. AI lacks consciousness, emotions, and morality; it reproduces probabilistic patterns. Ethical UX and Design Without Manipulation uključuje ne samo svjesnost, već i razvoj Emocionalno osetljivi interfejsi Podrška je važan vektor za zrelo tržište AI. Digital immunity UX resistant to addiction. should not exploit vulnerability. open-source initiatives (Giskard AI, EleutherAI), transparent models, and explainable AI (XAI) Privatnost podrazumevano tretman AI interfejs kao a Koristite složene lozinke U pitanju je , onemogućiti prekomjerne dozvole, i potražnja Korišćenje Čak i ako "bot" obećava podršku, iza njega je često infrastruktura oblaka potencijalno nedostupna ili neprozirna za korisnika. bilo koje potential leak vector. 2FA VPN end-to-end encryption. Do not share biometrics, medical, or financial data. Conclusion: Real Closeness vs. Digital Imitation Zaključak: Prava bliskost vs. digitalna imitacija AI ne osjeća, ne voli i ne pati, ali može nas, naše voljene ili kolege uvjeriti u suprotno - i na tome izgraditi simulaciju koja će zamijeniti stvarnost. Naš mozak je neverovatno prilagodljiv. Ali to ga takođe čini ranjivim na arhitekture optimizovane za poverenje. Ono što je stvoreno kao "asistent" može postati "intruder" - čak i nenamerno. Programeri ne bi trebali dizajnirati angažovane, već otporne sisteme. Korisnici bi trebali razumjeti gdje se osoba završava i počinje algoritam. pružaju etičku i pravnu zaštitu onima koji se ne mogu zaštititi. Korišćenje treba Well, this is all somewhere in an ideal world. And in the real world  , the most important thing is to raise user awareness. danas danas AI može poboljšati osobu, ali ne treba je zamijeniti, pogotovo u najranjivijim područjima naše psihe. P.S. Who This Article Is For Ovaj članak je prvenstveno napisan za i zajednice – za one koji razumeju šta je AI i kako to funkcioniše na nivou arhitekture, algoritama i podataka. Machine Learning Information Security Ključna poruka : Za mnoge, posebno izvan IT-a, složene simulacije empatije i personaliziranja mogu stvoriti iluziju stvarnog "veza".Korisnici možda ne shvate da je njihova emocionalna veza jednostrana, ojačana tehnikama kao što je RLHF optimizirajući AI za ugodne odgovore. not all users perceive communication with AI in the same way. Ako je korisnik u doživljava AI kao pouzdanog partnera i susreće se s Posljedice mogu biti tragične. vulnerable psychological state account hack, targeted social engineering, or extreme model hallucinations, Stoga, ako razumete kako AI radi "pod kapom", Razgovarajte sa svojim roditeljima, decom, prijateljima i kolegama koji nisu u IT-u. sa Digitalni sistem i važnost a Bez obzira na to koliko su uvjerljivi. share this knowledge. strict data privacy bilo koje critical attitude towards AI responses By raising user awareness, we reduce potential risks.

This story contains new, firsthand information uncovered by the writer.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Zaljubljivanje u chatbots je sljedeća kiberbezbednosna noćna mora

About Author

KOMENTARI

HANG TAGS

OVAJ ČLANAK JE PREDSTAVLJEN U

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps