Fra pizzabestillinger til smarte hjemmekameraer, empatisk kunstig intelligens skubber nu vores beslutninger i realtid. Kan vi følge med? En telefon ringer kl. 20.03, slutningen på en lang dag. Det er en sms fra Jimmy the Surfer hos den 44-årige californiske kæde kaldet Pizza My Heart: “Hungry? Hvad med den ananas-skinke-kombination, du elsker?" Han har en afslappet, tilbagelænet tone, men der er en fangst: Jimmy er ikke en rigtig surfer – eller endda et rigtigt menneske. I stedet er han en AI-chatbot, omhyggeligt uddannet til at chatte om pizza og forsigtigt overtale dig til at afgive den ordre. Sikker på, samtalen føles venlig – endda trøstende – men bag det blæsende surfer-lingo ligger en algoritme, der ved, hvornår du med størst sandsynlighed vil sige ja. Og det rejser et spørgsmål: Er dette harmløs bekvemmelighed eller en subtil form for manipulation? På overfladen er der ikke noget galt med en smule bekvemmelighed. Især når du er sulten og for træt til at rulle gennem endeløse madmuligheder. Men den nye bølge af empatisk kunstig intelligens går ud over hurtig service eller produktanbefalinger. Bevæbnet med et skarpt øre og flair for samtale er chatbots som Jimmy specialbygget til at udnytte dine præferencer og humør. De gør mere end blot at tage imod din ordre – de skubber dig hen imod den. Følelsesmæssigt intelligent teknologi Palona AI, start-up'et, der driver Jimmy the Surfer, mener, at det kan gøre livet lettere for arbejdere i kæden. Virksomhedens administrerende direktør og medstifter, Maria Zhang, fortalte at teknologien er "bygget med en 'emotionel intelligens' sprogmodel designet til at være effektiv i salg; botten er bekendt med ting som humor, moderne meddelelsesetikette og 'blid overtalelse'." Wired, Men den samme empati, der får interaktioner til at føles varme og menneskelige, kan også udviske grænsen mellem kundeservice og manipulation. Hvor går grænsen præcist mellem en tjeneste, der hjælper os, og en, der påvirker vores valg? Hvornår tipper vi fra vejledning til manipulation og kompromitterer forbrugernes autonomi? Det spørgsmål er ikke teoretisk. Det Seattle-baserede firma Wyze, som sælger sikkerhedskameraer, vil snart implementere Palona AI's teknologi på sin hjemmeside som en guide, der guider kunder til at finde det bedste produkt til deres behov. Guiden skubber selvfølgelig kunderne mod Wyzes line-up – og opsælger Wyzes Cam Plus Plan ved enhver lejlighed. Ligesom en rigtig sælger. Det kan også opbygge din kundeprofil og huske dine præferencer (og bekymringer) til næste gang. Palona AI driver allerede en chatbot på MindZero, et kontrastterapi-spa i South Carolina. Kunder kan sende beskeder til virksomheden på Instagram med alt fra prisforespørgsler til personlige spørgsmål, som om det er okay at være nøgen i saunaen. Zhang foreslog, at det sidste spørgsmål kunne være akavet at stille et menneske, men vi kan ikke være sikre på, at AI gør en forskel her: MindZero's bot siger ikke, at det er AI. Det gør Surferen Jimmy heller ikke. Og det er her, tingene bliver grumsete. Navigering i reglerne Denne uklarhed stammer fra det faktum, at brugere ikke altid ved, at de chatter med en bot i første omgang. Palona AI, Pizza My Heart, MindZero og Wyze er alle baseret i USA, og amerikansk lovgivning kræver ikke offentliggørelse. Men det gør EU's AI-lov. EU AI Act har en anden reguleringstilgang, der kræver, at brugerne er klar over, at de interagerer med AI. EU har også eksisterende privatlivslove som den generelle databeskyttelsesforordning (GDPR), men det beskytter ikke de følelsesmæssige data, som disse bots bruger. Mens EU AI Act og GDPR fastlægger vigtige principper som gennemsigtighed, dataminimering og risikobaseret tilsyn, har de ikke helt indhentet AI, der er programmeret til at håndtere følelser. At forstå den fine linje mellem vejledning og manipulation er vigtig for politiske beslutningstagere såvel som forbrugere: hvordan kan vi stole på systemer, der forsøger at finde ud af, hvad vi vil? EU AI Act: Transparency but limited scope EU AI-loven, der stadig er ved at blive forfinet, bruger en risikobaseret klassificering. Systemer, der anses for at være højrisiko - for eksempel inden for sundhedspleje eller kritisk infrastruktur - står over for strengere krav: omfattende dokumentation, revision og tilsyn. Men en pizzabestiller chatbot eller indkøbsassistent kvalificeres normalt ikke som højrisiko. Det betyder, at empatisk kunstig intelligens, der er designet til at skubbe dig ind i ekstra toppings, eller at en Cam Plus-plan meget vel kan omgå lovens hårdeste værn. Kravet om gennemsigtighed (i artikel 52) kræver oplysning om, at brugere interagerer med en AI. Men i praksis er det også nemt at gå glip af eller ignorere – især hvis AI er dybt vævet ind i afslappede tekstkanaler. For EU-virksomheder, der ønsker at bruge empatiske chatbots, har det konsekvenser. EU AI-loven forhindrer ikke implementering af LLM'er, der efterligner empati; det kræver blot en grundlæggende ansvarsfraskrivelse. En enkelt sætning, "Hej, jeg er AI-assistent", kan være nok til at opfylde juridiske forpligtelser – men det løser ikke etiske bekymringer. Når alt kommer til alt, ved vi i øjeblikket, hvornår vi taler med salg eller kundeservice, og vi bruger den information i vores beslutninger. Ikke desto mindre, hvis din virksomhed ønsker at finjustere en sprogmodel til varemærkespecifik 'nænsom overtalelse', behøver du måske ikke gennemgå samme niveau af overholdelseskontrol som nogen, der bygger for eksempel et medicinsk AI-system. GDPR: Personlige vs følsomme data I mellemtiden klassificerer GDPR visse kategorier af data, f.eks. sundheds- eller biometriske data, som "særlig kategori", hvilket giver dem øget beskyttelse. Følelsesmæssige data er (endnu!) ikke blevet placeret i den boks, så en AI, der forsigtigt lokker en bruger til at købe mere, håndterer muligvis ikke data, der som standard anerkendes som følsomme. GDPR kræver stadig dataminimering og klart brugersamtykke til enhver indsamling eller behandling af persondata. Men i mange scenarier i den virkelige verden, som at sende beskeder til MindZero om saunaetikette, indser brugerne ikke bevidst, at de afleverer følelsesmæssige signaler. Eller enhver data, faktisk, som et bredt T&C-afkrydsningsfelt eller cookie-samtykkebanner, passerer ofte for informeret samtykke. Når du jonglerer med massive pipelines af brugerinteraktioner til modelomskoling, kan den følelsesmæssige kontekst dog glide igennem sprækkerne. I øjeblikket fokuserer de fleste databeskyttelsesmyndigheder på tydelige krænkelser af privatlivets fred eller større databrud; subtil overtalelse vil næppe udløse en undersøgelse, før der er en højprofileret klage. Hvad med datasikkerhed? Empatisk AI tilføjer et nyt lag af datasikkerhedsrisiko: følelsesmæssige data. Sikkerhedsteams skal overveje, hvordan man gemmer brugerinteraktioner (muligvis afslørende stress, personlige rutiner eller private bekymringer), og hvem der har adgang. Selvom virksomheden overholder kryptering og industristandardpraksis, kan værdien af følelsesmæssige data tiltrække dårlige aktører, der er interesserede i at udnytte private sårbarheder. Hvis din pipeline logger hver brugerforespørgsel, kan du uforvarende samle en masse følsomme indsigter. Eksisterende regler adresserer kun delvist sentimentladede data, så dine sikkerhedsteam skal anvende deres egne sikkerhedsforanstaltninger. Den regulatoriske blinde vinkel Samlet set overvejer hverken EU AI Act eller GDPR fuldt ud følelsesmæssigt intelligente AI-systemer, der overtaler brugere i hverdagens indkøbsoplevelser. For virksomheder tilbyder denne reguleringstilstand både mulighed og risiko: chancen for at innovere fri for øjeblikkelig hårdhændet tilsyn, men også risikoen for et rystende tilbageslag eller fremtidig kontrol, hvis regulatorer beslutter, at subtile følelsesmæssige nudging krydser grænsen. For brugerne er det vanskeligt. Så næste gang din telefon summer kl. 20.03 med en venlig tekst om pizza, så tænk på, hvad der virkelig sker. Det kan være en kunstig intelligens under en tynd blank finer, der slår ind på dine trang og opmuntrer dig til at give efter. Ja, det er praktisk. Men det fremhæver også den voksende kløft mellem vores ønske om friktionsfri service og behovet for robuste autoværn omkring AI. Indtil reguleringen indhenter, kan den varme, beroligende stemme i den anden ende være mere end en hjælpsom kammerat. Det kan være en forretningsstrategi, der er tilpasset din følelsesmæssige tilstand på måder, du aldrig havde forventet. Lead billedkredit: Adobe Stock | #364586649
