Od objednávek pizzy po chytré domácí kamery, empatická umělá inteligence nyní řídí naše rozhodnutí v reálném čase. Můžeme držet krok? Ve 20:03 zazvoní telefon, což je konec dlouhého dne. Je to textová zpráva od Jimmyho surfaře ze 44letého kalifornského řetězce Pizza My Heart: „Hungry? A co ta kombinace ananas-šunka, kterou miluješ?" Má ležérní, uvolněný tón, ale má to háček: Jimmy není skutečný surfař – ani skutečný člověk. Místo toho je to chatbot s umělou inteligencí, pečlivě vycvičený, aby si povídal o pizze a jemně vás přesvědčoval, abyste tuto objednávku zadali. Jistě, konverzace působí přátelsky – dokonce uklidňujícím dojmem – ale za tím svižným surfařským žargonem se skrývá algoritmus, který ví, kdy s největší pravděpodobností řeknete ano. A to vyvolává otázku: Je to neškodná vymoženost, nebo rafinovaná forma manipulace? Na povrchu není na troše pohodlí nic špatného. Zvlášť, když máte hlad a jste příliš unavení na to, abyste procházeli nekonečné možnosti jídla. Ale nová vlna empatické umělé inteligence jde nad rámec doporučení rychlých služeb nebo produktů. Chatboti jako Jimmy, vyzbrojeni bystrým uchem a konverzačním talentem, jsou účelově stvořeni k tomu, aby využili vaše preference a nálady. Udělají víc, než jen přijmou vaši objednávku – popostrčí vás k ní. Emocionálně inteligentní technologie Palona AI, start-up pohánějící Jimmyho surfaře, věří, že může usnadnit život pracovníkům řetězce. Generální ředitelka a spoluzakladatelka společnosti Maria Zhang pro řekla, že technologie je „vystavěna pomocí jazykového modelu ‚emocionální inteligence‘ navrženého tak, aby byl efektivní při prodeji; bot je obeznámen s věcmi, jako je humor, moderní etiketa zasílání zpráv a 'jemné přesvědčování'.“ Wired Ale stejná empatie, díky které jsou interakce vřelé a lidské, může také smazat hranici mezi zákaznickým servisem a manipulací. Kde přesně leží hranice mezi službou, která nám pomáhá, a službou, která ovlivňuje naše rozhodnutí? Kdy přejdeme od vedení k manipulaci a narušíme spotřebitelskou autonomii? Ta otázka není teoretická. Společnost Wyze se sídlem v Seattlu, která prodává bezpečnostní kamery, brzy nasadí technologii Palona AI na své webové stránky jako průvodce, který povede nakupující k nalezení nejlepšího produktu pro jejich potřeby. Průvodce samozřejmě pobízí zákazníky k nabídce Wyze – a při každé příležitosti dále prodává plán Cam Plus společnosti Wyze. Stejně jako skutečný prodejce. Může také vytvořit váš zákaznický profil a zapamatovat si vaše preference (a obavy) pro příště. Palona AI již pohání chatbota v MindZero, lázních pro kontrastní terapii v Jižní Karolíně. Zákazníci mohou firmě na Instagramu poslat zprávu s čímkoli, od dotazů na ceny až po osobní otázky, například zda je v pořádku být v sauně nahý. Zhang navrhl, že poslední otázka může být trapná položit člověku, ale nemůžeme si být jisti, že AI je v tom rozdíl: robot MindZero neříká, že je to AI. Ani Jimmy Surfer. A to je místo, kde se věci zatemňují. Navigace v pravidlech Tato nejasnost pramení ze skutečnosti, že uživatelé ne vždy vědí, že chatují s robotem. Palona AI, Pizza My Heart, MindZero a Wyze jsou všechny založeny v USA a zákony USA nevyžadují zveřejnění. Ale zákon EU o umělé inteligenci ano. Zákon EU o umělé inteligenci má jiný regulační přístup, který vyžaduje, aby si uživatelé byli vědomi, že s umělou inteligencí interagují. EU má také existující zákony na ochranu soukromí, jako je obecné nařízení o ochraně osobních údajů (GDPR), ale to nechrání emocionální data, která tito roboti používají. Zatímco zákon EU AI Act a GDPR stanoví důležité principy, jako je transparentnost, minimalizace dat a dohled na základě rizik, plně nedohnaly AI, která je naprogramována tak, aby zvládala emoce. Pochopení tenké hranice mezi vedením a manipulací je důležité pro tvůrce politik i spotřebitele: jak můžeme věřit systémům, které se snaží zjistit, co chceme? Zákon EU o umělé inteligenci: Transparentnost, ale omezený rozsah Zákon EU o umělé inteligenci, který se stále zdokonaluje, používá klasifikaci založenou na riziku. Systémy považované za vysoce rizikové – například systémy ve zdravotnictví nebo kritické infrastruktuře – čelí přísnějším požadavkům: komplexní dokumentaci, auditu a dohledu. Chatbot nebo nákupní asistent pro objednávání pizzy se však obvykle nekvalifikují jako vysoce rizikové. To znamená, že empatická umělá inteligence navržená tak, aby vás postrčila do dalších přídavků nebo plán Cam Plus, může obejít nejtvrdší mantinely zákona. Požadavek na transparentnost (v článku 52) vyžaduje zveřejnění toho, že uživatelé interagují s AI. Ale v praxi je to také snadné přehlédnout nebo ignorovat – zvláště pokud je AI hluboce vetkaná do běžných textových kanálů. Pro podniky z EU, které chtějí používat empatické chatboty, to má důsledky. EU AI Act nebrání nasazení LLM, které napodobují empatii; vyžaduje to pouze základní odmítnutí odpovědnosti. Jediná věta „Ahoj, jsem asistent umělé inteligence“ by mohla stačit ke splnění zákonných povinností – ale to neřeší etické obavy. Koneckonců v současné době víme, kdy mluvíme s prodejem nebo zákaznickým servisem, a tyto informace používáme při našich rozhodnutích. Pokud však chce vaše firma vyladit jazykový model pro „jemné přesvědčování“ specifické pro značku, možná nebudete muset podstoupit stejnou úroveň kontroly dodržování předpisů jako někdo, kdo buduje, řekněme, lékařský systém umělé inteligence. GDPR: Osobní vs citlivá data Mezitím GDPR klasifikuje určité kategorie údajů, např. zdravotní nebo biometrické údaje, jako „zvláštní kategorie“, čímž jim poskytuje zvýšenou ochranu. Emocionální data nebyla (zatím!) vložena do této krabice, takže AI jemně přesvědčující uživatele k nákupu dalších nemusí zpracovávat data, která jsou ve výchozím nastavení považována za citlivá. GDPR stále nařizuje minimalizaci údajů a jasný souhlas uživatele s jakýmkoli shromažďováním nebo zpracováním osobních údajů. Ale v mnoha scénářích reálného světa, jako je zasílání zpráv MindZero o saunování, si uživatelé vědomě neuvědomují, že předávají emocionální podněty. Nebo jakákoliv data, vlastně jako široké zaškrtávací políčko T&C nebo banner souhlasu se soubory cookie často přechází na informovaný souhlas. Když žonglujete s masivními kanály uživatelských interakcí pro přeškolení modelu, tento emocionální kontext však může proklouznout. V současné době se většina úřadů pro ochranu osobních údajů zaměřuje na jednoznačná porušení ochrany osobních údajů nebo závažná porušení ochrany osobních údajů; Je nepravděpodobné, že by rafinované přesvědčování vyvolalo vyšetřování, dokud nedojde k významné stížnosti. Co bezpečnost dat? Empatická AI přidává novou vrstvu rizika pro zabezpečení dat: emoční data. Bezpečnostní týmy musí zvážit, jak ukládat uživatelské interakce (případně odhalující stres, osobní rutiny nebo soukromé obavy) a kdo má přístup. I když se firma řídí šifrováním a standardními průmyslovými postupy, hodnota emocionálních dat může přitahovat špatné hráče, kteří se zajímají o využití soukromých zranitelností. Pokud váš kanál zaznamenává každý uživatelský dotaz, můžete neúmyslně nashromáždit spoustu citlivých informací. Stávající předpisy se pouze částečně zabývají údaji zatíženými sentimentem, takže vaše bezpečnostní týmy budou muset použít vlastní ochranná opatření. Regulační slepý úhel Ani zákon EU o umělé inteligenci, ani GDPR plně neuvažují o emočně inteligentních systémech umělé inteligence, které přesvědčují uživatele při každodenním nakupování. Pro podniky tento regulační stav nabízí příležitost i riziko: možnost inovovat bez okamžitého těžkopádného dohledu, ale také riziko zpětného dopadu na reputaci nebo budoucího zkoumání, pokud regulační orgány rozhodnou, že jemné emocionální pošťuchování překročí mez. Pro uživatele je to ošemetné. Takže až vám příště zazvoní telefon ve 20:03 s přátelským textem o pizze, zamyslete se nad tím, co se skutečně děje. Mohla by to být umělá inteligence pod tenkou lesklou dýhou, která klepe na vaše chutě a povzbudí vás, abyste se vzdali. Ano, je to pohodlné. Ale také zdůrazňuje rostoucí propast mezi naší touhou po bezproblémových službách a potřebou robustních zábradlí kolem AI. Dokud regulace nedožene, vřelý, uklidňující hlas na druhém konci může být víc než užitečný kamarád. Může to být obchodní strategie vyladěná podle vašeho emocionálního stavu způsobem, který byste nikdy nečekali. Hlavní obrazový kredit: Adobe Stock | #364586649
