Sono l'unico che non sapeva che l'IA non può capire il tempo? intendo, ogni giorno, sentiamo tutto su AI generativa "rivoluzionare" tutto e sostituire tutti. Piccole cose piuttosto geniali. Per cominciare con, Recentemente è stato scoperto che i modelli multimodali di grandi lingue (MLLM) come ChatGPT-4o, GPT-o1, Gemini-2.0 e Claude 3.5-Sonnet hanno riscontrato problemi di precisione durante la lettura di un orologio. Ricercatori dell'Università di Edimburgo Le cose sono peggiorate quando sono state testate con orologi progettati con numeri romani, un dial colorato o un orologio decorativo.Alcuni degli orologi avevano anche una mano che tracciava secondi oltre a minuti e ore. Questa scoperta è stata fatta durante un test di una serie di migliori MLLM oggi, e pensare che Gemini-2.0 ha eseguito il "meglio" con solo l'accuratezza del 22,8% suona divertente. Secondo i ricercatori, questi modelli hanno lottato con tutto.Quale mano è la mano dell'ora? In quale direzione sta puntando? Quale angolo corrisponde a quale ora? Che numero è questo? Secondo loro, più c'era variazione nella faccia dell'orologio, più il chatbot che veniva testato era suscettibile di leggere erroneamente l'orologio. Queste sono letteralmente competenze di base per le persone.La maggior parte dei bambini di sei o sette anni può già dire il tempo.Ma per questi modelli, potrebbe anche essere l'astrofisica più complicata. Dopo il fiasco dell'orologio, i ricercatori hanno testato i bot sui calendari annuali. Sai, quelli con tutti i dodici mesi su una pagina. GPT-o1 ha eseguito il "meglio" qui, raggiungendo un'accuratezza dell'80 per cento. Ma ciò significa ancora che una risposta su cinque era sbagliata, incluse domande semplici come "Quale giorno della settimana è il Capodanno? Non avrei mai pensato che i modelli di intelligenza artificiale potessero mai essere confusi da un layout di calendario comune. Ma allora, non è molto scioccante scoprirlo. Tutto si riduce ancora ad una lacuna di lunga data nello sviluppo di AI. I MLLM riconoscono solo i modelli che hanno già visto, e orologi, calendari o qualsiasi altra cosa che richieda ragionamento spaziale non si adattano a questo. Gli esseri umani possono guardare un orologio Dali distorto e ancora capire approssimativamente quale ora è destinata a essere visualizzata. ma i modelli AI vedono una mano oraria leggermente più spessa e una sorta di cortocircuito. Perché questo conta È facile (quasi soddisfacente) ridere di ChatGPT, Gemini, e questi modelli per il fallimento di un compito che hai imparato quando eravate piccoli. Un compito che fai con tanta facilità. Come qualcuno che è stato scosso dai clienti per il lavoro gratuito queste cose offrono, anche se non standard, ammetto che lo trovo davvero soddisfacente. Ma per quanto voglio solo ridere, c'è un angolo più serio a questo. Questi stessi MLLM sono spinti nella percezione della guida autonoma, nell'immagine medica, nella robotica e negli strumenti di accessibilità. Sono utilizzati per la pianificazione e l'automazione, così come per i sistemi decisionali in tempo reale. Ora, gli errori di lettura dell'orologio sono divertenti. ma gli errori medici? gli errori di navigazione? anche gli errori di pianificazione? Non è così divertente. Se un modello non riesce a leggere in modo affidabile un orologio, fidarsi cieco di esso in ambienti ad alta quotazione è un gioco troppo rischioso per me. Mostra solo quanto questi sistemi siano ancora lontani dall'intelligenza reale e fondata. E quanto ancora conta il buon senso umano e le sfumature. Sto cercando così duramente di evitare di prendere questa possibilità per fare un caso umano vs. AI. Sicuramente non lo userò per predicare "Perché odio l'IA e dovresti anche tu." Ma c'è un problema che deve essere esaminato. Come l’autore principale dello studio, Rohit Saxena, “Queste debolezze devono essere affrontate se i sistemi AI vogliono essere integrati con successo in applicazioni del mondo reale sensibili al tempo”. metterlo

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Read My Stories

Questo audio è prodotto nella lingua originale della storia!

Prima che l’intelligenza artificiale prenda i nostri lavori, qualcuno meglio insegni come dire il tempo

About Author

COMMENTI

CARTELLINI

QUESTO ARTICOLO È STATO PRESENTATO IN

Related Stories

I Tried Perplexity For a Week, And I Don't Think AI Search Engines Can Replace Google.. Yet

OpenAI Has Everything Under Control 😎

Coding with Latenode's AI + JavaScript Assistant: A Low-Code Platform for Simplified Development

Meet Dealscard, Winner of Startups of The Year 2024 in Ghaziabad/Deal Aggregator

I Tried Perplexity For a Week, And I Don't Think AI Search Engines Can Replace Google.. Yet

OpenAI Has Everything Under Control 😎

Coding with Latenode's AI + JavaScript Assistant: A Low-Code Platform for Simplified Development

Meet Dealscard, Winner of Startups of The Year 2024 in Ghaziabad/Deal Aggregator

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps