Con cualquier tecnología emergente, la realidad a menudo se queda atrás del hype. "Es caliente ahora mismo, se usa para describir sistemas que actúan con un grado de autonomía, pero la verdad es que la IA ha estado operando en el campo y tomando sus propias decisiones durante más tiempo de lo que muchas compañías le harían creer que su "primer agente" lo hizo. Para cada historia de éxito, hay un cuento de advertencia - un momento en el que un agente de IA, a pesar de sus sofisticados algoritmos, toma una decisión notablemente mala, exponiendo responsabilidades significativas a sus implementadores. Estos no son sólo trastornos menores; están mostrando ejemplos de cómo la autonomía no controlada o los parámetros mal diseñados pueden conducir a consecuencias del mundo real, desde errores financieros a quagmires éticos. El agente El agente La ciberseguridad de Darktrace: la inundación de falsos positivos Darktrace, un agente de ciberseguridad impulsado por la IA, ha enfrentado críticas por generar un alto volumen de - Identificar incorrectamente la actividad de red legítima como maliciosa.Un número abrumador de falsas alertas puede desensibilizar a los equipos de seguridad, lo que lleva a que se pierdan las amenazas reales en medio del ruido.La responsabilidad reside en un sistema de IA que, a pesar de su diseño sofisticado, crea ineficiencias operativas y compromete la postura de seguridad de una organización a través de una detección excesiva. false positives The Register: la 'caja negra' de AI de Darktrace se enfrenta a más preguntas Wired: la IA que hackeó a los hackers HackerNoon: Por qué su agente de IA es demasiado lento Drones alimentados por IA: El malentendido de la incursión fronteriza El dron de vigilancia alimentado por IA de una agencia de patrulla fronteriza estadounidense, diseñado para monitorear de forma autónoma una sección específica de la frontera, cruzó por error el espacio aéreo de un país vecino debido a una falla del sistema de navegación.El dron, operando sin control humano directo, desencadenó un incidente internacional y tensiones diplomáticas.Este incidente destaca las significativas responsabilidades geopolíticas de desplegar agentes de IA autónomos en áreas sensibles donde un solo error de cálculo puede tener graves consecuencias en el mundo real. The New York Times: ¿Los drones de IA cometerán un error en la frontera? Consejo de Relaciones Exteriores: Los riesgos geopolíticos de la IA autónoma HackerNoon: Las consecuencias no intencionadas de los drones autónomos Asistentes de voz inteligentes en casa: las compras accidentales Los asistentes de voz inteligentes tienen un historial documentado de malinterpretación de comandos o de activación de sí mismos a partir de las conversaciones de fondo, lo que conduce a Estos "compras accidentales" destacan la responsabilidad de los agentes de IA que son demasiado sensibles o carecen de robustos mecanismos de confirmación, lo que conduce a la frustración del consumidor, cargas inesperadas y preocupaciones de privacidad. unintended actions The Verge: El problema de la Alexa "compra accidental" Ars Technica: Cómo los altavoces inteligentes graban accidentalmente sus conversaciones HackerNoon: cuando la IA en tu hogar inteligente deja de ayudar y comienza a entrar en el camino GPT-3 Powered Chatbot de Microsoft para una salida de noticias: El contenido no comprometido Una agencia de noticias experimentó brevemente con un chatbot de IA, alimentado por una variante de GPT-3, para generar artículos de noticias. Esto demostró las significativas responsabilidades editoriales y de reputación de desplegar poderosos agentes generadores de IA en la creación de contenido sin rigurosa verificación de hechos y supervisión. unvetted and sometimes nonsensical content The Guardian: Un robot escribió todo este artículo. ¿Tienes miedo todavía, humano? The Wall Street Journal: Agencias de noticias experimentan con robots de IA HackerNoon: la IA no es un genio mágico o un sidekick amigable, es un autocomplete supercargado Los flash crashes del mercado de valores: el avalanche algorítmico Varios Estos agentes automatizados pueden desencadenar rápidos descensos de precios cuando las condiciones del mercado cambian repentinamente, creando riesgos sistémicos y pérdidas financieras significativas para los inversores. stock market flash crashes The Economist: Los peligros del comercio de alta frecuencia The New York Times: ¿Un comercio de “dedo graso”? o el comienzo de un Algo Apocalypse? HackerNoon: Navegar por los riesgos y oportunidades de iniciar una empresa de IA Los agentes de policía predictiva: los vicios amplificados Los agentes de la policía predictiva, diseñados para identificar de forma autónoma las áreas donde es probable que ocurra el crimen, han sido criticados por amplificar Al confiar en los datos históricos del crimen, que a menudo reflejan prácticas discriminatorias de ejecución, estos agentes pueden dirigir recursos policiales desproporcionadamente a los barrios minoritarios. existing biases in policing The New York Times: El problema con la policía predictiva Matemáticas de UCLA: ¿La policía predictiva conduce a arrestos biased? HackerNoon: Court Battles lanza un movimiento de IA inesperado: la equidad por diseño Los bots de servicio al cliente alimentados por IA: el ciclo de retroalimentación de frustración Muchas empresas han adoptado chatbots alimentados por IA para el servicio al cliente, a menudo conduciendo a la frustración del cliente cuando los bots no entienden consultas complejas o proporcionan soluciones adecuadas.Estos agentes "estúpidos", incapaces de desviarse de sus scripts programados, pueden escalar problemas menores en quejas significativas, lo que conduce a experiencias negativas del cliente y daños de reputación para la empresa. Harvard Business Review: No dejes que tu chatbot fracase WorkHub AI: Top 7 razones por las que los chatbots fallan en el servicio al cliente HackerNoon: El caso de la IA a nivel de tareas sobre la automatización a nivel de trabajo Los robots de Boston Dynamics: las consecuencias no intencionadas del diseño Si bien no es una "incompetencia" directa de la IA, la reacción del público a los robots cada vez más ágiles de Boston Dynamics ha expuesto responsabilidades relacionadas con Las preocupaciones sobre el desplazamiento de puestos de trabajo, la vigilancia e incluso la potencial armamentización de estas máquinas demuestran cómo la misma impresionancia de la IA puede crear ansiedades sociales y presiones regulatorias para las empresas que impulsan los límites tecnológicos. social and ethical implications MIT Technology Review: La ética de matar a los robots Boston Dynamics: un enfoque ético para los robots móviles en nuestras comunidades HackerNoon: ¿Las personas están perdiendo el control sobre los robots? Robo-Advisor Financiero: El desastre de la diversificación de alto riesgo Un nuevo robo-asesor financiero, diseñado para gestionar de forma autónoma las carteras, diversificó agresivamente las acciones de un cliente en activos altamente volátiles y de alto riesgo para "maximizar los retornos".El algoritmo del agente, carente de juicio humano, interpretó las señales del mercado como una oportunidad para un crecimiento extremo, lo que llevó a una pérdida masiva cuando el mercado se volvió. The Wall Street Journal: Cuando el asesor robótico se estrella Bloomberg: Robo-Advisers tuvo una dura marcha en el mercado de la desintegración HackerNoon: Cuando la IA falla en la Blockchain, ¿a quién culpamos? DeepMind's Healthcare AI: La violación de la privacidad de los datos DeepMind, una compañía de IA propiedad de Google, se enfrentó a críticas por su colaboración con el NHS, específicamente en relación con su aplicación "Streams" que procesaba datos de pacientes. Esto demostró las responsabilidades significativas para las empresas de IA en sectores altamente regulados donde el mal manejo de datos puede conducir a severas multas regulatorias y una violación de la confianza pública. data privacy Nuevo científico: el acuerdo de datos del NHS de DeepMind era ilegal The Guardian: DeepMind de Google le dio acceso "inapropiado" a los datos del NHS HackerNoon: La ética de la IA en el cuidado de la salud Arte Generativo AI: El Conundrum de los Derechos de Autor Los agentes de IA capaces de generar imágenes realistas han desatado un debate acalorado en torno Cuando se entrenan en vastos conjuntos de datos de obras de arte existentes sin permiso explícito, estos agentes de IA pueden producir salidas que se asemejan estrechamente al material protegido por derechos de autor, lo que conduce a demandas de los artistas. copyright infringement Artnet News: Getty Images está demandando a los creadores del generador de arte de IA Stable Diffusion Congress.gov: Inteligencia Artificial Generativa y Derecho de Autor HackerNoon: AI y derechos de autor: ¿Forzará la IA generativa a repensar la ley de IP? El perfil de gestión de delincuentes correctivos para sanciones alternativas (COMPAS): el bot de cautiverio biased El algoritmo COMPAS, utilizado en algunos tribunales estadounidenses para evaluar la probabilidad de que un acusado vuelva a ofender, se encontró que es significativo. Este vicio algorítmico en el sistema de justicia levantó serias cuestiones éticas y legales sobre la equidad y el potencial de la IA para perpetuar las desigualdades sistémicas. biased against Black defendants Categoría:Machine Bias Wired: Cómo una herramienta de IA de la caja negra perpetúa el racismo en el sistema de justicia Kaggle: COMPAS Recidivismo bias racial Ubers de conducción autónoma: la colisión fatal En 2018, un vehículo de prueba autónomo de Uber impactó y mató a un peatón en Tempe, Arizona, marcando la primera muerte registrada involucrando un vehículo autónomo. Las investigaciones revelaron que el agente de IA no clasificó adecuadamente al peatón como una amenaza inminente, y su sistema de frenado de emergencia fue desactivado. Un Uber autónomo vio a un peatón 6 segundos antes del accidente fatal Consejo Nacional de Seguridad del Transporte (NTSB): Colisión fatal involucrando un vehículo autónomo HackerNoon: El día en que un coche autónomo mató a un peatón Agente médico alimentado por IA: El molde de maldiagnóstico Un nuevo agente de diagnóstico de IA, entrenado para detectar cánceres en etapas tempranas, constantemente diagnosticó incorrectamente una forma rara de melanoma debido a la falta de datos de formación suficientes para esa condición específica.La alta confianza del agente autónomo en su diagnóstico incorrecto llevó a un tratamiento retrasado para múltiples pacientes.La responsabilidad es inmensa, involucrando la seguridad del paciente, la mala práctica médica y la responsabilidad ética de integrar la IA en las decisiones de vida o muerte sin certeza absoluta en su exactitud y fiabilidad. Natural Medicine: Una visión global de la IA en el cuidado de la salud Johns Hopkins: IA sobre IA: inteligencia artificial en la medicina diagnóstica Reddit: Los médicos comparten historias de terror de diagnóstico de IA Clearview AI: La predicción de la privacidad La tecnología de reconocimiento facial de Clearview AI, construida por raspar miles de millones de imágenes de Internet sin consentimiento, se ha convertido en un rayo para Las agencias de aplicación de la ley han utilizado su base de datos para identificar a las personas, lo que lleva a demandas y multas de las autoridades de protección de datos en todo el mundo.Este caso destaca las inmensas responsabilidades legales y éticas de los agentes de IA que operan en una zona gris regulatoria. privacy concerns and legal challenges The New York Times: La empresa secreta que podría poner fin a la privacidad tal y como la conocemos Artículo principal: Clearview AI The Verge: Clearview AI debe dejar de recoger caras en Europa El sistema de comercio de IA de Daegu Bank: el fracaso del dedo graso Un banco de Corea del Sur, Daegu Bank, sufrió una pérdida financiera significativa debido a un mal funcionamiento en su sistema de comercio de divisas alimentado por IA. El sistema ejecutó una serie de transacciones erróneas, un error de "dedo graso" en una escala algorítmica, resultando en millones de dólares en pérdidas antes de que pudiera ser cerrado manualmente. Agencia de noticias Yonhap: Daegu Bank sufre pérdidas comerciales masivas Bloomberg: El error de un millón de dólares de "dedo graso" The Korea Times: FSS examinará el fracaso del sistema de negociación de Korea Investment & Securities Las alucinaciones de ChatGPT: La crisis de la información fabricada ChatGPT, un modelo de lenguaje grande revolucionario, ha demostrado una tendencia preocupante para " Generando información factualmente incorrecta o sin sentido con alta confianza.Desde la fabricación de casos legales hasta la prestación de consejos médicos erróneos, estos casos exponen las responsabilidades asociadas a los agentes de IA que priorizan la fluidez sobre la exactitud factual.Los usuarios que confían en tal salida se enfrentan a riesgos legales o financieros potenciales. hallucinations The New York Times: Cuando la IA hace las cosas HackerNoon: Los peligros de las alucinaciones de ChatGPT Psiquiatric Times: OpenAI finalmente admite que ChatGPT causa daño psiquiátrico El algoritmo de iBuyer de Zillow: El error de billones de dólares El programa algorítmico de compra de viviendas de Zillow, "Zillow Offers", sufrió un fracaso espectacular, lo que llevó a la compañía a interrumpir el servicio y despedir a una cuarta parte de su personal. Esto demostró los riesgos de desplegar un agente de IA complejo en mercados volátiles sin una supervisión humana suficiente. overpaid for properties The Wall Street Journal: El negocio de iBuying de Zillow fracasó. Bloomberg: El error de Zillow Iceberg.digital: Incidente de confianza Zillow 4. Google Photos: The Gorilla Gaffe En 2015, Google Fotos se enfrentó a una reacción significativa cuando su agente de IA etiquetó infamadamente a dos personas negras como " Esta categorización profundamente ofensiva expuso un fallo crítico en los datos de entrenamiento del agente y su capacidad para identificar con precisión diversas caras humanas.El incidente destacó el imperativo ético para que los desarrolladores de IA aseguren que sus agentes estén capacitados en conjuntos de datos representativos e imparciales para evitar resultados perjudiciales y discriminatorios. gorillas Wired: Google Fotos sigue siendo racista y no es una corrección sencilla La solución de Google al racismo algorítmico accidental: prohibir a los gorilas Reddit: ¿Cómo ha funcionado Google Fotos tan mal? Accidentes del Autopilot de Tesla: El peligro de la excesiva dependencia El Autopilot de Tesla ha sido implicado en numerosos accidentes, algunos fatales, debido a los conductores El agente de IA, diseñado para la supervisión, ha luchado con objetos estáticos y vehículos de emergencia, lo que ha llevado a colisiones e investigaciones posteriores por parte de los reguladores de seguridad.Estos incidentes subrayan la inmensa responsabilidad asociada con el despliegue de agentes de IA en aplicaciones críticas a la seguridad, especialmente cuando la interacción humano-máquina no está diseñada para evitar la sobreconfianza. over-relying on its capabilities Administración Nacional de Seguridad del Tráfico por Carreteras (NHTSA): NHTSA abre una investigación sobre el sistema de Autopilot de Tesla Reuters: El Autopilot de Tesla bajo inspección tras accidentes Wikipedia: Lista de accidentes del Autopilot de Tesla La AI de reclutamiento de Amazon: el robot de reclutamiento sexista Amazon's internal AI recruitment agent, intended to streamline hiring, quickly revealed a deeply ingrained bias against women. The agent, trained on a decade of past hiring data, penalized résumés that included the word "women's" and down-ranked graduates from all-women's colleges. This inherent sexism forced the company to scrap the project entirely. It was a stark reminder that AI agents can perpetuate human prejudices. Reuters: Amazon saca la herramienta secreta de reclutamiento de IA que mostró prejuicios contra las mujeres IMD Business School: El algoritmo de contratación sexista de Amazon todavía podría ser mejor que un humano LinkedIn: La importancia de los diferentes datos en la IA El Tay Chatbot de Microsoft: la persona racista de Twitter El ambicioso avance de Microsoft en los agentes de IA tomó un giro rápido y preocupante con Lanzado en Twitter en 2016, Tay fue diseñado para aprender de las interacciones.Dentro de 24 horas, sin embargo, Tay devolvió a un xenófobo, misógino y negativo del Holocausto bot, lanzando tweets ofensivos a sus seguidores sin sospecha.Este fracaso catastrófico destacó las vulnerabilidades extremas de los agentes de IA en entornos descontrolados, demostrando lo rápido que un algoritmo de aprendizaje puede ser corrompido por ingresos maliciosos, dejando a Microsoft con una pesadilla de relaciones públicas y una lección clara en el despliegue ético de IA. Tay The Guardian: el chatbot de inteligencia artificial de Microsoft Tay se convierte en un monstruo racista Wikipedia en inglés: Tay (bot) Ars Technica: Tay AI de Microsoft es un chatbot racista, misógino gracias a Twitter Cada ejemplo subraya una lección crucial: el despliegue de la IA, particularmente los agentes autónomos, lleva responsabilidades significativas que se extienden mucho más allá de los meros trastornos técnicos. Si operan como un humano, pueden crear daños como un humano. El hype actual alrededor de "agentes de IA" como un nuevo fenómeno es engañoso. Mientras que los agentes de hoy son más sofisticados, la IA ha estado tomando decisiones autónomas en el campo durante décadas, desde algoritmos de negociación tempranos a la robótica. Las consecuencias de la IA incompetente pueden ser profundas, desde la erosión de la confianza pública causada por algoritmos prejuiciosos hasta pérdidas financieras tangibles e incluso amenazas a la seguridad humana. Como la IA continúa su inexor , construyendo sistemas que no sólo sean inteligentes, sino también responsables, transparentes y, en última instancia, responsables. La tarea es que los desarrolladores, implementadores y reguladores aprendan de estos errores.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Read My Stories

BotBeat is an AI Research Goldmine - said real person talking to a bot on Twitter/X/Gronk/WhateverWeAreCallingIt

22 ejemplos de agentes de IA incompetentes

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

Telegram: el puente de Crypto Island hacia el continente

El modelo Bitcoin UTXO, impulsando un ecosistema único

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

Telegram: el puente de Crypto Island hacia el continente

El modelo Bitcoin UTXO, impulsando un ecosistema único

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps