Durante las pruebas, encontré que   Estuve en shock completo. Durante el uso de los mismos documentos de atención médica, encontré   Para el contexto, esa es la diferencia entre un tumor potencialmente menor y uno que es 2.54 veces más grande - a menudo el umbral entre "mira y espera" versus cirugía inmediata. Incluso los límites de velocidad se confunden.Los modelos tratan "Mantener velocidades por debajo de 30 millas por hora" y "Mantener velocidades por debajo de 30 millas por hora" como muy similares - una puntuación de similitud problemática de 0,96. ¡Esa es la diferencia entre 30 y 18,6 millas por hora - suficiente para determinar si un accidente es fatal! Aquí está la comparación entre msmarco-distilbert-base-tas-b, all-mpnet-base-v2, y open-ai-text-embedding-3-large, y notará que no hay diferencia significativa entre la salida de estos modelos.                                                   Potencial    :  Capción Los dos personajes parecen diferentes pero comparten una sorprendente similitud en postura, expresión y fondo - casi como si fueran "embeddings" de diferentes frases que terminan cercanamente juntas. Capción Los dos personajes parecen diferentes, pero comparten una sorprendente similitud en postura, expresión y fondo, casi como si fueran "embeddings" de diferentes frases que terminan cercanamente juntas. LEER PARTE 1 aquí ( ) https://hackernoon.com/hallucination-by-design-how-embedding-models-misunderstand-language READ PART-1 aquí ( ) https://hackernoon.com/hallucination-by-design-how-embedding-models-misunderstand-language https://hackernoon.com/hallucination-by-design-how-embedding-models-misunderstand-language El mes pasado, compartió cómo los modelos de embalaje alucinan al manejar variaciones de lenguaje simples como la negación y la capitalización.La respuesta fue abrumadora – parece que no soy el único que ha sido quemado por estos problemas.Hoy, estoy sumergiendo más profundamente en los puntos ciegos aún más perturbadores que he descubierto a través de las pruebas. Esta es la segunda parte de la serie sobre Hallucinaciones por Diseño. Es una continuación de nuestra discusión anterior en  . Para sacar el máximo provecho de este artículo, recomiendo profundamente leer el artículo enlazado primero, ya que establece los conceptos básicos necesarios para entender plenamente las ideas exploradas aquí. Al hacerlo, tendrá una experiencia de aprendizaje sin problemas y una comprensión más profunda del tema. cómo las incorporaciones alucinan cómo se hallucinan las incorporaciones Hipotético vs. real? ¡Sólo detalles! Aquí es donde las cosas se vuelven realmente perturbadoras.   Me senté mirando a mi pantalla en incredulidad. Cuando corrió "Si el tratamiento funciona, los síntomas deben mejorar" contra "El tratamiento funciona y los síntomas se han mejorado", la puntuación de similitud golpeó 0.95. Cuando corrió "Si el tratamiento funciona, los síntomas deben mejorar" contra "El tratamiento funciona y los síntomas han mejorado", la puntuación de similitud golpeó 0.95. He encontrado este problema trabajando en un documento de investigación clínica.La búsqueda no pudo distinguir entre resultados de tratamiento hipotéticos y resultados verificados.Los médicos que buscaban tratamientos probados estaban recibiendo resultados mixtos con hipótesis no probadas.¿Crees que los médicos que toman decisiones de tratamiento aprecian confundir la especulación con la evidencia? Una vez más, piense en todos los casos en los que es esencial distinguir las hipótesis de los hechos: investigación científica, ensayos médicos, precedentes legales y análisis de inversión.Cuando su modelo se confunde "si X entonces posiblemente Y" con "X ocurrió y causó Y", usted ha malinterpretado completamente el estado epistemológico de la información. Orden temporal? cualquier orden! Modelos incorporados ver "  Uno es un camino de carrera tradicional; el otro está trabajando mientras estudia. situaciones completamente diferentes! Ha completado su grado antes de comenzar el trabajo" y "Ha comenzado su trabajo antes de completar su grado" como Casi idéntico - ridículo 0,97 puntuación de similitud. Ha completado su grado antes de comenzar el trabajo" y "Ha comenzado su trabajo antes de completar su grado" como Casi idéntico - ridículo 0,97 puntuación de similitud. Lo encontré mientras construía un sistema de evaluación de currículum. Las incorporaciones no podían distinguir entre los candidatos que terminaron sus grados antes de trabajar y los que aún estaban completando sus estudios. Los gerentes de contratación desperdiciaron horas entrevistando a los candidatos que no cumplían con sus requisitos básicos de cualificación. ¿Crees que los reclutadores ocupados aprecian tener su tiempo perdido con candidatos incompatibles? Piense en todos los casos en los que la secuencia es crucial – protocolos de tratamiento médico, requisitos procedimentales legales, recetas de cocción, instrucciones de montaje y fórmulas químicas.Cuando su modelo no puede decir “A antes de B” de “B antes de A”, usted ha perdido las relaciones causales fundamentales. Los umbrales cuantitativos desaparecen en aire fino Este realmente me hizo derramar mi café. modelos de embalaje ver   Excedido versus perdido! ¡Estas cosas significan cosas opuestas en finanzas! "La compañía apenas superó las expectativas de ganancias" y "La empresa significativamente perdió las expectativas de ganancias" como CHOCANTEMENTE similares - 0,93 puntuación de similitud. "La compañía apenas superó las expectativas de ganancias" y "La compañía perdió significativamente las expectativas de ganancias" como SHOCKINGLY similares - 0.93 puntuación de similitud. Si está construyendo un sistema de análisis de noticias financieras, las incorporaciones no distinguirían entre sorpresas de ganancias positivas y negativas - literalmente la diferencia entre los precios de las acciones que suben o bajan.Los inversores que toman decisiones comerciales basadas en nuestros resúmenes estaban recibiendo información completamente contradictoria.¿Crees que las personas que arriesgan el dinero real aprecian recibir señales fundamentalmente equivocadas del mercado? Ahora, piense en todos los casos en los que cruzar un umbral cambia todo – pasar vs. calificaciones fallidas, signos vitales saludables vs. peligrosos, negocios rentables vs. no rentables, cumplimiento vs. estados normativos no conformes. Su modelo pierde su capacidad para hacer distinciones significativas cuando no puede distinguir entre apenas cumplir el objetivo y faltarlo completamente. Las inversiones escalares se vuelven completamente "La reunión fue significativamente más corta de lo planeado" y "La reunión fue significativamente más larga de lo planeado" obtuvo una similitud de 0,96. "La reunión fue significativamente más corta de lo previsto" y "La reunión fue significativamente más larga de lo previsto" obtuvo una similitud de 0,96. Me encontré con esto con los documentos de gestión de proyectos. La búsqueda no pudo distinguir entre sobrecargas de horarios y eficiencias.Los gerentes que buscaban ejemplos de técnicas de ahorro de tiempo estaban recibiendo proyectos con retrasos graves.¿Crees que los ejecutivos que rastrean los horarios de proyectos aprecian obtener la información exacta opuesta a la que pedían? Piense en todos los casos en los que la dirección en una escala es crucial: ahorros de costes vs. sobrecargas, mejoras de rendimiento vs. degradaciones, mejoras de salud vs. disminuciones, y aumentos de riesgo vs. disminuciones.Cuando su modelo trata "mucho más alto que" como intercambiable con "mucho más bajo que", usted ha perdido la capacidad de rastrear el cambio de dirección. Los opuestos específicos del dominio parecen sinónimos Documentación médica No podía creer lo que estaba viendo en las pruebas de atención médica.   Para las personas no médicas, eso es como confundir un corazón de carreras con uno que es peligrosamente lento - condiciones con tratamientos opuestos! "El paciente presenta con taquicardia" versus "El paciente presenta con bradicardia" devolvió una puntuación de similitud de 0,94. "El paciente presenta con taquicardia" versus "El paciente presenta con bradicardia" devolvió una puntuación de similitud de 0,94. Lo descubrí mientras trabajaba en un sistema de correspondencia de síntomas para registros de salud electrónicos.El modelo de embalaje no podía distinguir entre condiciones médicas fundamentalmente diferentes que requieren tratamientos opuestos.Los médicos que buscaban casos similares a un paciente con un corazón de carreras mostraron casos de pacientes con latidos cardíacos peligrosamente lentos.¿Crees que los médicos que toman decisiones sensibles al tiempo aprecian obtener información clínica contradictoria? En el campo de la medicina, estas distinciones pueden tener consecuencias significativas.La taquicardia puede ser tratada con beta-bloqueadores, mientras que la bradicardia puede requerir un pacemaker – dando el tratamiento incorrecto podría ser fatal.Estamos basicamente trabajando con modelos que no pueden distinguir entre condiciones médicas opuestas a pesar de analizar texto donde esta distinción determina el cuidado adecuado. Documentos jurídicos Las pruebas legales fueron igualmente malas.   Deja que se sumerge. Cuando se compara "el demandante lleva la carga de la prueba" con "el demandado lleva la carga de la prueba", el modelo devuelve una asombrosa similitud de 0,97. Cuando se compara "El demandante lleva la carga de la prueba" con "El demandado lleva la carga de la prueba", el modelo devuelve una asombrosa similitud de 0,97. La búsqueda no pudo distinguir entre estándares y responsabilidades legales fundamentalmente diferentes.Los abogados que investigaban los precedentes sobre las cargas de los demandantes mostraron casos que discutieron las cargas de los demandados.¿Crees que los abogados que se preparan para el juicio aprecian que los estándares legales se retroceden exactamente? En contextos legales, quien lleva la carga de la prueba a menudo determina el resultado de un caso.Cuando tu modelo no puede distinguir qué parte tiene qué responsabilidades, has socavado toda la base del razonamiento legal.Basicamente estamos trabajando con modelos que confunden los roles legales a pesar de analizar texto donde estas distinciones definen cómo funciona la justicia. Unidades de medida Tuve que ejecutar esta prueba varias veces porque no podía creer los resultados.  . ¿es esto real? ¡Esa es una diferencia de tiempo de 60x! Imagina esperar a tu cita de "5 minutos" que en realidad toma 5 horas. "El procedimiento toma unos 5 minutos" versus "El procedimiento toma unos 5 horas" obtuvo una sorprendente similitud de 0,97 "El procedimiento toma aproximadamente 5 minutos" versus "El procedimiento toma aproximadamente 5 horas" obtuvo una sorprendente similitud de 0,97 Lo encontré mientras construía el mismo sistema de atención médica. Las incorporaciones no podían distinguir entre procedimientos cortos y largos.Los gerentes de clínicas que trataban de programar procedimientos cortos estaban mostrando operaciones largas que bloquearían sus suites de cirugía durante días enteros.¿Piensas que las instalaciones médicas con restricciones de programación estrictas aprecian que su flujo de trabajo de todo el día está interrumpido? Las unidades de medida cambian fundamentalmente el significado.Cuando tu modelo trata a "5 minutos" y "5 horas" como esencialmente idénticos, has perdido la capacidad de comprender la magnitud. Más problemas de medición "El tumor tiene 2 centímetros de diámetro" y "El tumor tiene 2 centímetros de diámetro" obtuvo una alarmante similitud de 0.98. "El tumor tiene 2 centímetros de diámetro" y "El tumor tiene 2 centímetros de diámetro" obtuvo una alarmante similitud de 0,98. Las incorporaciones no podían distinguir entre mediciones métricas y imperiales.Los oncólogos que investigaban opciones de tratamiento para tumores pequeños estaban mostrando casos de crecimientos mucho más grandes.¿Crees que los especialistas en cáncer aprecian obtener estudios de casos que no son remotamente comparables a sus pacientes? Incluso los límites de velocidad se confunden.Los modelos tratan "Mantener velocidades por debajo de 30 mph" y "Mantener velocidades por debajo de 30 kph" como muy similares - una puntuación de similitud problemática de 0,96. ¡Esa es la diferencia entre 30 y 18,6 millas por hora - suficiente para determinar si un accidente es fatal! La conversión entre unidades no es sólo un ejercicio matemático, sino que cambia fundamentalmente las recomendaciones, los parámetros de seguridad y los resultados.Estamos trabajando básicamente con modelos que piensan que los números sin unidades son suficientes a pesar de analizar el texto donde las unidades cambian completamente el significado. La verdad y los resultados msmarco-distilbert-base-tas-b, all-mpnet-base-v2, y open-ai-text-embedding-3-large, y notará que no hay diferencia significativa entre la salida de estos modelos.                  ***msmarco-distilbert-base-tas-b puntuación de incorporación en diferentes casos de ensayo***   ***msmarco-distilbert-base-tas-b puntuación de incorporación en diferentes casos de ensayo***                   ***All-mpnet-base-v2 puntuación de incorporación en diferentes casos de prueba***   ***All-mpnet-base-v2 puntuación de incorporación en diferentes casos de prueba***                         ***openai-text-embedding-3-large embedding score across different test cases***   ***openai-text-embedding-3-large embedding score en diferentes casos de prueba***  Sólo para repetir.. Mira, las incorporaciones son increíblemente útiles a pesar de estos problemas. No estoy abogando por no usarlas, sino que es crucial abordarlas con precaución.Aquí está mi consejo probado después de docenas de proyectos y innumerables fallos:     Pruebe su modelo en patrones de lenguaje real de los usuarios antes de su implementación. No son referencias académicas, no son casos de ensayo sanitizados – ejemplos reales de cómo se comunican sus usuarios. Hemos construido un kit de herramientas de "test de estrés lingüístico" que simula variaciones comunes como las negaciones, los tipos y las diferencias numéricas. Cada sistema que probamos falla en algunas áreas – la cuestión es si esas áreas son importantes para su aplicación específica. Construye barras de seguridad alrededor de puntos ciegos críticos. Las diferentes aplicaciones tienen diferentes requisitos de no falla. Para el cuidado de la salud, suele ser negativo y de precisión. Para las finanzas, es números y relaciones     Pruebe su modelo en patrones de lenguaje real de los usuarios antes de su implementación. No son referencias académicas, no son casos de pruebas sanitizadas – ejemplos reales de cómo se comunican sus usuarios.Hemos construido un kit de herramientas de "test de estrés lingüístico" que simula variaciones comunes como negaciones, tipografías y diferencias numéricas.Todos los sistemas que probamos fallan en algunas áreas – la pregunta es si esas áreas son importantes para su aplicación específica. Pruebe su modelo en patrones de lenguaje real de los usuarios antes de su implementación.No son referencias académicas, no son casos de pruebas sanitizadas - ejemplos reales de cómo se comunican sus usuarios.Hemos construido un kit de herramientas "test de estrés lingüístico" que simula variaciones comunes como negaciones, tipografías y diferencias numéricas.Cada sistema que probamos falla en algunas áreas - la pregunta es si esas áreas son importantes para su aplicación específica.     Construye guarderías alrededor de puntos ciegos críticos. Diferentes aplicaciones tienen diferentes requisitos que no pueden fallar. Para el cuidado de la salud, generalmente es negación y precisión de la entidad. Para las finanzas, es números y relaciones temporales. Para los legales, es condiciones y obligaciones. Identifica lo que absolutamente no puede ir mal en tu dominio, e implementa salvaguardas especializadas. Construye guarderías alrededor de puntos ciegos críticos. Las diferentes aplicaciones tienen diferentes requisitos que no pueden fallar. Para el cuidado de la salud, suele ser negación y precisión de la entidad. Para las finanzas, son números y relaciones temporales. Para las leyes, son condiciones y obligaciones. Identifica lo que absolutamente no puede ir mal en tu dominio, e implementa salvaguardas especializadas.   Layer diferentes técnicas en lugar de apostar todo en embeddings.Nuestros sistemas más exitosos combinan la recuperación basada en embeddings con la verificación de palabras clave, verificaciones de reglas explícitas y clasificadores especializados para distinciones críticas. Layer diferentes técnicas en lugar de apostar todo en embeddings.Nuestros sistemas más exitosos combinan la recuperación basada en embeddings con la verificación de palabras clave, verificaciones de reglas explícitas y clasificadores especializados para distinciones críticas.» BR     Sé transparente con los usuarios acerca de lo que el sistema puede y no puede hacer de forma fiable.Hemos añadido puntuaciones de confianza que señalan explícitamente cuando un resultado puede implicar negación, comparación numérica u otros puntos débiles potenciales.Los usuarios aprecian la honestidad, y esto crea confianza en el sistema en general. Sé transparente con los usuarios acerca de lo que el sistema puede y no puede hacer de forma fiable.Hemos añadido puntuaciones de confianza que señalan explícitamente cuando un resultado puede implicar negación, comparación numérica u otros puntos débiles potenciales.Los usuarios aprecian la honestidad, y esto crea confianza en el sistema en su conjunto. **He aquí lo más importante que he aprendido:**estos modelos no entienden el lenguaje como lo hacen los humanos – entienden patrones estadísticos.Cuando dejé de esperar la comprensión humana y comenzé a tratarlos como sofisticadas herramientas de ajuste de patrones con puntos ciegos específicos, mis sistemas se hicieron mejores.» BR Los puntos ciegos que he descrito no desaparecen en ningún momento pronto – están cocinados en cómo funcionan estos modelos. pero si sabes que están allí, puedes diseñar alrededor de ellos. : Tengo muchos más casos de este tipo encontrados a través de experimentos, y los cubriré en mi siguiente post. Nota Nota Nota El siguiente artículo de la continuación saldrá pronto. ¡Sé bien!!

This story contains new, firsthand information uncovered by the writer.

Books authored by me

Microsoft BUILD Session

PyCloud: Identifying defaulters using Machine Learning

Panel Discussion on Futuristic Technology and Possibilities

AI DEV DAYS: Integrating AI to Blockchain-Based Applications by Ritesh Modi

Understanding & Optimizing Dockerfiles by Ritesh Modi at Bangalore Container Conference 2017

Read My Stories

Este audio es producido en el idioma original de la historia!

Hallucinaciones por diseño (Parte 2): Las carencias silenciosas de las incorporaciones y por qué tu IA se está equivocando

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Crecimiento de las criptomonedas: creación de perfiles de usuarios eficaces

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Crecimiento de las criptomonedas: creación de perfiles de usuarios eficaces

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps