Comprender la detección de anomalías y cómo puede beneficiar a su empresa

La detección de anomalías puede ayudarlo a identificar las próximas tendencias antes que sus competidores. Puede marcar transacciones fraudulentas al monitorear el tráfico de la tienda en línea y detectar violencia en lugares públicos, lo que le brinda a su equipo de seguridad la oportunidad de interferir antes de que las personas resulten heridas.

¿Interesado? Existen empresas dedicadas a la detección de anomalías que pueden ayudarlo a crear e integrar software personalizado diseñado para detectar desviaciones de comportamiento en su sector de operaciones.

Entonces, ¿qué es la detección de anomalías? ¿Como funciona? ¿Y cómo puedes incorporarlo a los procesos y flujos de trabajo de tu empresa?

Descripción general del contenido

• ¿Qué es la detección de anomalías?

• ¿Cómo funciona la detección de anomalías?

• Casos de uso clave de detección de anomalías

• Introducción a la detección de anomalías

• Cómo puede ayudar ITRex con la detección de anomalías

  
  

¿Qué es la detección de anomalías?

La detección de anomalías es un tipo de minería de datos que analiza los datos de una empresa para detectar puntos de datos que se desvían de la referencia establecida (p. ej., el comportamiento estándar del conjunto de datos). Estos valores atípicos generalmente indican incidentes, como fallas técnicas en el equipo, cambios en las preferencias del cliente y otros tipos de anomalías, lo que permite a las empresas actuar antes de que se produzca el daño.

¿Qué es una anomalía?

Una anomalía es un punto de datos inconsistente que se desvía de un patrón familiar. Aunque no siempre representa una preocupación importante, vale la pena investigar para evitar posibles escaladas. Por ejemplo, un aumento en las ventas de productos puede ser el resultado de una campaña de marketing exitosa o puede indicar un cambio en las tendencias y el comportamiento de los clientes, al que las empresas tendrán que adaptarse.

Las anomalías de los datos comerciales se dividen en tres categorías de valores atípicos:

• Un valor atípico global es un punto de datos que se encuentra anormalmente lejos del resto de los datos. Supongamos que recibe $7,000 en su cuenta bancaria cada mes. Si de repente recibe una transferencia de $ 50,000, eso sería un valor atípico global.

  
  

• Un valor atípico contextual se desvía del resto de los datos dentro del mismo contexto. Por ejemplo, si vive en un país donde normalmente nieva en invierno y el clima es cálido en verano, entonces las fuertes nevadas en invierno son normales. Pero experimentar una nevada durante el verano sería un caso atípico contextual.

  
  

• Un valor atípico colectivo es cuando un subconjunto de puntos de datos se desvía del conjunto de datos completo. Por ejemplo, si observa caídas inusuales en las ventas de varios productos aparentemente no relacionados, pero luego se da cuenta de que esto está relacionado de alguna manera, entonces sus observaciones se combinan en un valor atípico colectivo.

¿Por qué necesitamos inteligencia artificial en la detección de anomalías?

La mayoría de las empresas manejan grandes volúmenes de datos estructurados y no estructurados, y estos últimos comprenden hasta el 90 % de la información generada dentro de los muros de una empresa. Es imposible procesar toda esta información manualmente y generar información significativa, especialmente si hablamos de datos no estructurados, que se componen de imágenes, transacciones, texto de forma libre, etc.

La investigación muestra que las técnicas de aprendizaje automático son la mejor opción para procesar grandes conjuntos de datos no estructurados. Este campo tiene una gran cantidad de algoritmos, y puede seleccionar el que más le convenga. También puede combinar varias técnicas de ML para obtener resultados óptimos.

¿Cómo funciona la detección de anomalías?

Hay tres tipos principales de técnicas de detección de anomalías basadas en IA y aprendizaje automático.

• Detección supervisada de anomalías . Aquí, los modelos ML se entrenan y prueban con un conjunto de datos completamente etiquetado que contiene un comportamiento normal y anómalo. El enfoque funciona bien al detectar desviaciones que formaban parte de un conjunto de datos de entrenamiento, pero la tecnología tropieza cuando se enfrenta a una nueva anomalía que no ha visto en el entrenamiento. Las técnicas supervisadas requieren esfuerzo manual y experiencia en el dominio, ya que alguien necesita etiquetar los datos.

  
  

• Detección de anomalías sin supervisión . Este método no necesita etiquetado de datos manual. Los modelos asumen que solo un pequeño porcentaje de puntos de datos que difieren significativamente del resto de los datos constituyen anomalías. Las técnicas no supervisadas aún pueden sobresalir en la identificación de nuevas anomalías que no presenciaron durante el entrenamiento porque detectan valores atípicos en función de sus características en lugar de lo que aprendieron durante el entrenamiento. Sin embargo, estos algoritmos son bastante complejos y su arquitectura es una caja negra, lo que significa que los usuarios no recibirán una explicación de cómo la herramienta tomó sus decisiones.

  
  

• Detección de anomalías semisupervisada . Estas técnicas implican datos tanto etiquetados como no etiquetados, lo que reduce los gastos de anotación manual. Además, un modelo de detección de anomalías semisupervisado aún puede aprender después de la implementación y detectar anomalías que no ha visto en el entrenamiento. Y al igual que con las técnicas no supervisadas, estos modelos también pueden funcionar con datos no estructurados.

Métodos de detección de anomalías basados en IA

La detección de anomalías se basa en la inteligencia artificial y sus subtipos, incluido el aprendizaje automático. Aquí hay cinco técnicas de ML que se implementan con frecuencia en este contexto.

Codificadores automáticos

Los codificadores automáticos son redes neuronales artificiales no supervisadas que comprimen datos y luego los reconstruyen para parecerse lo más posible a la forma original. Estos algoritmos pueden ignorar eficazmente el ruido y reconstruir texto, imágenes y otros tipos de datos. Un autoencoder tiene dos partes:

• Codificador, que comprime los datos de entrada

• Decodificador, que descomprime los datos en proximidad a su forma original

  
  

  

Cuando utilice un codificador automático, preste atención al tamaño del código, ya que determinará la tasa de compresión. Otro parámetro importante es el número de capas. Con menos capas, el algoritmo será más rápido, pero podría funcionar en menos funciones.

redes bayesianas

Esta técnica es un tipo de modelo probabilístico basado en gráficos que calcula la probabilidad en función de la inferencia bayesiana. Los nodos en un gráfico corresponden a variables aleatorias, mientras que los bordes representan dependencias condicionales que permiten que el modelo haga inferencias.

Las redes bayesianas se utilizan en diagnósticos, modelos causales, razonamiento y más. En la detección de anomalías, este método es particularmente útil para detectar desviaciones sutiles que son difíciles de detectar con otras técnicas. Este método también puede tolerar la falta de datos durante el entrenamiento y aún tendrá un rendimiento sólido si se entrena en conjuntos de datos pequeños.

Modelos basados en la densidad

Esta es una técnica de agrupación en clústeres de ML no supervisada que detecta patrones basándose únicamente en la ubicación espacial y las distancias entre vecinos. Compara el valor de densidad de un punto de datos con la densidad de sus puntos de datos vecinos. Un valor atípico (una anomalía) tendrá un valor de densidad más bajo que otras poblaciones de datos.

Máquina de vectores de soporte (SVM)

Este es un algoritmo ML supervisado que se usa comúnmente para la clasificación. Sin embargo, las extensiones SVM también pueden funcionar en un entorno no supervisado. Esta técnica utiliza hiperplanos para dividir puntos de datos en clases.

Aunque SVM normalmente funciona con dos o más clases, en la detección de anomalías puede analizar problemas de una sola clase. Aprende "la norma" para esta clase y determina si un punto de datos puede pertenecer a esta clase o si es un valor atípico.

Modelos de mezcla gaussiana (GMM)

GMM es una técnica de agrupamiento probabilístico. Esta técnica clasifica los datos en diferentes grupos en función de la distribución de probabilidad. Asume que los puntos de datos pertenecen a una combinación de distribuciones gaussianas con parámetros desconocidos, y detecta anomalías detectando datos en regiones de baja densidad.

Casos de uso clave de detección de anomalías

Ahora que sabe cómo funciona la detección de anomalías detrás de escena y las técnicas de IA en las que se basa, es hora de estudiar algunos ejemplos de detección de anomalías en diferentes industrias.

Detección de anomalías en sanidad

La detección de anomalías puede beneficiar al sector médico al ayudar a los médicos a identificar cualquier problema con la salud del paciente, detectar escaladas en pacientes hospitalizados y notificar al personal médico antes de que sea demasiado tarde, y ayudar en el diagnóstico y la selección del tratamiento. Todo ello reduce el trabajo manual y la carga cognitiva que experimentan los médicos.

Sin embargo, la detección de anomalías tiene sus desafíos únicos en el cuidado de la salud.

Un problema es que puede ser difícil establecer la línea de base (es decir, el comportamiento normal) cuando se trata de diferentes diagramas médicos. Por ejemplo, un electroencefalograma de una persona sana varía según las características individuales. Los investigadores identificaron variaciones considerables en los niños , y existen diferencias en los adultos según el grupo de edad y el género.

Otro aspecto es que los modelos de ML deben ser muy precisos, ya que de su desempeño dependerá la vida de las personas.

Los algoritmos de detección de anomalías médicas pueden analizar la siguiente información:

• Signos vitales y otros parámetros medidos por dispositivos IoT médicos
• Imágenes médicas, como radiografías y tomografías computarizadas, que pueden mostrar signos de tumores benignos y malignos, infecciones y otras afecciones médicas.
• Reclamaciones de seguros de salud, ayudando a identificar y bloquear cualquier actividad fraudulenta. Esto podría cambiar las reglas del juego en el seguro médico, ya que actualmente hasta el 10 % de los gastos anuales de Medicare y Medicaid se destinan a reclamaciones fraudulentas.

Un ejemplo de detección de anomalías proviene de un equipo de investigación en Sudáfrica. Combinaron con éxito técnicas de autocodificador y de aumento de gradiente extremo para monitorear las variables fisiológicas de los pacientes con COVID-19 y detectar cualquier anomalía que pudiera indicar una degradación de la salud.

Otro equipo se concentró no solo en detectar anomalías, sino también en explicar por qué la herramienta las marcó como tales . Entonces, primero, utilizaron técnicas de detección de anomalías para detectar desviaciones y luego implementaron algoritmos de minería de aspectos para delinear un conjunto de características en las que un determinado punto de datos se considera un valor atípico.

Detección de anomalías en entretenimiento

Los entornos deportivos y de entretenimiento dependen de un extenso monitoreo de seguridad basado en video con cientos de cámaras. Por lo tanto, no sería posible que los equipos de seguridad detectaran y reaccionaran a tiempo ante accidentes si las imágenes se revisaran manualmente. Gracias al aprendizaje automático, los algoritmos pueden analizar la transmisión de videos de cada cámara en la instalación y detectar violaciones de seguridad.

A medida que los modelos de ML continúan aprendiendo en el trabajo, podrían detectar amenazas y violaciones que sus operadores humanos no podrían haber notado. Estos algoritmos pueden detectar vandalismo, disturbios entre los espectadores, humo, objetos sospechosos y más, y alertar al personal de seguridad para que tenga tiempo de actuar y evitar responsabilidades y daños a la reputación.

Uno de esos proyectos sale directamente de nuestra cartera. Una empresa de entretenimiento con sede en EE. UU. con salas de juego ubicadas en todo el país recurrió a ITRex para crear una solución de detección de anomalías impulsada por ML que se integraría en su sistema de videovigilancia basado en la nube. Esta aplicación detectaría cualquier comportamiento peligroso y violento, como romper máquinas tragamonedas. También agilizaría el proceso administrativo al detectar elementos olvidados y máquinas que no funcionan.

Nuestro equipo creó un modelo de aprendizaje automático personalizado con un codificador automático variacional. Agregamos un conjunto de datos de capacitación de 150 videos que muestran violencia física y daños a la propiedad y procesamos previamente estos videos con el marco OpenCV. Luego, confiamos en la biblioteca de torchvision para normalizar y aumentar los datos y la usamos para entrenar el algoritmo ML.

La solución resultante se basó en la validación cruzada para detectar anomalías. Por ejemplo, podría identificar las máquinas tragamonedas que funcionan mal "leyendo" el mensaje de error en la pantalla y validándolo con las plantillas de pantalla disponibles. La solución final se integró a la perfección en el sistema de seguridad basado en la nube del cliente, monitoreó las máquinas tragamonedas las 24 horas del día, los 7 días de la semana y notificó al personal de seguridad cada vez que detectó una anomalía.

Detección de anomalías en la fabricación

A medida que los procesos de fabricación se automatizan cada vez más, la maquinaria se vuelve más compleja y las instalaciones se hacen más grandes. En consecuencia, los enfoques de monitoreo tradicionales ya no son suficientes.

Las técnicas de detección de anomalías pueden representar diferentes desviaciones de la norma en sus instalaciones y notificarle antes de que se intensifiquen e incluso aprender a distinguir entre problemas menores y preocupaciones apremiantes.

Hay numerosos beneficios de detección de anomalías para la fabricación. Estas herramientas pueden detectar los siguientes problemas:

• Mal funcionamiento del equipo . En colaboración con los sensores de fabricación de Internet de las cosas (IoT), los algoritmos de IA pueden monitorear varios parámetros del dispositivo, como vibración, temperatura, etc., y detectar cualquier desviación de la norma. Dichos cambios pueden indicar que el equipo está sobrecargado, pero también pueden significar el comienzo de una avería. El algoritmo marcará el equipo para una inspección adicional. Esto también se llama mantenimiento predictivo.

  
  

• Subutilización de equipos . Las soluciones de detección de anomalías basadas en ML pueden ver qué dispositivos permanecen inactivos durante un período prolongado e instan al operador a equilibrar la distribución de la carga.

  
  

• Riesgos de seguridad . Al monitorear las transmisiones de las cámaras de seguridad, el software de detección de anomalías puede detectar a los empleados que no cumplen con los protocolos de seguridad de la fábrica, poniendo en peligro su propio bienestar. Si sus empleados usan dispositivos portátiles para monitorear la seguridad, el aprendizaje automático puede analizar los datos de los sensores para detectar a los trabajadores exhaustos y enfermos y alentarlos a tomar un descanso o cerrar sesión ese día.

  
  

• Cuestiones de infraestructura . Los algoritmos de ML pueden detectar fugas de agua o gas y cualquier otro daño de infraestructura y notificar al administrador del sitio correspondiente.

Un ejemplo de una solución de detección de anomalías en la fabricación proviene de Hemlock Semiconductor, un productor de polisilicio hiperpuro con sede en EE. UU. La empresa implementó la detección de anomalías para obtener visibilidad de sus procesos y registrar cualquier desviación de los patrones de producción óptimos. La empresa reportó un ahorro de alrededor de $300,000 por mes en el consumo de recursos.

Detección de anomalías en retail

La detección de anomalías puede ayudar a los minoristas a identificar patrones de comportamiento inusuales y utilizar estos conocimientos para mejorar las operaciones y proteger sus negocios y clientes. Los algoritmos de IA pueden captar las demandas cambiantes de los clientes y alertar a los minoristas para que dejen de adquirir productos que no se venderán mientras reabastecen los artículos que están en demanda. Además, las anomalías pueden representar oportunidades comerciales en etapas tempranas, lo que permite a los minoristas capitalizarlas antes que la competencia. En el caso del comercio electrónico, los propietarios de sitios web pueden implementar modelos de detección de anomalías para monitorear el tráfico y detectar comportamientos inusuales que podrían indicar una actividad fraudulenta.

Además, los minoristas pueden utilizar técnicas de detección de anomalías para proteger sus instalaciones. En ITRex, llevamos a cabo una serie de pruebas de concepto para crear una solución que pueda detectar expresiones de violencia, como peleas, en videos transmitidos por cámaras de seguridad ubicadas en centros comerciales y otros lugares públicos. La solución se basa en el método de detección de anomalías de redes neuronales convolucionales 3D, que se entrenó en un extenso conjunto de datos de lucha. Se sabe que este tipo de algoritmo ML funciona bien en tareas de detección de acciones. Si está interesado en una solución de este tipo, podemos mostrarle la demostración completa para empezar. Luego, nuestro equipo afinará el algoritmo y ajustará su configuración para que coincida con las especificaciones de su ubicación y negocio, y lo integraremos perfectamente en su sistema de seguridad existente.

Introducción a la detección de anomalías

Como puede ver, entrenar modelos de IA personalizados para la detección puntual de anomalías puede ser un desafío técnico. Es por eso que nuestro equipo preparó una guía de cinco pasos para las empresas que buscan la nueva tecnología. Desplácese hacia abajo para obtener algunos consejos de expertos y considere descargar nuestra guía empresarial sobre inteligencia artificial si es nuevo en IA o busca más información sobre aplicaciones de IA y costos de proyectos.

Paso 1: Determine cómo abordará la detección de anomalías

Aquí hay dos opciones. Está buscando anomalías específicas en sus datos o quiere marcar todo lo que se desvía del comportamiento estándar. Lo que elija aquí afectará sus datos de entrenamiento y restringirá la selección de técnicas de IA.

Si desea capturar todos los eventos que se desvían de la línea de base, entrenará el modelo en un gran conjunto de datos que represente el comportamiento normal. Por ejemplo, si está trabajando en la conducción y la seguridad vial, su conjunto de datos estará compuesto por videos que muestren una conducción segura.

Suponga que desea detectar anomalías específicas, por ejemplo, accidentes automovilísticos, pero no infracciones menores, como pasarse un semáforo en rojo. En este caso, su conjunto de datos de entrenamiento incluirá videos o imágenes de accidentes automovilísticos.

Paso 2: agregar y preprocesar el conjunto de datos de entrenamiento

El resultado del paso anterior lo ayudará a decidir qué tipo de datos necesita.

Recopile los datos de las fuentes internas de su empresa o utilice conjuntos de datos disponibles públicamente. Luego, limpie estos datos para eliminar duplicados y cualquier entrada incorrecta o desequilibrada. Cuando se limpia el conjunto de datos, puede usar el escalado, la normalización y otras técnicas de transformación de datos para que el conjunto sea adecuado para los algoritmos de IA. Divide tu conjunto de datos en tres partes:

• Datos de entrenamiento para enseñar los modelos
• Datos de validación para evaluar el rendimiento del modelo durante el entrenamiento
• Prueba de datos para puntuar el rendimiento después de completar el proceso de formación

Para obtener más información, consulte nuestra guía detallada sobre cómo preparar datos para el aprendizaje automático .

Paso 3: elija su técnica de detección de anomalías

Este paso solo es relevante si desea crear una solución personalizada. Usted o su proveedor de tecnología seleccionarán la técnica de inteligencia artificial más adecuada para abordar el problema comercial. Hay tres factores clave a considerar aquí:

• La tarea en cuestión (consulte el paso 1 anterior). Si desea detectar anomalías definidas específicamente, el codificador automático variacional (VAE) es una excelente opción.

  
  

• Los requisitos técnicos . Esto podría incluir los niveles de precisión y detalle que pretende lograr. Por ejemplo, si desea entrenar un modelo ML que detecte anomalías en los videos, es clave decidir cuál es la velocidad de fotogramas óptima, ya que diferentes algoritmos analizan los fotogramas a diferentes velocidades. Siempre que la anomalía que desea detectar pueda ocurrir en un segundo, se recomienda que estudie cada fotograma de un videoclip, ya que el uso de algoritmos más lentos, como VAE, se vuelve poco práctico. La descomposición de valores singulares (SVD), por otro lado, puede hacer el trabajo considerablemente más rápido.

  
  

• El tamaño de su conjunto de datos de entrenamiento . Algunos modelos, como los codificadores automáticos, no se pueden entrenar correctamente en conjuntos de datos pequeños.

Paso 4: construir/comprar y entrenar el modelo

Puede comprar un software de detección de anomalías listo para usar o implementar un sistema personalizado que se corresponda con sus necesidades únicas y se adapte al tipo de anomalías que le interesan.

Puede optar por un sistema de detección de anomalías listo para usar cuando tiene recursos financieros limitados, no tiene un conjunto de datos de capacitación personalizado o no tiene tiempo para la capacitación de modelos, y puede encontrar un proveedor que ya ofrezca una solución que pueda detectar el tipo de anomalías. te preocupas Pero tenga en cuenta que estas soluciones tienen suposiciones integradas con respecto a las características de los datos y funcionarán bien siempre que se mantengan estas suposiciones. Sin embargo, si los datos de su empresa se desvían de esa línea de base, es posible que el algoritmo no detecte anomalías con la misma precisión.

Si tiene datos suficientes para entrenar algoritmos de IA, puede contratar a una empresa de desarrollo de aprendizaje automático para crear y entrenar una solución de detección de anomalías personalizada. Esta opción estará diseñada para satisfacer las necesidades de su negocio y encajar en sus procesos. Otro gran beneficio es que aún puede optimizar esta solución incluso después de la implementación. Puede modificar su configuración para que funcione más rápido o centrarse en diferentes parámetros, según los requisitos cambiantes de su negocio.

Paso 5: implementar y monitorear la solución

Implementará la solución de detección de anomalías localmente o en la nube. Si trabajas con ITRex, tendremos dos opciones para que elijas:

• Detección de anomalías basada en la nube , donde agregamos datos de sus sistemas de software, dispositivos y servicios de terceros y los transmitimos a la nube para su almacenamiento y procesamiento para aliviar la carga de sus recursos locales.

  
  

• Detección de anomalías perimetrales , donde los algoritmos de ML analizan sus datos localmente y solo suben una parte de los datos a la nube. Este enfoque es más adecuado para sistemas de misión crítica que no toleran retrasos, como vehículos autónomos y soluciones médicas de IoT.

Los algoritmos de ML continúan aprendiendo en el trabajo, lo que les permite adaptarse a nuevos tipos de datos. Pero esto también significa que pueden adquirir sesgos y otras tendencias indeseables. Para evitar este escenario, puede programar una auditoría para volver a evaluar el rendimiento de los algoritmos e implementar los ajustes necesarios.

Cómo puede ayudar ITRex con la detección de anomalías

En ITRex Group, tenemos una vasta experiencia con modelos de aprendizaje automático, como codificadores automáticos beta-variacionales (Beta-VAE) y modelos de mezcla gaussiana (GMM), IoT, análisis de datos y visualización de datos. Hemos implementado estas tecnologías en diferentes industrias, por lo que somos conscientes de las especificaciones que aportan los sectores fuertemente regulados, como el cuidado de la salud. Utilizamos una combinación de tecnología patentada y de código abierto, como herramientas de minería de datos y marcos de ML, para desarrollar soluciones personalizadas e integrarlas en sus procesos comerciales.

Nuestras soluciones personalizadas basadas en IA para la detección de anomalías pueden funcionar con ambas tareas: detectar anomalías predefinidas y detectar cualquier desviación del comportamiento estándar establecido. Puede optar por la nube para ahorrar en infraestructura, o podemos hacer que el sistema se ejecute localmente para admitir aplicaciones críticas que no toleran la latencia.

¿Interesado en implementar un sistema de detección de anomalías? ¡Déjanos una línea ! Podemos ayudarlo a crear y entrenar un modelo de aprendizaje automático personalizado. Incluso si opta por una solución lista para usar, si es de código abierto y tiene una API, ¡podemos volver a entrenarla con sus propios datos para que se ajuste mejor a su sistema!