En esta publicación de blog, cubriremos cómo puede combinar y aprovechar la solución de transmisión de código abierto,   , con   , para mejorar la calidad de sus flujos de transmisión. ¡Cinturón de seguridad! bytewax ydata-profiling  El procesamiento de flujo permite el análisis en tiempo real de los datos en curso y antes del almacenamiento y puede ser   o   . con sin estado    se utiliza para recomendaciones   , detección de patrones o procesamiento de eventos complejos, donde se requiere el historial de lo que sucedió para el procesamiento (ventanas, unión por clave, etc.). El procesamiento de flujo con estado en tiempo real    se usa para la transformación   que no requiere el conocimiento de otros puntos de datos en el flujo, como enmascarar un correo electrónico o convertir un tipo.  El procesamiento de flujo sin estado en línea  En general, los flujos de datos se usan ampliamente en la industria y se pueden encontrar aplicados a casos de uso como   ,   o   . la detección de fraudes el monitoreo de pacientes el mantenimiento predictivo de eventos  Un aspecto crucial que todos los flujos de datos deben tener en cuenta es la calidad de los datos  A diferencia de los modelos tradicionales en los que la calidad de los datos suele evaluarse durante la creación del almacén de datos o la solución del tablero,   . la transmisión de datos requiere una supervisión continua  Es esencial mantener la calidad de los datos durante todo el proceso, desde la recopilación hasta la alimentación de las aplicaciones posteriores. Después de todo, el costo de la mala calidad de los datos puede ser alto para las organizaciones:   “El costo de los datos erróneos es un asombroso 15% a 25% de los ingresos para la mayoría de las empresas. (…) Dos tercios de estos costos pueden eliminarse al adelantarse a la calidad de los datos”.   — Thomas C. Redman, autor de “Poner al frente la calidad de los datos”  A lo largo de este artículo, le mostraremos cómo puede combinar   con   para perfilar y mejorar la calidad de sus flujos de transmisión. bytewa ydata-profiling  Procesamiento de transmisiones para profesionales de datos con Bytewax  es un marco de procesamiento de flujo OSS diseñado específicamente para desarrolladores de Python.   cera de bytes  Permite a los usuarios   con capacidades similares a Flink, Spark y Kafka Streams, a la vez que proporciona una interfaz amigable y familiar y  crear canalizaciones de transmisión de datos y aplicaciones en tiempo real 100 % de compatibilidad con el ecosistema de Python.  Usando incorporado  o bibliotecas de Python existentes,   (Kafka, RedPanda, WebSocket, etc.) y   en varios sistemas posteriores (Kafka, archivos de parquet, lagos de datos, etc.).   conectores puede conectarse a fuentes de datos de transmisión y en tiempo real escribir datos transformados  Para las transformaciones, Bytewax   con   ,   y métodos   y viene con características familiares como recuperación y escalabilidad. facilita las transformaciones con estado y sin estado mapas ventanas de agregación  cera de bytes  y está   .   facilita una experiencia centrada en los datos y basada en Python primero para los flujos de datos diseñado específicamente para ingenieros de datos y científicos de datos  Permite a los usuarios   y crear las personalizaciones necesarias para satisfacer sus necesidades sin tener que aprender y mantener plataformas de transmisión basadas en JVM como Spark o Flink. crear canalizaciones de transmisión de datos y aplicaciones en tiempo real  Bytewax es adecuado para muchos casos de uso, a saber,  ,  ,  , y más.   Incrustación de canalizaciones para IA generativa   Manejo de valores faltantes en flujos de datos   Uso de modelos de lenguaje en un contexto de transmisión para comprender los mercados financieros  Para inspiración de casos de uso y más información como documentación, tutoriales y guías, no dude en consultar  .   el sitio web bytewax  ¿Por qué perfilar datos para flujos de datos?    y se refiere al paso de  : su estructura, comportamiento y calidad. La creación de perfiles de datos es clave para un inicio exitoso de cualquier tarea de aprendizaje automático   entender a fondo nuestros datos  En una palabra,  implica analizar aspectos relacionados con el formato de los datos y los descriptores básicos (p. ej., número de muestras, número/tipos de características, valores duplicados), su  (como la presencia de datos faltantes o características desequilibradas) y otros factores complicados que pueden surgir durante la recopilación o el procesamiento de datos (p. ej., valores erróneos o características inconsistentes).   perfilado de datos   características intrínsecas    , donde las circunstancias pueden cambiar rápidamente y pueden requerir una acción inmediata (por ejemplo, monitoreo de atención médica, valores de existencias, políticas de calidad del aire). Garantizar altos estándares de calidad de datos es crucial para todos los dominios y organizaciones, pero es especialmente relevante para los dominios que operan con dominios que generan datos continuos  Para muchos dominios, la creación de perfiles de datos se utiliza desde una perspectiva de análisis de datos exploratorios, teniendo en cuenta los datos históricos almacenados en las bases de datos. Por el contrario, para los flujos de datos,   , donde los datos deben verificarse en diferentes períodos o etapas del proceso. la creación de perfiles de datos se vuelve esencial para la validación y el control de calidad continuos a lo largo del flujo  Al incorporar un   , podemos   sobre el estado actual de nuestros datos y recibir alertas sobre cualquier problema potencialmente crítico, ya sea que esté relacionado con   (p. ej., valores corruptos o cambios de formato), o con   (p. ej., desvíos de datos, desviación de las reglas comerciales y los resultados). perfilado automatizado en nuestros flujos de datos obtener comentarios de inmediato la consistencia e integridad de los datos eventos que ocurren en períodos cortos de tiempo  En los dominios del mundo real,   la creación de perfiles automatizados podría salvarnos de múltiples acertijos cerebrales y sistemas que necesitan ser sacados de producción! donde simplemente sabe que la ley de Murphy está destinada a golpear y "definitivamente todo puede salir mal", ¡  En lo que respecta a la creación de perfiles de datos,   ha sido consistentemente una  , ya sea para  o  datos. Y no es de extrañar por qué:  ydata-profiling   favorito de la multitud   tabular   series de tiempo es una línea de código para un amplio conjunto de análisis e información.  Las operaciones complejas y que consumen mucho tiempo se realizan bajo el capó: ydata-profiling   según los tipos de características (numéricos o categóricos),   que se muestran en el informe de creación de perfiles. detecta automáticamente los tipos de características incluidos en los datos y, ajusta las estadísticas de resumen y las visualizaciones  Al fomentar un   , el paquete también   , centrándose en sus   y   por pares, y proporciona una   , desde valores   o   hasta características   y   . análisis centrado en los datos destaca las relaciones existentes entre las características interacciones correlaciones evaluación exhaustiva de las alertas de calidad de los datos duplicados constantes sesgadas desequilibradas  Es realmente una   , con un esfuerzo mínimo.  vista de 360º de la calidad de nuestros datos  Poniendo todo junto: bytewax y ydata-profiling  Antes de comenzar el proyecto, primero debemos establecer nuestras dependencias de Python y configurar nuestra fuente de datos.  Primero, instalemos los paquetes   y   (    bytewax ydata-profiling es posible que desee utilizar un entorno virtual para esto:   revisa estas instrucciones si necesita alguna orientación adicional!)   pip install bytewax==0.16.2 ydata-profiling==4.3.1  Luego, subiremos el  (Licencia — CC0: dominio público), que contiene varias mediciones de   de diferentes dispositivos IoT:   Conjunto de datos de telemetría de sensores ambientales temperatura, humedad, monóxido de carbono, gas de petróleo líquido, humo, luz y movimiento   wget https://raw.githubusercontent.com/bytewax/air-quality-sensor/main/data/iot_telemetry_data_1000    y la entrada se vería como lo que esperamos en una plataforma de transmisión.  . En este artículo,   y crearemos un flujo de datos usando bytewax. En un entorno de producción, cada dispositivo generaría continuamente estas mediciones   como kafka para simular el contexto que encontraríamos con la transmisión de datos, leeremos los datos del archivo CSV una línea a la vez   (Como nota al margen rápida, un flujo de datos es esencialmente una canalización de datos que se puede describir como un gráfico acíclico dirigido: DAG)  Primero, hagamos algunas   : importaciones necesarias   from datetime import datetime, timedelta, timezone from bytewax.dataflow import Dataflow from bytewax.connectors.stdio import StdOutput from bytewax.connectors.files import CSVInput from bytewax.testing import run_main  Luego, definimos nuestro objeto de flujo de datos. Luego, usaremos un método de mapa sin estado donde pasamos una función para convertir la cadena en un objeto DateTime y reestructurar los datos al formato (device_id, data).  El método del mapa hará el cambio a cada punto de datos sin estado. La razón por la que hemos modificado la forma de nuestros datos es que podemos agruparlos fácilmente en los siguientes pasos para perfilar los datos de cada dispositivo por separado en lugar de todos los dispositivos simultáneamente.   flow = Dataflow() flow.input("simulated_stream", CSVInput("/content/iot_telemetry_data_1000")) # parse timestamp def parse_time(reading_data): reading_data["ts"] = datetime.fromtimestamp(float(reading_data["ts"]), timezone.utc) return reading_data flow.map(parse_time) # remap format to tuple (device_id, reading_data) flow.map(lambda reading_data: (reading_data['device'], reading_data))  Ahora, aprovecharemos las capacidades de estado de   para recopilar datos para cada dispositivo durante el tiempo que hemos definido.   espera una instantánea de los datos a lo largo del tiempo, lo que hace que el operador de ventana sea el método perfecto para hacerlo. bytewax ydata-profiling  En   , podemos producir estadísticas de resumen para un marco de datos que se especifica para un contexto particular. Por ejemplo, en nuestro ejemplo, podemos producir instantáneas de datos que se refieren a cada dispositivo IoT o a marcos de tiempo particulares: ydata-profiling   from bytewax.window import EventClockConfig, TumblingWindow # This is the accumulator function, and outputs a list of readings def acc_values(acc, reading): acc.append(reading) return acc # This function instructs the event clock on how to retrieve the # event's datetime from the input. def get_time(reading): return reading["ts"] # Configure the `fold_window` operator to use the event time. cc = EventClockConfig(get_time, wait_for_system_duration=timedelta(seconds=30)) # And a tumbling window align_to = datetime(2020, 1, 1, tzinfo=timezone.utc) wc = TumblingWindow(align_to=align_to, length=timedelta(hours=1)) flow.fold_window("running_average", cc, wc, list, acc_values) flow.inspect(print)  Después de definir las instantáneas, aprovechar   es tan simple como llamar a   para cada uno de los marcos de datos que nos gustaría analizar: ydata-profiling ProfileReport   import pandas as pd from ydata_profiling import ProfileReport def profile(device_id__readings): print(device_id__readings) device_id, readings = device_id__readings start_time = readings[0]['ts'].replace(minute=0, second=0, microsecond=0).strftime('%Y-%m-%d %H:%M:%S') df = pd.DataFrame(readings) profile = ProfileReport( df, tsmode=True, sortby="ts", title=f"Sensor Readings - device: {device_id}" ) profile.to_file(f"Ts_Profile_{device_id}-{start_time}.html") return f"device {device_id} profiled at hour {start_time}" flow.map(profile)  En este ejemplo, estamos escribiendo las imágenes en archivos locales como parte de una función en un método de mapa. Estos podrían informarse a través de una herramienta de mensajería o podríamos guardarlos en algún almacenamiento remoto en el futuro.  Una vez que se completa el perfil, el flujo de datos espera algún resultado, por lo que podemos usar el   integrado para imprimir el dispositivo que se perfiló y la hora en que se perfiló se eliminó de la función de perfil en el paso del mapa: StdOutput   flow.output("out", StdOutput())  Hay varias formas de ejecutar flujos de datos de Bytewax. En este ejemplo, usamos la misma máquina local, pero Bytewax también puede ejecutarse en múltiples procesos de Python, en múltiples hosts, en un  , usando un  , y  .   Contenedor Docker   Clúster de Kubernetes   más  En este artículo, continuaremos con una configuración local, pero le recomendamos que consulte nuestra herramienta de ayuda  que administra las implementaciones de flujo de datos de Kubernetes una vez que su canalización está lista para la transición a producción.   encerado  Suponiendo que estamos en el mismo directorio que el archivo con la definición del flujo de datos, podemos ejecutarlo usando:   python -m bytewax.run ydata-profiling-streaming:flow  Luego, podemos usar los informes de creación de perfiles para validar la calidad de los datos, verificar cambios en los esquemas o formatos de datos y   . comparar las características de los datos entre diferentes dispositivos o ventanas de tiempo  De hecho, podemos aprovechar la  que destaca las diferencias entre dos perfiles de datos de una manera sencilla, lo que nos facilita la detección de patrones importantes que deben investigarse o problemas que deben abordarse:   funcionalidad de informe de comparación   snapshot_a_report = ProfileReport(df_a, title="Snapshot A") snapshot_b_report = ProfileReport(df_b, title="Snapshot B") comparison_report =snapshot_a_report(snapshot_b_report) comparison_report.to_file("comparison_report.html")  ¿Listo para explorar sus propios flujos de datos?   La validación de flujos de datos es crucial para identificar problemas en la calidad de los datos de manera continua y comparar el estado de los datos en distintos períodos de tiempo.  Para las organizaciones de   ,   ,   y   , que trabajan con flujos continuos de datos, la   , desde la evaluación de la calidad hasta la privacidad de los datos. atención médica energía fabricación entretenimiento creación de perfiles automatizada es clave para establecer las mejores prácticas de gobierno de datos  Esto requiere el análisis de instantáneas de datos que, como se muestra en este artículo, se pueden lograr de manera transparente al combinar   y   . bytewax ydata-profiling    se encarga de todos los procesos necesarios para manejar y estructurar los flujos de datos en instantáneas, que luego se pueden resumir y comparar con   a través de un informe completo de las características de los datos. Bytewax el perfilado de datos  Ser capaz de procesar y perfilar adecuadamente los datos entrantes abre una gran cantidad de casos de uso en diferentes dominios, desde la   hasta el resaltado y la mitigación de problemas adicionales que se derivan de actividades del mundo real, como   (por ejemplo, detección de fraude o intrusión/amenazas),   y otros eventos que se desvían de las expectativas (por ejemplo, desviaciones de datos o desalineación con las reglas comerciales). corrección de errores en esquemas y formatos de datos detección de anomalías mal funcionamiento del equipo  ¡Ya está todo listo para comenzar a explorar sus flujos de datos! Háganos saber qué otros casos de uso encuentra y, como siempre, no dude en enviarnos una línea en los comentarios o encontrarnos en el  para más preguntas y sugerencias!    Comunidad de IA centrada en datos ¡Te veo allí!  Expresiones de gratitud          ) y Oli Makhasoeva (Relaciones con desarrolladores @  ) -- desarrollando  . Este artículo fue escrito por Fabiana Clemente (Co-fundadora & CDO @   YData ) y Miriam Santos (Relaciones con Desarrolladores @   YData ) -- desarrollando   ydata-perfilado -- y Zander Matheson (CEO y fundador @   cera de bytes   byetwax   cera de bytes  Puede encontrar información adicional sobre los paquetes OSS en las respectivas documentaciones:  &  .   documentos de perfilado de ydata   documentos bytewax   También publicado  aquí

Try Fabric's community version today and experience accelerated success in your AI journey

Este audio es producido en el idioma original de la historia!

Cómo entender sus datos en tiempo real usando bytewax y ydata-profiling

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

De los foros a los feeds: cómo los algoritmos de las redes sociales influyen en la interacción digital

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Las capas invisibles: por qué las entrevistas con los usuarios son un activo irremplazable

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

De los foros a los feeds: cómo los algoritmos de las redes sociales influyen en la interacción digital

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Las capas invisibles: por qué las entrevistas con los usuarios son un activo irremplazable

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps