Lo que la IA le hará a la ciencia de datos

Recientemente dicté una clase sobre el uso de la ciencia de datos para la ciberseguridad, centrándome en el análisis de datos de captura de paquetes, un tema un tanto técnico y tradicionalmente aburrido. El enfoque que compartí se basó en mi experiencia en ciberseguridad dentro de instituciones financieras, y abarcó pasos fundamentales como el análisis exploratorio de datos, el preprocesamiento y la transformación de datos de registro y la identificación de anomalías mediante una combinación de análisis de redes gráficas y de agrupamiento.

Un aspecto sorprendente fue el tiempo que dediqué a preparar esta sesión, una fracción de lo que normalmente invertiría. La IA desempeñó un papel importante en la agilización del proceso. Utilicé a Claude para que me ayudara con la codificación, el desarrollo del esquema e incluso la creación de las diapositivas. En total, todo el curso estuvo listo en 48 horas.

La sesión resultó interesante. Los participantes, principalmente CISO que normalmente no programan, encontraron que los ejercicios, elaborados con la ayuda de IA, eran intuitivos y prácticos. Mi objetivo era sumergirlos en el trabajo directo con datos y código. Apreciaron especialmente la oportunidad de explorar manualmente lo que las plataformas modernas de vigilancia de ciberamenazas y SIEM suelen automatizar, obteniendo información sobre los procesos que ocurren "detrás de escena".

La lección principal que saqué de la clase fue sorprendentemente contraria a la intuición: la ciencia de datos, tal como la conocemos, acabará siendo reemplazada por la IA . Esta visión puede parecer prematura (o quizás adelantada a su tiempo), pero es una perspectiva que merece debate.

Advertencia: algunas partes de esta página pueden herir la sensibilidad de algunas personas.

La sensualidad es un equipaje

Durante más de una década, la ciencia de datos ha sido considerada como el “trabajo más atractivo del siglo XXI”. Sin embargo, a medida que la IA avanza rápidamente, se hace evidente que los desafíos subyacentes del campo son más difíciles de pasar por alto. La llegada de una poderosa IA generativa podría muy bien ser el punto de inflexión para una disciplina que, en retrospectiva, puede haber sido definida de manera más vaga y sobrevalorada de lo que inicialmente se reconoció.

En esencia, la ciencia de datos combina la informática, la estadística y la perspicacia empresarial, ofreciendo a las organizaciones la promesa de obtener información útil a partir de grandes cantidades de datos. Este conjunto de habilidades es indudablemente valioso en el mundo actual, impulsado por los datos. Sin embargo, debajo de su imagen pulida, el campo enfrenta problemas importantes. Lo que a menudo se etiqueta como ciencia de datos, con frecuencia resulta ser un mosaico de tareas vagamente relacionadas que no siempre se alinean perfectamente, y muchos profesionales del campo luchan con la amplitud y complejidad total que exige la disciplina.

El auge de las herramientas basadas en IA capaces de gestionar el análisis de datos, el modelado y la generación de información podría obligarnos a cambiar la forma en que vemos el papel y el futuro de la ciencia de datos. A medida que la IA siga simplificando y automatizando muchas de las tareas fundamentales de la ciencia de datos, el campo podría enfrentarse a un ajuste de cuentas sobre lo que realmente significa ser un científico de datos en la era de la automatización inteligente.

Las grietas

Muchos científicos de datos, a pesar de tener habilidades de codificación sofisticadas y herramientas digitales, se involucran en un trabajo que es sorprendentemente manual y propenso a errores . La preparación, limpieza y análisis de datos implican tareas tediosas, que consumen mucho tiempo, que son repetitivas y mecánicas. De hecho, una cantidad significativa de trabajo de ciencia de datos se destina a la preparación de conjuntos de datos, una tarea que a menudo parece más una tarea pesada que la ciencia emocionante e impulsada por el descubrimiento que se presenta. Este problema se agrava por el hecho de que muchos de los que ingresan al campo son, en el mejor de los casos, aficionados. Habiendo tomado algunos cursos en línea en Python o R, estos "científicos de datos" a menudo no están preparados para los rigores del rol . La ciencia de datos no es solo codificación. Implica un análisis profundo, comprensión contextual y la capacidad de presentar conocimientos a audiencias no técnicas. En verdad, es más un trabajo de investigación, que requiere una combinación de creatividad y pensamiento analítico que muchos en el campo simplemente no poseen.

Además, muchos científicos de datos han desarrollado un sentimiento de privilegio, y esperan salarios altos y paquetes lucrativos solo por el hecho de tener su título. Esta actitud está alejando a las empresas, especialmente en sectores donde la eficiencia de costos es primordial. He conocido empresas que antes se apresuraban a contratar científicos de datos, pero ahora están reconsiderando su decisión. ¿Por qué pagar salarios altos a alguien que pasa la mayor parte de su tiempo lidiando con la limpieza de datos, cuando la IA puede hacerlo más rápido, mejor y a una fracción del costo?

¿IA quién?

Según mi experiencia personal al escribir la clase, la IA generativa se ha convertido en una fuerza poderosa en las áreas en las que la ciencia de datos es más débil. Tareas como la preparación de datos, la limpieza e incluso el análisis cualitativo básico (actividades que consumen gran parte del tiempo de un científico de datos) ahora se pueden automatizar fácilmente con sistemas de IA . Lo que es peor (o mejor, según el punto de vista) es que la IA es más rápida, más precisa y menos propensa al error o la fatiga humana.

Para muchos científicos de datos, esto puede resultar aterrador. Después de todo, estas tareas representan la mayor parte de su trabajo diario. La limpieza de datos, por ejemplo, es notoriamente lenta y propensa a errores, pero la IA ahora puede realizarla con unos pocos clics y una precisión casi perfecta. Los científicos de datos a menudo se quejan de estas tareas tediosas, pero son fundamentales para sus funciones. A medida que los sistemas de IA mejoran, la necesidad de que los humanos realicen estos trabajos disminuye. No es de extrañar que gran parte de las críticas vocales contra la IA provengan de los propios científicos de datos . Ven lo que está por venir y temen por sus trabajos.

La mezquindad

Para empeorar las cosas para los científicos de datos, el campo no ha logrado avances significativos en los últimos años. A pesar de su meteórico ascenso en popularidad, la ciencia de datos aún está plagada de ineficiencias, errores y una falta de claridad sobre lo que exactamente debería implicar . Alguna vez se creyó que herramientas más sofisticadas y una mejor capacitación harían evolucionar el campo, pero esto no se ha materializado en la medida esperada. En cambio, la IA ha mejorado de manera constante. Los algoritmos de aprendizaje automático, el procesamiento del lenguaje natural y los modelos generativos están evolucionando rápidamente, dejando atrás a la ciencia de datos tradicional.

Una vez más, las altas expectativas salariales de los científicos de datos agravan el problema . Las empresas que antes podrían haber tolerado ineficiencias ahora se están dando cuenta de que la IA puede reemplazar gran parte del trabajo pesado sin el alto precio asociado al trabajo humano. A medida que la IA se vuelve más hábil para realizar tareas clave como análisis, pronósticos e incluso presentaciones, la naturaleza manual de la ciencia de datos se está volviendo cada vez más redundante. Muchas empresas se darán cuenta de que lo que solía requerir un equipo de científicos de datos ahora se puede manejar de manera más eficiente con herramientas impulsadas por IA.

El cambio

La realidad es que la ciencia de datos, tal como se la define tradicionalmente, está al borde de la obsolescencia. Con el avance de la IA generativa a un ritmo asombroso, la demanda de científicos de datos humanos en su forma actual probablemente disminuirá . Esto no implica que los humanos no tengan ningún papel en la toma de decisiones basada en datos, pero el papel clásico de "científico de datos" puede convertirse pronto en un concepto del pasado. Lo que se necesita ahora son profesionales capacitados para colaborar con la IA, aprovechar sus capacidades y concentrarse en el pensamiento estratégico y la resolución de problemas complejos a un nivel superior.

La IA no es el fin de la analítica, la información o la toma de decisiones, sino que representa su evolución . El campo actual de la ciencia de datos corre el riesgo de volverse obsoleto si no evoluciona al mismo ritmo. La IA ya está revolucionando las industrias, y la ciencia de datos debe adaptarse o corre el riesgo de ser superada por esta ola. En última instancia, la pregunta puede no ser si la IA eliminará a la ciencia de datos, sino si la ciencia de datos alguna vez cumplió plenamente sus promesas.

O tal vez la distinción ni siquiera importe si finalmente dejamos atrás el bombo publicitario de la “ciencia de datos” y adoptamos la IA como la siguiente progresión lógica.

Acerca de mí: Más de 25 años de experiencia en TI que combina datos, inteligencia artificial, gestión de riesgos, estrategia y educación. Ganador de 4 hackatones y defensor del impacto social de los datos. Actualmente, trabajo para impulsar la fuerza laboral de inteligencia artificial en Filipinas. Obtenga más información sobre mí aquí: https://docligot.com