Que fará a IA para a ciencia dos datos

Recentemente realicei unha clase sobre o uso da ciencia de datos para a ciberseguridade, centrándose na análise de datos de captura de paquetes, un tema algo técnico e tradicionalmente seco. O enfoque que compartín partiu da miña experiencia en ciberseguridade nas institucións financeiras, abarcando pasos fundamentais como a análise exploratoria de datos, o preprocesamento e transformación de datos de rexistro e a identificación de anomalías mediante unha combinación de agrupación e análise de redes gráficas.

Un aspecto sorprendente foi o tempo que pasei preparándome para esta sesión, unha fracción do que normalmente investiría. A IA xogou un papel importante na racionalización do proceso. Usei a Claude para axudar a codificar, desenvolver o esquema e mesmo crear as diapositivas. En total, todo o curso estivo listo en 48 horas.

A sesión resultou atractiva. Os participantes, principalmente CISO que normalmente non codifican, atoparon que os exercicios, elaborados coa axuda da IA, eran intuitivos e prácticos. O meu obxectivo era mergullos en traballar directamente con datos e código. Apreciaron especialmente a oportunidade de explorar manualmente o que adoitan automatizar as plataformas SIEM e a vixilancia cibernética moderna, obtendo información sobre os procesos que suceden "baixo o capó".

A miña conclusión clave da clase foi sorprendentemente contraintuitiva: a ciencia de datos, tal e como a coñecemos, acabará por ser substituída pola IA . Esta visión pode parecer prematura, ou quizais antes do seu tempo, pero é unha perspectiva que merece unha discusión.

Aviso: algúns destes poden provocar a xente.

A sensualidade é equipaxe

Durante máis dunha década, a ciencia de datos celebrouse como o "traballo máis sexy do século XXI". Con todo, a medida que a IA avanza rapidamente, está quedando claro que os desafíos subxacentes do campo son máis difíciles de pasar por alto. A chegada da poderosa IA xerativa podería ser o punto de inflexión para unha disciplina que, en retrospectiva, puido estar definida e exagerada de forma máis vaga do que se recoñeceu inicialmente.

Na súa esencia, a ciencia de datos combina informática, estatística e perspicacia empresarial, ofrecendo ás organizacións a promesa de información útil a partir de grandes cantidades de datos. Este conxunto de habilidades é innegablemente valioso no mundo actual baseado en datos. Non obstante, baixo a súa imaxe pulida, o campo enfróntase a importantes problemas. O que adoita ser etiquetado como ciencia de datos con frecuencia resulta ser un mosaico de tarefas pouco relacionadas que non sempre se aliñan perfectamente, e moitos profesionais do campo loitan coa amplitude e complexidade total que esixe a disciplina.

O auxe das ferramentas impulsadas pola IA capaces de manexar a análise de datos, a modelización e a xeración de información podería forzar un cambio na forma en que vemos o papel e o futuro da propia ciencia de datos. A medida que a IA segue simplificando e automatizando moitas das tarefas fundamentais da ciencia de datos, o campo pode enfrontarse a un cálculo do que realmente significa ser un científico de datos na era da automatización intelixente.

Os Cracks

Moitos científicos de datos, a pesar de manexar habilidades de codificación sofisticadas e ferramentas dixitais, realizan un traballo sorprendentemente manual e propenso a erros . A preparación, limpeza e análise dos datos implican tarefas tediosas e lentoas que son repetitivas e mecánicas. De feito, unha cantidade significativa de traballo de ciencia de datos indícase na preparación de conxuntos de datos, unha tarefa que moitas veces parece máis pesada que a ciencia emocionante e impulsada polo descubrimento que se fai. A este problema súmase o feito de que moitos dos que entran no campo son, no mellor dos casos, afeccionados. Tras realizar algúns cursos en liña en Python ou R, estes "científicos de datos" adoitan non estar preparados para os rigores do papel . A ciencia de datos non é só codificación. Implica unha análise profunda, comprensión contextual e a capacidade de presentar ideas a públicos non técnicos. En realidade, é máis un traballo de investigación, que require unha mestura de creatividade e pensamento analítico que moitos no campo simplemente non posúen.

Ademais, moitos científicos de datos desenvolveron un sentido de dereito, esperando altos soldos e paquetes lucrativos só en virtude do seu título. Esta actitude está a apagar as empresas, sobre todo nos sectores onde a eficiencia en custos é primordial. Coñecín empresas que antes se apresuraron a contratar científicos de datos, pero que agora están reconsiderando. Por que pagar salarios altos a alguén que pasa a maior parte do tempo loitando coa limpeza de datos, cando a IA pode facelo máis rápido, mellor e cunha fracción do custo?

AI Quen?

Como experimentei persoalmente escribindo a clase, a IA xerativa converteuse nunha poderosa forza nas áreas onde a ciencia de datos é máis débil. Tarefas como a preparación de datos, a limpeza e incluso a análise cualitativa básica (actividades que consumen gran parte do tempo dun científico de datos) agora son facilmente automatizadas polos sistemas de IA . O que é peor (ou mellor, dependendo de onde te atopes) é que a IA é máis rápida, máis precisa e menos propensa a erros humanos ou a fatiga.

Para moitos científicos de datos, isto pode ser aterrador. Despois de todo, estas tarefas representan a maior parte do seu traballo diario. A limpeza de datos, por exemplo, é notoriamente lenta e propensa a cometer erros, pero a IA agora pode facelo cuns poucos clics e unha precisión case perfecta. Os científicos de datos adoitan queixarse destas tarefas gruñidas, pero son fundamentais para as súas funcións. A medida que melloran os sistemas de IA, a necesidade de que os humanos fagan estes traballos diminúe. Non é de estrañar que gran parte das críticas vocales contra a IA procedan dos propios científicos de datos . Ven a escrita na parede e temen polos seus traballos.

A Mesquiña

Para empeorar as cousas para os científicos de datos, o campo non fixo avances significativos nos últimos anos. A pesar do seu aumento meteórico en popularidade, a ciencia de datos aínda está plagada de ineficiencias, erros e falta de claridade sobre o que debería implicar exactamente . Antes críase que ferramentas máis sofisticadas e unha mellor formación farían evolucionar o campo, pero isto non se materializou na medida en que se esperaba. Pola contra, a IA mellorou constantemente. Os algoritmos de aprendizaxe automática, o procesamento da linguaxe natural e os modelos xerativos están a evolucionar rapidamente, deixando a ciencia de datos tradicional no po.

De novo, as altas expectativas salariais dos científicos de datos agravan o problema . As empresas que antes toleraron ineficiencias agora están a entender que a intelixencia artificial pode substituír gran parte do traballo duro sen o alto prezo asociado ao traballo humano. Coa IA cada vez máis hábil para realizar tarefas clave como análises, previsións e mesmo presentacións, a natureza manual da ciencia de datos é cada vez máis redundante. Moitas empresas daranse conta de que o que antes requiría un equipo de científicos de datos agora pode ser xestionado de forma máis eficiente mediante ferramentas impulsadas por IA.

A Quenda

A realidade é que a ciencia de datos, como se define tradicionalmente, está ao bordo da obsolescencia. Coa IA xerativa avanzando a un ritmo sorprendente, a demanda de científicos de datos humanos na súa forma actual probablemente diminuirá . Isto non implica que os humanos non teñan ningún papel na toma de decisións baseada en datos, pero o clásico papel de "científico de datos" pode ser pronto un concepto do pasado. O que se necesita agora son profesionais cualificados para colaborar coa IA, aproveitando as súas capacidades ao tempo que se concentran no pensamento estratéxico e na resolución de problemas complexos a un nivel superior.

A IA non é o fin das análises, das ideas ou da toma de decisións, senón que representa a súa evolución . O campo actual da ciencia de datos corre o risco de quedar obsoleto se non evoluciona ao paso. A IA xa está revolucionando as industrias e a ciencia de datos debe adaptarse ou correr o risco de ser superada por esta onda. En última instancia, a pregunta pode non ser se a IA eliminará a ciencia de datos senón se a ciencia de datos cumpriu plenamente as súas promesas.

Ou quizais a distinción nin sequera importa se finalmente nos movemos máis alá do bombo da "ciencia de datos" e adoptamos a IA como a seguinte progresión lóxica.

Sobre min: máis de 25 anos de veterano en TI que combina datos, IA, xestión de riscos, estratexia e educación. 4 veces gañador do hackathon e impacto social do defensor dos datos. Actualmente traballando para impulsar a forza laboral de IA en Filipinas. Máis información sobre min aquí: https://docligot.com