El mundo de los datos ha cambiado drásticamente en la última década. Las bases de datos tradicionales, que fueron diseñadas para almacenar información en un formato estructurado, se han convertido en almacenes masivos de datos no estructurados que se encuentran en múltiples servidores en diferentes ubicaciones. No hace mucho tiempo, estábamos acostumbrados a ver sistemas monolíticos dominados por gigantes, como Oracle e IBM. Si es un analista o un usuario comercial que necesita acceso a este tipo de datos, ¿y quién no?, significaba sistemas lentos que eran increíblemente difíciles de administrar.  El nacimiento de una nueva pila de software  La creciente complejidad de los sistemas finalmente impulsó la necesidad de pilas de software modernas que pudieran ayudar a las organizaciones a ejecutar aplicaciones complejas mientras lograban mantener la rentabilidad. El movimiento de código abierto ayudó con esto, al reducir drásticamente el costo de ensamblar aplicaciones complejas, como Elastic Search para la búsqueda de texto completo y PyTorch para el modelado. El empaque y las operaciones sólidas del software mejoraron la usabilidad, la estabilidad y la economía del sistema.    (MDS), que ha tenido mucha tracción durante la última década, se basa en el movimiento de código abierto y es una colección de ideas, herramientas y metodologías destinadas a construir la pila de datos empresariales. Modern Data Stack  Desafíos en el escalado de MDS  En la década de 2010, vimos una rápida adopción de herramientas de código abierto dentro del MDS. Sin embargo, después de su éxito inicial, muchas iniciativas de organizaciones en torno a esto se encontraron con desafíos a la hora de escalarlas:  La   debido a la cantidad de herramientas, configuraciones, metodologías e interacciones con las que las organizaciones y los equipos tenían que mantenerse al día fue abrumadora, lo que provocó agotamiento y altas tasas de abandono entre los talentos. sobrecarga cognitiva  La   asociada con estas tecnologías fue increíblemente empinada. Uno tiene que entender que la mayoría de estas herramientas de código abierto se crearon en organizaciones sofisticadas como Netflix, Google y Uber y no necesariamente se adaptan a las necesidades de las organizaciones que tienen implementaciones más pequeñas, una fracción de la escala. curva de aprendizaje  El ritmo de la innovación en el espacio también significó   . Con el ritmo al que llegaban a la escena herramientas más nuevas, mejores, más rápidas y más eficientes, los ingenieros tenían que aprender y desaprender rápidamente. una vida útil más corta para las tecnologías más nuevas  La comunidad de ciencia de datos tiene varios puntos de vista en conflicto, lo que resulta en una   (lo que es mejor para su negocio). La mayoría de las veces, la única forma de superar este desafío es construyendo, lo que no solo es costoso sino que requiere mucho tiempo. falta de claridad sobre qué enfoque se debe adoptar  Si ha estado siguiendo ciclos de exageración como Gartner, probablemente no le sorprenda saber que   (que llega mucho más rápido que probablemente hace una década). Tecnologías como Hadoop, NoSQL y Deep Learning, que se consideraban “candentes” no hace mucho tiempo, ya han superado el pico del ciclo de publicidad de Gartner. las inversiones en tecnología tienen una fecha de finalización  Los puntos n.º 1 y n.º 2 han desempeñado un papel importante en aumentar los niveles de estrés en la industria y también en limitar el talento disponible para adoptar y utilizar tecnologías. Hemos visto una tendencia similar en el espacio DevOps, con la oferta de talento de desarrolladores que no satisface la demanda de nuevos servicios digitales.   sobre este problema, que ha llevado a un alto agotamiento y la duración promedio de la carrera de un desarrollador profesional es de menos de 20 años. Recientemente publicó un hilo en el que profundizó en la complejidad del panorama dirigido por desarrolladores, y no podemos evitar notar varios paralelismos entre lo que afirma y el espacio MLOps.  Tyler Jewell de Dell Capital ha hablado bastante  Los puntos n.° 3 y n.° 4 resaltan la difícil situación de las personas de datos de hoy: si resolver problemas no fuera suficiente, terminan dedicando más tiempo a tratar de descubrir “cómo” pueden proceder y resolver problemas sin poder pensar mucho en qué. debe hacerse, o el resultado esperado.  Se viene un cambio…  Estamos viendo un cambio en las herramientas de datos utilizadas por las organizaciones, impulsado por un mayor reconocimiento de que muchas de ellas no tienen más remedio que confiar en proveedores externos para sus necesidades de infraestructura. Esto no solo se debe a restricciones presupuestarias, sino también a otras restricciones, como la seguridad y la procedencia de los datos.  Además, existe una mayor demanda de procesos automatizados que permitan a las empresas migrar fácilmente las cargas de trabajo de un proveedor a otro sin interrumpir las operaciones ni causar tiempos de inactividad. Estamos viendo los efectos de esto en industrias como los servicios financieros, donde la gestión de datos suele ser fundamental para el éxito (por ejemplo, las agencias de calificación crediticia).  Como resultado de todo esto, así como de los desafíos enumerados anteriormente, ha habido varios desarrollos en la comunidad: ​  Las organizaciones enfatizan cada vez más la necesidad de generar   , lo que da lugar a herramientas que se centran en la calidad y el gobierno de los datos. confianza en sus datos  Cada vez se hace más hincapié en que las iniciativas de aprendizaje automático y ciencia de datos estén vinculadas a resultados y modelos comerciales que estén explícitamente   . alineados con casos de uso comerciales específicos  El costo y la complejidad cada vez mayores están dando como resultado la consolidación a través de extensiones de funciones, adquisiciones e integraciones. Snowflake, por ejemplo, está aumentando rápidamente su lista de socios para convertirse en una pila completa de aplicaciones analíticas.  Teniendo en cuenta la complejidad posterior a la implementación del modelo, estamos viendo el surgimiento de herramientas como   , que ayudan a estimar el rendimiento del modelo, detectar desviaciones y mejorar los modelos en producción a través de implementaciones iterativas. Estamos viendo esto como una forma para que las empresas cierren el ciclo entre el negocio, los datos y el modelo. NannyML  Surgió una nueva organización,   , para reunir los componentes básicos esenciales para las aplicaciones de inteligencia artificial. Han estado trabajando en la creación de una   , cuyo objetivo es ahogar el ruido creado debido a la introducción de una gran cantidad de herramientas que afirman ser las "más recientes y mejores", y ayudar a las empresas no tecnológicas a subir de nivel rápidamente. . AI Infrastructure Alliance pila canónica para el aprendizaje automático  La definición de MDS se está ampliando para incluir productos de datos, aplicaciones y otros elementos. Esto está haciendo MDS full-stack. Están surgiendo   y servicios que dividen el espacio en función de los usuarios objetivo (por ejemplo, científicos de datos frente a analistas), la disponibilidad de habilidades y el tiempo de realización de resultados. nuevos productos  La base de usuarios de MDS se está expandiendo para incluir los equipos de análisis y los usuarios comerciales. Esto da como resultado una experiencia de usuario mejorada, interfaces de código bajo y automatización.  Y, por último, estamos viendo el surgimiento de enfoques como la "   posmoderna", que es esencialmente una deconstrucción de las pilas MDS y MLOps. Estos enfoques enfatizan la relevancia para el negocio, así como el consumo posterior de las funciones generadas para producir valor comercial. Pila ​  Lo que esto significa  La consolidación de herramientas y plataformas, el desarrollo de plataformas más simples y el uso de servicios administrados están ocurriendo en toda la industria. Esto se debe a la necesidad de las empresas de hacer frente a la complejidad. Es un momento emocionante para ser parte de este espacio, y no puedo esperar a ver cómo evoluciona el paisaje a lo largo del año.  En Scribble Data (la empresa que cofundé) somos muy conscientes de esta evolución tal como está ocurriendo. Nos enfocamos en un problema específico: ingeniería de características para análisis avanzados y casos de uso de ciencia de datos. Este espacio de problemas ha crecido constantemente en términos de importancia y ha evolucionado de manera consistente con los puntos anteriores. Con la combinación de tecnología adecuada y el enfoque en la solución, es posible alinear el valor del producto con los casos de uso, mientras se logra un tiempo de valor (TTV) 5 veces más rápido para cada caso de uso.  También publicado  aquí

Stacks

Community Is

Dell

Google

Netflix

Oracle

Target

Uber

YouTube

2022 - Data Science Demon

2022 - HackerNoon Contributor of the Year - Big Data

2022 - HackerNoon Contributor of the Year - Data Privacy

Nominated for 2022 - HackerNoon Contributor of the Year - Big Data

Nominated for 2022 - HackerNoon Contributor of the Year - Data Privacy

Nominated for 2022 - Data Science Demon

Este audio es producido en el idioma original de la historia!

Demasiado Largo; Para Leer

Crecientes complejidades de la infraestructura de datos: implicaciones de costos y el camino a seguir

Crecientes complejidades de la infraestructura de datos: implicaciones de costos y el camino a seguir

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Telegram: el puente de Crypto Island hacia el continente

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Telegram: el puente de Crypto Island hacia el continente

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps