"El futuro es donde cualquier empresa puede obtener información de sus datos fácilmente", afirma Aniruth de Databricks

En HackerNoon, valoramos las historias sobre el desarrollo de tecnología innovadora. Estas preguntas no solo se refieren a la mecánica de la IA, sino también a la innovación, los desafíos y la creatividad de dar vida a herramientas de vanguardia, una opción perfecta para nuestra comunidad de líderes tecnológicos, desarrolladores y lectores con visión de futuro.

Introducción

Mi nombre es Aniruth . Trabajo en el equipo de almacenamiento de Databricks , donde nos esforzamos por permitir que los clientes guarden grandes cantidades de datos en un formato abierto y escalable con nuestra plataforma de inteligencia de datos. En concreto, trabajo en nuestros esfuerzos de interoperabilidad con Delta Lake y Apache Iceberg.

HackerNoon: ¿Cuál es el principal problema que su producto de IA está diseñado para resolver y qué tiene de efectivo su enfoque para resolverlo?

Aniruth : Databricks unifica los datos y la IA para ofrecer a los clientes inteligencia procesable, lo que llamamos inteligencia de datos. Esto incluye la ingesta de grandes cantidades de datos, ETL, almacenamiento a gran escala, consultas de inteligencia empresarial y cargas de trabajo de IA. Las técnicas utilizadas en el aprendizaje automático en la última década existen desde la década de 1980; el auge del big data hizo posible ejecutar algoritmos a escala.

Técnicas como el método de pocos disparos o RAG dependen de datos de alta calidad. Los modelos que tienen mejores datos ganan frente a aquellos con mejores arquitecturas. Databricks ha invertido mucho en liderar los esfuerzos en el espacio de los datos, siendo pionero en la arquitectura de lagos con formatos de datos abiertos y gobernanza abierta, donde los clientes pueden obtener los mejores conocimientos con el mejor rendimiento de los lagos de datos.

¿Qué criterios utilizaron para seleccionar los modelos de IA específicos para este producto y cómo toma su empresa decisiones como ésta?

Utilizamos modelos de IA de diversas formas en el producto, como Llama 3 para el Asistente de IA. Creemos en un ecosistema de IA y datos abiertos y alentamos a nuestros clientes a utilizar cualquier modelo que elijan. Ayudamos a garantizar que los clientes tengan una gobernanza de extremo a extremo en todo el ciclo de vida de la IA, independientemente de los modelos que utilicen, para que puedan concentrarse en hacer que sus modelos estén diseñados específicamente para sus casos de uso.

¿Cómo puede garantizar que su producto ofrezca resultados precisos e imparciales a los usuarios?

Hemos dedicado un esfuerzo e inversión importantes a priorizar la precisión y las respuestas imparciales para el uso de IA en nuestros productos, y seguimos realizando pruebas frecuentes.

¿Cómo es tu día a día como gerente de producto?

El espacio de los datos y la inteligencia artificial está evolucionando rápidamente, por lo que es muy importante mantenerse actualizado. Mi día puede incluir hablar con clientes, realizar análisis de mercado, elaborar un documento de requisitos de productos o preparar materiales de marketing. Mi parte favorita es hacer diagramas que ilustren cómo funcionarán las cosas, ya que es bastante divertido transformar una idea en algo visual.

¿Cuál es el próximo gran avance en IA que todo el mundo debería estar siguiendo?

Pronto se producirán muchos avances importantes. Uno que me interesa especialmente es la hiperpersonalización del contenido. Durante la última década, los anuncios se han adaptado a un espectador específico. Se han adaptado algunos elementos del contenido, como la miniatura que Netflix muestra al usuario, pero no el contenido real (el vídeo en sí). Será interesante ver cómo los directores y productores logran un equilibrio entre contar la historia que quieren contar y los intereses del usuario.

¿Cuál ha sido el mayor desafío al que se ha enfrentado al llevar este producto de IA al mercado, desde el concepto hasta el lanzamiento?

Trabajo con almacenamiento de datos a gran escala, lo que puede resultar muy confuso de entender. Tenemos varias optimizaciones de IA sobre los datos, pero a menudo surgen preguntas sobre cuándo se ejecutan estas optimizaciones, cómo funcionan, qué no cubren, etc. Con este tipo de preguntas, es importante asegurarnos de que tengamos un mensaje claro y coherente sobre lo que estamos construyendo y por qué. He descubierto que explicar la causa de las limitaciones tiene muy buena acogida entre los clientes.

¿Cómo imagina que evolucionará la IA para comprender y responder mejor a las emociones humanas, y qué desafíos u oportunidades ve en esa área?

Los modelos multimodales van a mejorar significativamente en los próximos años, lo que cambiará nuestro modo principal de interacción con la IA. Descubrir las emociones humanas es mucho más fácil a partir de información visual o auditiva que a partir de texto. Creo que existe la oportunidad de crear interacciones más naturales en una gama más amplia de escenarios.

¿Qué métricas de rendimiento o KPI sigue para medir el éxito de este producto de IA?

Por lo general, queremos ver comentarios positivos y un buen uso de nuestros productos. Hablo con los clientes con bastante frecuencia para tener una idea de cómo y por qué piensan sobre nuestros productos, lo cual es clave para explicar por qué vemos ciertas tendencias en las métricas.

¿Cómo abordar el diseño de una experiencia de producto que no sólo sea funcional sino también atractiva y memorable para los usuarios?

Los productos de datos a gran escala son notoriamente difíciles de usar. Los ejemplos simples son fáciles de configurar, pero las cargas de trabajo de producción generalmente implican una configuración y un código confusos. Para mí, ha sido una prioridad desarrollar la funcionalidad que necesitan los clientes y, al mismo tiempo, hacer que el producto sea muy fácil de usar.

El futuro es que cualquier empresa pueda obtener información de sus datos fácilmente. En el mundo actual, la información empresarial basada en datos suele estar restringida a las empresas más grandes, pero incluso ellas preferirían una experiencia más sencilla.

A largo plazo, ¿cómo cree que la IA ayudará al individuo a alcanzar su máximo potencial?

En lo que respecta a las personas, estoy muy entusiasmado con las integraciones de IA en hardware. Hasta ahora, hemos visto IA en gran medida en aplicaciones de software como sitios web. Hay muchas aplicaciones más grandes de creación de dispositivos que utilizan IA, y ya estamos empezando a ver algunas de esas implicaciones en automóviles y teléfonos.

¿Hacia dónde cree que evolucionará el producto en los próximos años y qué características le entusiasma más añadir?

Databricks está en camino de volverse cada vez más simple y más poderoso al mismo tiempo. Estamos trabajando en muchos aspectos, desde hacer que sea fácil trabajar con datos y cálculos a gran escala hasta mejorar el rendimiento en consultas y flujos de trabajo. Personalmente, creo que pronto tendremos algunas características interesantes en todo el producto que harán que los flujos de trabajo sean mucho más fáciles con IA. Algunos ejemplos incluyen comentarios generados por IA sobre los datos, sugerencias de código de IA en los editores de cuadernos e interfaces de IA para chatear con los datos (por ejemplo, Databricks AI/BI Genie).

¿Cuál es su perspectiva sobre el impacto de la IA en los empleos y cómo aborda esas preocupaciones en su estrategia de producto?

Existe la preocupación de si la IA reduciría la cantidad de empleos. Nuestros productos están diseñados para aumentar la información valiosa, que a menudo se obtiene en conjunto con los usuarios. Por ejemplo, con AI/BI Genie, los usuarios pueden crear interfaces con sus propios datos. Se trata de una experiencia mágica, en la que los usuarios pueden hacer preguntas y obtener respuestas específicas para ellos. De hecho, los usuarios pueden incluso comprobar el SQL que se está utilizando para confirmar que es lo que están buscando. Esto es colaborativo con los analistas, lo que reduce el tiempo que les lleva pasar de la idea a la información.

¿Qué comentarios de los usuarios le sorprendieron y provocaron cambios en su hoja de ruta, estrategia o experiencia del producto?

Una de las principales sorpresas que me ha sorprendido ha sido la complejidad que tienen algunas de las empresas más grandes. Esto introduce requisitos en el producto que yo no habría considerado por mi cuenta. Un ejemplo habitual es pensar en estrategias de migración al introducir un nuevo producto. Normalmente, las grandes empresas han reunido tecnologías existentes (normalmente software de código abierto) o han creado un software personalizado para resolver el problema que aborda nuestra nueva oferta de productos. Normalmente, lleva un tiempo entender por qué y cómo se combinan para garantizar que tenemos una solución que cubra todas las posibilidades.