"Il futuro è dove qualsiasi azienda ottiene facilmente informazioni dai propri dati", afferma Aniruth di Databricks

In HackerNoon, diamo valore alle storie sulla creazione di tecnologie rivoluzionarie. Queste domande non riguardano solo la meccanica dell'intelligenza artificiale, ma anche l'innovazione, le sfide e la creatività nel dare vita a strumenti all'avanguardia, una soluzione perfetta per la nostra comunità di leader tecnologici, costruttori e lettori lungimiranti.

Introduzione

Mi chiamo Aniruth . Lavoro nel team di storage di Databricks , dove lavoriamo per consentire ai clienti di salvare grandi quantità di dati in un formato aperto e scalabile con la nostra Data Intelligence Platform. In particolare, lavoro sui nostri sforzi di interoperabilità con Delta Lake e Apache Iceberg.

HackerNoon: Qual è il problema principale che il vostro prodotto di intelligenza artificiale intende risolvere e qual è l'approccio efficace che adottate per risolverlo?

Aniruth : Databricks unifica dati e AI per offrire ai clienti intelligence fruibile, ciò che chiamiamo data intelligence. Ciò include l'ingestione di grandi quantità di dati, ETL, storage su larga scala, query di business intelligence e carichi di lavoro AI. Le tecniche utilizzate nell'apprendimento automatico nell'ultimo decennio sono in circolazione dagli anni '80; l'ascesa dei big data ha reso fattibile l'esecuzione di algoritmi su larga scala.

Tecniche come il prompting di pochi scatti o RAG si basano su dati di alta qualità. I modelli con dati migliori vincono su quelli con architetture migliori. Databricks ha investito in modo significativo negli sforzi principali nello spazio dei dati, aprendo la strada all'architettura lakehouse con formati di dati aperti e governance aperta, dove i clienti sono in grado di ottenere le migliori informazioni con le migliori prestazioni dai data lake.

Quali criteri avete utilizzato per selezionare i modelli di intelligenza artificiale specifici per questo prodotto e come prende la vostra azienda decisioni di questo tipo?

Utilizziamo modelli AI in vari modi nel prodotto, come Llama 3 per AI Assistant. Crediamo in un ecosistema di dati e AI aperti e incoraggiamo i nostri clienti a utilizzare qualsiasi modello di loro scelta. Aiutiamo a garantire che i clienti abbiano una governance end-to-end per tutto il ciclo di vita dell'AI indipendentemente dai modelli che utilizzano, in modo che possano concentrarsi sulla creazione di modelli appositamente progettati per i loro casi d'uso.

Come puoi garantire che il tuo prodotto fornisca agli utenti risultati accurati e imparziali?

Abbiamo investito molto impegno e risorse per dare priorità all'accuratezza e alle risposte imparziali per l'utilizzo dell'intelligenza artificiale nei nostri prodotti e continuiamo a condurre test frequenti.

Com'è la tua giornata da product manager?

Lo spazio dei dati e dell'intelligenza artificiale si sta evolvendo rapidamente, quindi è molto importante tenersi aggiornati. La mia giornata può includere parlare con i clienti, fare analisi di mercato, mettere insieme un documento sui requisiti del prodotto o preparare materiali di marketing. La mia parte preferita è riuscire a creare diagrammi che illustrano come funzioneranno le cose, perché è piuttosto divertente trasformare un'idea in un elemento visivo.

Quale sarà la prossima grande svolta nell'intelligenza artificiale a cui tutti dovrebbero prestare attenzione?

Ci sono molte grandi innovazioni in arrivo. Una che mi interessa particolarmente è l'iperpersonalizzazione dei contenuti. Negli ultimi dieci anni, gli annunci sono stati adattati in modo preciso allo spettatore specifico. Alcuni elementi dei contenuti sono stati adattati, come la miniatura che Netflix mostra a un utente, ma il contenuto effettivo (il video stesso) non lo è stato. Sarà interessante vedere come i registi/produttori bilanciano il racconto della storia che vogliono e gli interessi dell'utente.

Qual è stata la sfida più grande che hai dovuto affrontare nel portare sul mercato questo prodotto di intelligenza artificiale, dall'ideazione al lancio?

Lavoro su storage di dati su larga scala, il che può essere molto complicato da capire. Abbiamo varie ottimizzazioni AI sui dati, ma spesso ci sono domande su quando vengono eseguite queste ottimizzazioni, come funzionano, cosa non coprono, ecc. Con questo tipo di domande, è importante assicurarci di avere un messaggio chiaro e coerente su cosa stiamo costruendo e perché. Ho scoperto che spiegare la causa delle limitazioni risuona molto bene con i clienti.

Come immagini che l'intelligenza artificiale si evolverà per comprendere e rispondere meglio alle emozioni umane, e quali sfide o opportunità vedi in questo ambito?

I modelli multimodali miglioreranno notevolmente nei prossimi anni, il che cambierà la nostra modalità primaria di interazione con l'IA. Capire le emozioni umane è notevolmente più facile da informazioni visive o audio rispetto al testo. Penso che ci sia l'opportunità di creare interazioni più naturali in una gamma più ampia di scenari.

Quali parametri di prestazione o KPI monitorate per valutare il successo di questo prodotto di intelligenza artificiale?

Di solito vogliamo vedere un buon feedback e un buon utilizzo. Parlo con i clienti abbastanza spesso per capire come e perché pensano ai nostri prodotti, il che è fondamentale per spiegare perché vediamo certe tendenze nelle metriche.

Come si progetta un'esperienza di prodotto che non sia solo funzionale, ma anche coinvolgente e memorabile per gli utenti?

I prodotti di dati su larga scala sono notoriamente difficili da usare. Gli esempi semplici sono facili da impostare, ma i carichi di lavoro di produzione in genere comportano una configurazione e un codice confusi. Per me è stata una priorità assoluta sviluppare funzionalità di cui i clienti hanno bisogno, rendendo al contempo il prodotto molto semplice da usare.

Il futuro è dove qualsiasi azienda ottiene facilmente insight dai propri dati. Nel mondo attuale, gli insight aziendali basati sui dati sono in genere limitati alle aziende più grandi, ma anche loro preferirebbero un'esperienza più semplice.

Nel lungo termine, come pensi che l'intelligenza artificiale aiuterà l'individuo a raggiungere il suo pieno potenziale?

Per quanto riguarda l'individuo, sono molto entusiasta delle integrazioni dell'IA nell'hardware. Finora, abbiamo visto l'IA in larga parte in applicazioni software come i siti web. Ci sono molte applicazioni più grandi di dispositivi di costruzione che utilizzano l'IA e stiamo già iniziando a vedere alcune di queste implicazioni in auto e telefoni.

Come pensi che evolverà il prodotto nei prossimi anni e quali sono le funzionalità che più ti entusiasmano?

Databricks è sulla buona strada per diventare sempre più semplice e potente allo stesso tempo. Ci sono molti sforzi su cui stiamo lavorando in tutti i settori, dal rendere i dati e il calcolo su larga scala facili da usare al migliorare le prestazioni su query e flussi di lavoro. Personalmente, penso che presto avremo alcune funzionalità entusiasmanti in tutto il prodotto che renderanno i flussi di lavoro molto più semplici con l'intelligenza artificiale. Esempi includono commenti generati dall'intelligenza artificiale sui dati, suggerimenti di codice AI negli editor di notebook e interfacce AI per chattare con i dati (ad esempio, Databricks AI/BI Genie).

Qual è la tua opinione sull'impatto dell'intelligenza artificiale sull'occupazione e come affronti queste preoccupazioni nella tua strategia di prodotto?

Ci sono preoccupazioni sul fatto che l'AI possa ridurre il numero di posti di lavoro. I nostri prodotti sono progettati per aumentare le informazioni preziose, che spesso arrivano insieme agli utenti. Ad esempio, con AI/BI Genie, gli utenti possono creare interfacce sui propri dati. Questa è un'esperienza magica, in cui gli utenti possono porre domande e ottenere risposte specifiche per loro. Infatti, gli utenti possono persino controllare l'SQL utilizzato per confermare che è ciò che stanno cercando. Questo è collaborativo con gli analisti, riducendo il tempo necessario per passare dall'idea all'intuizione.

Quali feedback degli utenti ti hanno sorpreso e hanno portato a cambiamenti nella tua roadmap, strategia o esperienza di prodotto?

Una grande sorpresa per me è stata la complessità di alcune delle aziende più grandi. Ciò introduce requisiti nel prodotto che non avrei preso in considerazione da solo. Un esempio comune è pensare alle strategie di migrazione quando si introduce un nuovo prodotto. In genere, le grandi aziende avranno messo insieme tecnologie esistenti (solitamente software open source) o creato software personalizzato per risolvere il problema che la nostra nuova offerta di prodotti affronta. Di solito ci vuole un po' di tempo per capire perché e come vengono messe insieme per garantire di avere una soluzione che copra tutte le possibilità.