"Framtiden är där alla företag enkelt får insikter från sina data" säger Aniruth från Databricks

På HackerNoon värdesätter vi berättelser om att bygga banbrytande teknik. De här frågorna handlar inte bara om AI-mekanik – de handlar om innovationen, utmaningarna och kreativiteten att få liv i banbrytande verktyg, en perfekt passform för vår gemenskap av tekniska ledare, byggare och framtidsinriktade läsare.

Introduktion

Jag heter Aniruth . Jag arbetar i lagringsteamet på Databricks , där vi arbetar med att göra det möjligt för kunder att spara stora mängder data i ett öppet, skalbart format med vår Data Intelligence Platform. Specifikt arbetar jag med våra interoperabilitetsinsatser med Delta Lake och Apache Iceberg.

HackerNoon: Vilket är huvudproblemet som din AI-produkt är designad för att lösa, och vad är effektivt med ditt sätt att lösa det?

Aniruth : Databricks förenar data och AI för att ge kunderna handlingsbar intelligens – det vi kallar dataintelligens. Detta inkluderar intag av stora mängder data, ETL, storskalig lagring, affärsinformationsfrågor och AI-arbetsbelastningar. Teknikerna som använts inom maskininlärning under det senaste decenniet har funnits sedan 1980-talet; ökningen av big data gjorde det möjligt att köra algoritmer i stor skala.

Tekniker som få skottuppmaning eller RAG förlitar sig på data av hög kvalitet. Modeller som har bättre data vinner mot de med bättre arkitekturer. Databricks har lagt betydande investeringar i ledande insatser inom dataområdet, banbrytande för lakehouse-arkitekturen med öppna dataformat och öppen styrning, där kunder kan få de bästa insikterna med bästa prestanda från datasjöar.

Vilka kriterier använde du för att välja de specifika AI-modellerna för den här produkten, och hur fattar ditt företag sådana här beslut?

Vi använder AI-modeller på ett antal sätt i produkten – som Llama 3 för AI Assistant. Vi tror på ett öppet data- och AI-ekosystem och uppmuntrar våra kunder att använda vilken modell som helst. Vi hjälper till att se till att kunderna har end-to-end-styrning över hela AI-livscykeln oavsett vilka modeller de använder, så att de kan fokusera på att göra sina modeller specialbyggda för deras användningsfall.

Hur säkerställer du att din produkt levererar korrekta och opartiska resultat till användarna?

Vi har lagt ned betydande ansträngningar och investeringar på att prioritera noggrannhet och opartiska svar för AI-användning i våra produkter, och fortsätter att utföra frekventa tester.

Hur är din dag i livet som produktchef?

Data- och AI-utrymmet utvecklas snabbt, så det är mycket viktigt att hålla sig uppdaterad. Min dag kan innehålla att prata med kunder, marknadsanalyser, sätta ihop ett produktkravdokument eller förbereda marknadsföringsmaterial. Min favoritdel är att få göra diagram som illustrerar hur saker och ting kommer att fungera, eftersom det är ganska kul att omvandla en idé till en visuell.

Vad är nästa stora genombrott inom AI som alla borde titta efter?

Det kommer många stora genombrott snart. En som jag är särskilt intresserad av är hyperpersonalisering av innehåll. Under det senaste decenniet har annonser finjusterats till den specifika tittaren. Vissa delar av innehållet har justerats, till exempel vilken miniatyrbild Netflix visar en användare, men det faktiska innehållet (videon i sig) har inte gjort det. Det ska bli intressant att se hur regissörer/producenter balanserar att berätta historien de vill och användarens intressen.

Vilken har varit den största utmaningen du har ställts inför för att få ut den här AI-produkten på marknaden, från idé till lansering?

Jag arbetar med storskalig datalagring, vilket kan vara väldigt förvirrande att förstå. Vi har olika AI-optimeringar på data, men det finns ofta frågor om när dessa optimeringar körs, hur de fungerar, vad de inte täcker, etc. Med den här typen av frågor är det viktigt att se till att vi har tydliga, konsekventa meddelanden om vad vi bygger och varför. Jag har märkt att att förklara orsaken till begränsningar resonerar mycket bra hos kunderna.

Hur ser du för dig att AI utvecklas för att bättre förstå och svara på mänskliga känslor, och vilka utmaningar eller möjligheter ser du i det området?

Multimodala modeller kommer att bli betydligt bättre under de kommande åren, vilket kommer att förändra vårt primära sätt att interagera med AI. Att räkna ut mänskliga känslor är betydligt lättare från visuell eller ljudinformation jämfört med text. Jag tror att det finns en möjlighet att skapa mer naturliga interaktioner i ett bredare spektrum av scenarier.

Vilka prestandamått eller KPI:er spårar du för att mäta framgången för denna AI-produkt?

Vi vill vanligtvis se bra feedback och användning. Jag pratar med kunder ganska ofta för att få en känsla av hur och varför de tänker på våra produkter, vilket är nyckeln till att förklara varför vi ser vissa trender i mått.

Hur ser du på att designa en produktupplevelse som inte bara är funktionell utan också engagerande och minnesvärd för användarna?

Storskaliga dataprodukter är notoriskt utmanande att använda. Enkla exempel är lätta att ställa in, men produktionsbelastningar involverar vanligtvis förvirrande konfiguration och kod. Det har varit högt prioriterat för mig att bygga ut funktionalitet som kunderna behöver, samtidigt som produkten är väldigt enkel att använda.

Framtiden är där alla företag enkelt får insikter från sin data. I den nuvarande världen är datadrivna affärsinsikter vanligtvis begränsade till de största företagen - men även de skulle föredra en enklare upplevelse.

På lång sikt, hur tror du att AI kommer att hjälpa individen att nå sin fulla potential?

För individen är jag väldigt exalterad över AI-integrationer i hårdvara. Hittills har vi till stor del sett AI i programvaror som webbplatser. Det finns många större tillämpningar för att bygga enheter som använder AI, och vi börjar redan se några av dessa konsekvenser i bilar och telefoner.

Var ser du produkten utvecklas under de närmaste åren, och vilka funktioner är du mest glada över att lägga till?

Databricks är på väg mot att bli allt enklare och kraftfullare på samma gång. Det finns många ansträngningar som vi arbetar med över hela linjen, från att göra storskalig data och datorer lätta att arbeta med till att förbättra prestanda för frågor och arbetsflöden. Personligen tror jag att vi snart har några spännande funktioner i hela produkten som gör arbetsflöden mycket enklare med AI. Exempel inkluderar AI-genererade kommentarer på data, AI-kodförslag i anteckningsbokens redigerare och AI-gränssnitt för att chatta med data (till exempel Databricks AI/BI Genie).

Vad är ditt perspektiv på AI:s inverkan på jobb, och hur hanterar du dessa problem i din produktstrategi?

Det finns farhågor om huruvida AI skulle minska antalet jobb. Våra produkter är designade för att öka värdefulla insikter, som ofta kommer i samband med användarna. Till exempel, med AI/BI Genie kan användare skapa gränssnitt på sin egen data. Detta är en magisk upplevelse, där användare kan ställa frågor och få svar som är specifika för dem. Faktum är att användarna till och med kan kontrollera SQL som används för att bekräfta att det är vad de letar efter. Detta är ett samarbete med analytiker, vilket minskar tiden det tar för dem att gå från idé till insikt.

Vilken feedback från användare överraskade dig och ledde till förändringar i din färdplan, strategi eller produktupplevelse?

En stor överraskning för mig var komplexiteten som vissa av de större företagen har. Detta inför krav i produkten som jag inte skulle ha övervägt på egen hand. Ett vanligt exempel är att tänka på migrationsstrategier när man introducerar en ny produkt. Vanligtvis kommer stora företag antingen ha satt ihop befintliga teknologier (vanligen mjukvara med öppen källkod) eller byggt anpassad programvara för att lösa problemet som vårt nya produktutbud löser. Det tar vanligtvis lite tid att förstå varför och hur dessa sätts ihop för att säkerställa att vi har en lösning som täcker alla möjligheter.