Stora språkmodeller är en viktig del av moderna digitala produkter. På toppen av denna våg är de företag som har bränt igenom mer än en biljon OpenAI-tokens. Tabellen, extrapolerad från en nyligen OpenAI-demodagslista och följaktligen började cirkulera på X / Twitter, listar 30 kunder som kollektivt konsumerade en otrolig mängd AI API-samtal. Nedan är en djupare titt på vad varje företag gör, hur de distribuerar generativ AI, och en kort titt på varför och hur deras tokenanvändning kan vara så hög. Abridge Abridge är ett miljö AI-företag som fokuserar på vårddokumentation. Det registrerar läkar-patientkonversationer och sammanfattar dem till strukturerade kliniska anteckningar (SOAP-anteckningar) med hjälp av avancerad bearbetning av naturligt språk och maskininlärningsmodeller, genererar sammanfattningar i realtid, åtgärdsartiklar och viktiga medicinska termer. . Översikt över Abridge AI Canva Canva är en visuell kommunikationsplattform med 175 miljoner månatliga användare.En OpenAI-fallstudie beskriver hur Canvas Magic Studio använder GPT-4 för multimodal innehållsgenerering, vilket möjliggör funktioner som Magic Write (textgenerering), Magic Design (skapande av presentationer och videor), Magic Switch (översättning och anpassning av innehåll) och mer. . Canva fallstudie Kognition Cognition AI är startup bakom Devin, räknat som världens första AI-programvaruingenjör. Devin, som drivs av OpenAI: s GPT-4-grundmodell, kan självständigt ta itu med komplexa tekniska uppgifter som att skriva kod, debugga och distribuera applikationer. Att köra agentiska loopar för att planera, koda och testa programvara kräver långa kontextfönster och upprepade resonemangssteg, vilket driver användning av token. . Analys av Voiceflow CodeRabbit CodeRabbit tillhandahåller automatiserad kod granskning och kvalitetssäkringstjänster. den använder OpenAI: s modeller för att analysera diffs, resonera om programstrukturen och föreslå korrigeringar; kontinuerlig kod granskning över tusentals lagringsplatser leder till extremt stora token räkningar. För mer . CodeRabbit produktsida Datadog Datadog är en observabilitetsplattform som används av utvecklare och operativa team. Vid sin 2023 Dash-konferens introducerade företaget Bits AI, en digital assistent byggd på OpenAI: s ChatGPT som ger rekommendationer i realtid för problem som varningar och anomalier, och lanserade en produkt som heter LLM Observability för att övervaka anpassade LLMs. Eftersom Bits AI är integrerad i instrumentpaneler som övervakar tusentals tjänster och loggar, och eftersom LLM Observability analyserar uppmaningar och svar, är tokenantalet enormt. . Från DevOps.com Decagon Decagon tillhandahåller fullt automatiserad kundsupport. Den använder GPT-3.5, GPT-4, och GPT-4o för att driva agentbots som hanterar miljontals kundsamtal över företag som Duolingo, Notion och Substack. Dessa bots hanterar hela supportlivscykeln – svara på frågor, lösa problem och eskalera när det behövs – vilket orsakar tokenberäkningar att stiga. . Historien om Decagon Delfiner Delphi bygger personliga "Digital Minds" chatbots för skapare och inflytelserika. Dess RAG-rörledning absorberar podcasts, PDF-filer och sociala medier för att träna dessa chatbots och använder en hanterad vektordatabas för att lagra mer än 100 miljoner inbäddningar. Utbildning och uppdatering av tusentals digitala personer över olika innehållskällor driver hög tokenanvändning. . Denna rapport om Delphi skalning med RAG Duolingo Duolingo är världens största språk-lärande app, känd för sina spelade lektioner och bred distribution. Det samarbetade med OpenAI för att integrera GPT-4 i Duolingo Max, som erbjuder funktioner som "Förklara mitt svar" och Role Play, vilket gör det möjligt för elever att ha samtal med en virtuell barista eller turistguide och få detaljerad feedback. Dessa personliga, kontextmedvetna övningar är bara möjliga eftersom varje inlärarfråga och svar är tokeniserat, vilket förklarar varför företaget samlade mer än en biljon tokens. . Denna artikel om Duolingo AI-funktioner Genspark AI Genspark AI (även känd som Sparks) är en kinesisk AI-startup grundad av tidigare Baidu-chefer Eric Jing och Kay Zhu. Företaget använder en Mixture-of-Agents-arkitektur som orkestrerar över 80 verkliga verktyg för att utföra användaruppgifter, har samlat in 160 miljoner dollar och lockat mer än två miljoner användare. . Genspark Introduktion Harvey Harvey bygger säkra generativa AI-verktyg för lag, skatter och finans. Harvey samarbetade med OpenAI för att utveckla en anpassad rättspraxismodell; plattformen kan utarbeta dokument, svara på frågor om tvistemålsscenarier och identifiera avvikelser i kontrakt. . Harvey berättelse HubSpot och Dashworks HubSpot förvärvade Dashworks, en AI-driven arbetsplatssökningsassistent. Dashworks ansluter data över appar, utför djup sökning och sammanfattar viktiga detaljer. Dess team kommer att hjälpa till att bygga AI-assistenter för varje go-to-marknadsarbetare. Dashworks förmåga att intag och resonemang över företags kunskapsbaser använder stora kontextfönster; att integrera detta i HubSpot Breeze Copilot multiplicerar användningen av token över tusentals kunder. . HubSpot meddelande lösningar iSolutionsAI bygger anpassade maskininlärningsmodeller och AI-chatbots för företag. Integrering av OpenAI-modeller i varje kunds arbetsflöde resulterar i många långa kontextfönster (kundfrågor, CRM-historier etc.), vilket förklarar den höga tokenvolymen. . iSolutionsAI tjänster sida Verkligen Faktum är att det driver världens största arbetsmarknad. Dess ingenjörsteam har länge använt maskininlärningsalgoritmer för att matcha jobbsökande och arbetsgivare, och under de senaste åren har det lagt till generativa AI-modeller för att förbättra dessa rekommendationer. . Intervju med CIO JetBrains JetBrains gör populära utvecklingsverktyg som IntelliJ och PyCharm. Dess AI-assistent drivs av OpenAI: s API, som företaget integrerade på grund av sin avancerade resonemang och användarvänlighet. Assistent hjälper miljontals utvecklare att generera tester, refaktor kod, skriva kommitté meddelanden och klargöra fel. Med tanke på storleken på sin användarbas, även enkla kodförslag översätts till enorma token räkningar. . JetBrains AI-assistent FAQ Fri marknad Mercado Libre är Latinamerikas största e-handel och fintech-företag. Företaget byggde Verdi, en AI-utvecklingsplattform som utnyttjar GPT-4o och andra modeller för att hantera komplexa uppgifter som kundserviceförmedling, bedrägeridetektering, lokalisering och sammanfattande recensioner. . Översikt över Verdi Begreppet Det förvandlade sin produkt till en djupt AI-driven plattform genom att integrera OpenAI-modeller för att sammanfatta sidor, generera skrivning och svara på frågor över arbetsytan.Kombinationen av en massiv användarbas och generativa funktioner som Notion AI leder till ett enormt tokenavtryck. . Den öppna berättelsen Om OpenRouter OpenRouter kör en marknadsplats-stil API som gör det möjligt för utvecklare att komma åt hundratals stora språkmodeller via en enda endpoint. Plattformen stöder OpenAI, Anthropic, Google, Meta och Mistral-modeller och hanterar automatiskt fallback och kostnadseffektiv routing. Eftersom varje begäran som görs av tusentals klientprogram proxys via OpenRouter, företagets kumulativa token räknas snabbt. . Översikt över OpenRouter Uttake Outtake erbjuder AI-driven cybersäkerhetsautomation. Dess agentplattform upptäcker och åtgärdar attacker på timmar, automatiserar både upptäckt och svar. Cybersäkerhetsarbetsbelastningar kräver analys av omfattande loggar och telemetriflöden; med hjälp av OpenAI-modeller för att sortera, förklara varningar och generera åtgärdsskript förbrukar miljarder tokens. . Outtake Cybersäkerhetshistoria förvirring Perplexity AI är en AI-driven sökmotor som svarar på frågor med citerade källor. Perplexity Pro-prenumerationen innehåller avancerade modeller från OpenAI, såsom GPT-5 och OpenAI: s o-serie modeller, tillsammans med antropiska och öppen källkodsmodeller. När användare utför proffsökningar kan systemet ringa OpenAI-modeller för djup resonemang och webbsökning. . The Perplexity Pro hjälp artikel Rampen Ramp är ett fintech-företag som automatiserar företagsutgifter. Dess AI-agenter automatiserar utgiftsrapportering, inköp och bokföring. Dessa agenter, byggda på OpenAI-modeller, måste analysera och tolka kvitton, e-postmeddelanden och fakturor i stor skala; varje dokument bidrar med tokens, och den sammanlagda volymen från tusentals kunder överstiger snabbt en biljon. . PYMNTS’ rapport Läs AI Läs AI skapar mötesproduktivitetsverktyg som automatiskt sammanfattar konversationer, e-postmeddelanden och chattar. Det lyssnar på Zoom eller Google Meet-samtal och sammanfattar snabbt konversationer, vilket ger transkript, coaching och kondensering av meddelanden över e-posttrådar. . Artikeln om Siliconangle Rox Rox bygger en AI-driven intäktsoperationsplattform. Den förenar fragmenterade go-to-market-data till ett enda system av register och använder svärmar av OpenAI-drivna agenter för att leverera insikter och automatisera arbetsflöden för försäljningsteam. Data wrangling och kontinuerlig agentisk bearbetning över miljontals försäljningsinteraktioner leder till tung tokenanvändning. . Den öppna profilen Salesförmåga Salesforce är en CRM-jätte som integrerar AI djupt i sina produkter. Dess Einstein GPT-erbjudande bygger på OpenAI:s språkmodeller och genererar personligt innehåll (e-postmeddelanden, försäljningshandlingar, kod) direkt i Salesforce-dashboards. . Salesforce Einstein översikt Siderna AI Sider är en webbläsartillägg som fungerar som en allt-i-ett AI-assistent. Det ger användare tillgång till flera AI-modeller (ChatGPT, Claude, Gemini), sammanfattar artiklar, genomför gruppchattar, sammanfattar YouTube-videor och ger verktyg som Wisebase (kunskapsbas), ChatPDF och AI Slides. Stöd för ett sådant brett utbud av funktioner för miljontals användare leder till ett stort antal tokeniserade uppmaningar och svar. . The Sider AI översyn Shopify Shopify driver mer än en miljon onlinebutiker. OpenAI samarbetade med Etsy och Shopify för att tillåta användare att köpa objekt direkt via ChatGPT, med Shopify-handlare som kan sälja inuti konversationen utan omdirigeringar. Kombinera det med Shopify Magic, plattformens generativa AI-assistent för produktbeskrivningar och marknadsföringskopia, och det är tydligt varför tokenanvändning är så hög. . Reuters meddelande T-Mobil T-Mobile utnyttjar generativ AI för kundsupport. Det bygger IntentCX, en realtids, avsikt-driven AI-beslutsplattform med OpenAI som kommer att ge nästa bästa åtgärder och minska service samtal med upp till 75 %. . CX Dagens artikel Tiger Analys Tiger Analytics är ett konsultföretag som specialiserat sig på avancerad analys och AI. År 2024 tillkännagav företaget ett strategiskt samarbete med AWS för att påskynda utvecklingen och utbyggnaden av generativa AI-lösningar och kombinera sin domänkompetens med AWS:s infrastruktur. . Pressmeddelande från CRN India Hämta.dev Warp.dev bygger en modern, AI-driven terminal. Warp integrerar AI för att föreslå kommandon, generera kod, felsöka fel och ge en IDE-liknande upplevelse. Funktioner som Warp Drive tillåter användare att spara återanvändbara kommandon och interaktiva körböcker, medan AI-assistenten kan planera och utföra komplexa arbetsflöden. Varje interaktion med AI åberopar språkmodeller, vilket resulterar i hög tokenförbrukning. . The Warp AI Översikt WHOOP WHOOP är ett bärbart fitnessföretag som erbjuder personlig hälsocoaching. Företagets GPT-4-drivna tränare svarar på frågor om träningsrutiner, återhämtning och sömn med hjälp av data som samlas in av WHOOP-remmen, vilket ger alltid-on-vägledning. Eftersom varje användares 24/7 sensordata konverteras till prompts, token användning naturligtvis skyrockets. . Den öppna framgångshistorien Zendesk Zendesk är en plattform för kundupplevelse. Företaget samarbetade med OpenAI och lanserade GPT-4o till alla Zendesk AI-kunder, vilket möjliggör generativa svar som är tre gånger snabbare och mer exakta vid generering av mänskliga svar från kunskapsbaser. . Nyheter från Zendesk Är Heavy Token användning bra eller dåligt? I slutet av listan måste man fråga om att bränna genom trillioner av tokens är ett tecken på hälsosam tillväxt eller förlorade utgifter. "Detta är som att spendera en miljon dollar på spel och kasinot ger dig ett gratis hotellrum för natten" - ett färgglatt sätt att notera att brinnande datorer inte garanterar långsiktigt värde. journalisten Lauren Goode På den positiva sidan indikerar tung tokenanvändning vanligtvis stark produktupptagning och djup integration av generativ AI i arbetsflöden, vilket kan motivera högre värderingar genom förbättrad produktivitet och kundnöjdhet. Bildkredit från: Deedy från Data extrapolerade från OpenAI demo dag en biljon+ tokens förbrukade bild. Deedy från
