OpenAI je nedavno predstavio snažnu značajku pod nazivom , koja je tiho ušla na scenu bez puno pozornosti tehničkih medija—previd koji zaslužuje ispravak. Primijetio sam da su to spomenuli na X , ali nije dobilo puno publiciteta. Odlučio sam skrenuti pozornost na njega jer je stvarno cool i korisna značajka. Predicted Outputs u svom računu razvojnog programera Predviđeni izlazi značajno smanjuju kašnjenje za odgovore modela, posebno kada je većina rezultata poznata unaprijed. Ova je značajka posebno korisna za aplikacije koje uključuju regeneriranje tekstualnih dokumenata ili kodnih datoteka s manjim izmjenama. Što su predviđeni rezultati? Predviđeni rezultati omogućuju programerima da ubrzaju odgovore API-ja iz dovršetaka razgovora kada je očekivani rezultat u velikoj mjeri predvidljiv. Pružanjem predviđanja očekivanog odgovora pomoću parametra u Završecima razgovora, model može učinkovitije generirati traženi izlaz. Ova je funkcionalnost trenutno dostupna s najnovijim modelima i . prediction gpt-4o gpt-4o-mini Kako funkcioniraju predviđeni rezultati? Kada imate odgovor u kojem je većina sadržaja već poznata, možete unijeti očekivani sadržaj kao predviđanje za model. Model zatim koristi to predviđanje da ubrza generiranje odgovora, smanjujući kašnjenje i poboljšavajući performanse. Prilagođeni primjer: Ažuriranje konfiguracijskih datoteka Zamislite da imate JSON konfiguracijsku datoteku koju je potrebno malo ažurirati. Evo primjera takve datoteke: { "appName": "MyApp", "version": "1.0.0", "settings": { "enableFeatureX": false, "maxUsers": 100 } } Pretpostavimo da želite ažurirati na . Umjesto generiranja cijele datoteke ispočetka, možete dati izvornu datoteku kao predviđanje i uputiti model da izvrši potrebne izmjene. "enableFeatureX" true import OpenAI from "openai"; const config = ` { "appName": "MyApp", "version": "1.0.0", "settings": { "enableFeatureX": false, "maxUsers": 100 } } `.trim(); const openai = new OpenAI(); const updatePrompt = ` Change "enableFeatureX" to true in the following JSON configuration. Respond only with the updated JSON, without any additional text. `; const completion = await openai.chat.completions.create({ model: "gpt-4o", messages: [ { role: "user", content: updatePrompt }, { role: "user", content: config } ], prediction: { type: "content", content: config } }); // Output the updated configuration console.log(completion.choices[0].message.content); U ovom primjeru, model brzo generira ažuriranu konfiguracijsku datoteku, iskorištavajući predviđanje za smanjenje vremena odgovora. Streaming s predviđenim rezultatima Za aplikacije koje zahtijevaju strujanje odgovora, Predicted Outputs nudi još veće smanjenje latencije. Evo kako možete implementirati prethodni primjer koristeći streaming: import OpenAI from "openai"; const config = `...`; // Original JSON configuration const openai = new OpenAI(); const updatePrompt = `...`; // Prompt as before const completion = await openai.chat.completions.create({ model: "gpt-4o", messages: [ /* ... */ ], prediction: { type: "content", content: config }, stream: true }); for await (const chunk of completion) { process.stdout.write(chunk.choices[0]?.delta?.content || ""); } U vrijeme pisanja ovog teksta ne postoje alternative ovom rješenju od konkurencije. Čini se da je OpenAI-jeva značajka Predicted Outputs jedinstvena ponuda koja se bavi specifičnom potrebom za smanjenjem latencije prilikom regeneriranja poznatog sadržaja s manjim izmjenama. Savjeti za programere Fora je što vam za početak korištenja ne treba gotovo ništa. Samo ga uzmite i koristite dodavanjem API zahtjevu. To razvojnim programerima olakšava implementaciju ove značajke u njihove postojeće aplikacije. samo jednog novog parametra Ograničenja Iako predviđeni rezultati nude značajne prednosti, postoje važna razmatranja: : samo modeli i podržavaju predviđene rezultate. Mislim da to što je dostupan samo na ovim modelima uopće nije problem, jer su to trenutno najbolji modeli iz OpenAI-ja, a originalni GPT-4 je ionako prespor za ovo. Kompatibilnost modela gpt-4o gpt-4o-mini : Odbijeni tokeni predviđanja naplaćuju se po istoj stopi kao i generirani tokeni. Pratite u podacima o korištenju za upravljanje troškovima. Posljedice naplate rejected_prediction_tokens : Nepodržani parametri (vrijednosti veće od 1) n logprobs (vrijednosti veće od 0) presence_penalty (vrijednosti veće od 0) frequency_penalty max_completion_tokens (poziv funkcije nije podržan) tools : Podržani su samo tekstualni modaliteti; audio ulazi i izlazi nisu kompatibilni s predviđenim izlazima. Ograničenja modaliteta Zaključak OpenAI's Predicted Outputs je revolucionarna značajka koja se bavi uobičajenim izazovom u AI aplikacijama: smanjenje latencije kada je odgovor u velikoj mjeri predvidljiv. Omogućujući programerima da isporuče očekivane rezultate, ubrzava vrijeme odziva i poboljšava korisničko iskustvo. Po mom osobnom mišljenju, OpenAI modeli nisu tako jaki kao Anthropicovi modeli. Međutim, OpenAI proizvodi mnogo cool i stvarno potrebnih rješenja u drugim područjima. Značajke poput Predicted Outputs izdvajaju OpenAI od ostalih AI pružatelja, nudeći jedinstvena rješenja koja zadovoljavaju specifične potrebe u zajednici programera.
