Sòti Prevwa: Karakteristik OpenAI ou Pwobableman rate

OpenAI dènyèman te prezante yon karakteristik pwisan ki rele Predicted Outputs , ki tou dousman te antre nan sèn nan san anpil atansyon nan medya teknik yo—yon sipèvizyon ki merite koreksyon. Mwen remake ke yo mansyone sa a sou X nan kont pwomotè yo , men li pa t 'jwenn anpil piblisite. Mwen deside atire atansyon sou li paske li se yon karakteristik reyèlman fre ak itil.

Pwodiksyon Predi siyifikativman redwi latansi pou repons modèl, espesyalman lè yo konnen anpil nan pwodiksyon an davans. Karakteristik sa a se patikilyèman benefisye pou aplikasyon ki enplike rejenerasyon dokiman tèks oswa dosye kòd ak modifikasyon minè.

Ki sa ki prevwa rezilta yo?

Sòti Prevwa yo pèmèt devlopè yo akselere repons API soti nan Konplesyon Chat lè pwodiksyon espere a se lajman previzib. Lè yo bay yon prediksyon nan repons espere lè l sèvi avèk paramèt prediction an nan Konplesyon Chat, modèl la ka jenere pwodiksyon obligatwa a pi efikas. Fonksyonalite sa a disponib kounye a ak dènye modèl gpt-4o ak gpt-4o-mini .

Kijan rezilta yo prevwa travay?

Lè ou gen yon repons kote pifò nan kontni an deja konnen, ou ka bay kontni sa a espere kòm yon prediksyon nan modèl la. Lè sa a, modèl la sèvi ak prediksyon sa a akselere jenerasyon an nan repons lan, diminye latansi ak amelyore pèfòmans.

Egzanp Custom: Mizajou Fichye Konfigirasyon

Imajine ou gen yon fichye konfigirasyon JSON ki bezwen yon ti aktyalizasyon. Men yon egzanp yon dosye konsa:

 { "appName": "MyApp", "version": "1.0.0", "settings": { "enableFeatureX": false, "maxUsers": 100 } }

Sipoze ou vle aktyalize "enableFeatureX" a true . Olye pou w jenere fichye a tout antye de grafouyen, ou ka bay dosye orijinal la kòm yon prediksyon epi enstwi modèl la fè chanjman ki nesesè yo.

 import OpenAI from "openai"; const config = ` { "appName": "MyApp", "version": "1.0.0", "settings": { "enableFeatureX": false, "maxUsers": 100 } } `.trim(); const openai = new OpenAI(); const updatePrompt = ` Change "enableFeatureX" to true in the following JSON configuration. Respond only with the updated JSON, without any additional text. `; const completion = await openai.chat.completions.create({ model: "gpt-4o", messages: [ { role: "user", content: updatePrompt }, { role: "user", content: config } ], prediction: { type: "content", content: config } }); // Output the updated configuration console.log(completion.choices[0].message.content);

Nan egzanp sa a, modèl la byen vit jenere fichye konfigirasyon mete ajou, swe prediksyon an pou minimize tan repons lan.

Difizyon ak Sòti Predi

Pou aplikasyon ki mande repons difizyon, Predicted Outputs ofri menm pi gwo rediksyon latansi. Men ki jan ou ka aplike egzanp anvan an lè l sèvi avèk difizyon:

 import OpenAI from "openai"; const config = `...`; // Original JSON configuration const openai = new OpenAI(); const updatePrompt = `...`; // Prompt as before const completion = await openai.chat.completions.create({ model: "gpt-4o", messages: [ /* ... */ ], prediction: { type: "content", content: config }, stream: true }); for await (const chunk of completion) { process.stdout.write(chunk.choices[0]?.delta?.content || ""); }

Nan moman sa a nan ekri a, pa gen okenn altènativ a solisyon sa a soti nan konpetitè. Karakteristik Predicted Outputs OpenAI a parèt kòm yon òf inik ki adrese bezwen espesifik pou rediksyon latansi lè rejenerasyon kontni li te ye ak modifikasyon minè.

Konsèy pou devlopè yo

Bagay la fre se ke yo kòmanse sèvi ak li, ou bezwen prèske anyen. Jis pran li epi sèvi ak li lè w ajoute jis yon nouvo paramèt nan demann API a. Sa fè li trè fasil pou devlopè yo aplike karakteristik sa a nan aplikasyon ki egziste deja yo.

Limitasyon

Pandan ke Predi rezilta yo ofri avantaj enpòtan, gen konsiderasyon enpòtan:

• Modèl konpatibilite : Se sèlman modèl gpt-4o ak gpt-4o-mini ki sipòte rezilta Predi. Mwen panse ke lefèt ke li disponib sèlman sou modèl sa yo se pa yon pwoblèm ditou, paske yo se kounye a pi bon modèl ki soti nan OpenAI, ak orijinal GPT-4 a twò dousman pou sa de tout fason.
• Enplikasyon bòdwo : Siy prediksyon yo rejte yo faktire nan menm pousantaj ak siy ki pwodui yo. Siveye rejected_prediction_tokens yo nan done itilizasyon yo pou jere depans yo.
• Paramèt ki pa sipòte :
  • n (valè ki pi wo pase 1)
  • logprobs
  • presence_penalty (valè ki pi gran pase 0)
  • frequency_penalty (valè ki pi gran pase 0)
  • max_completion_tokens
  • tools (apèl fonksyon pa sipòte)
• Restriksyon sou Modalite : Se sèlman fòm tèks yo sipòte; Antre ak pwodiksyon odyo yo enkonpatib ak Sorti Predi.

Konklizyon

Pwodiksyon Predi OpenAI a se yon karakteristik inogirasyon ki adrese yon defi komen nan aplikasyon AI: diminye latansi lè repons lan se lajman previzib. Lè li pèmèt devlopè yo bay rezilta yo espere, li akselere tan repons ak amelyore eksperyans itilizatè.

Nan opinyon pèsonèl mwen, modèl OpenAI yo pa osi fò ke modèl Anthropic yo. Sepandan, OpenAI pwodui anpil solisyon fre ak reyèlman nesesè nan lòt zòn. Karakteristik tankou Predicted Outputs mete OpenAI apa de lòt founisè AI, ki ofri solisyon inik ki satisfè bezwen espesifik nan kominote devlopè a.