Rezultatet e parashikuara: Tipari OpenAI që ndoshta ju ka humbur

OpenAI prezantoi kohët e fundit një veçori të fuqishme të quajtur Rezultatet e Parashikuara , e cila hyri në heshtje në skenë pa shumë vëmendje nga media teknike - një anashkalim që meriton korrigjim. Vura re që ata e përmendën këtë në X në llogarinë e tyre të zhvilluesit , por nuk mori shumë publicitet. Vendosa t'i tërheq vëmendjen sepse është një veçori vërtet e lezetshme dhe e dobishme.

Rezultatet e parashikuara reduktojnë ndjeshëm vonesën për përgjigjet e modelit, veçanërisht kur pjesa më e madhe e prodhimit është e njohur paraprakisht. Kjo veçori është veçanërisht e dobishme për aplikacionet që përfshijnë rigjenerimin e dokumenteve të tekstit ose skedarëve të kodit me modifikime të vogla.

Cilat janë rezultatet e parashikuara?

Rezultatet e parashikuara u lejojnë zhvilluesve të përshpejtojnë përgjigjet e API-së nga Përfundimet e bisedës kur rezultati i pritur është kryesisht i parashikueshëm. Duke ofruar një parashikim të përgjigjes së pritur duke përdorur parametrin prediction në Përfundimet e bisedës, modeli mund të gjenerojë rezultatin e kërkuar në mënyrë më efikase. Ky funksionalitet është aktualisht i disponueshëm me modelet më të fundit gpt-4o dhe gpt-4o-mini .

Si funksionojnë rezultatet e parashikuara?

Kur keni një përgjigje ku pjesa më e madhe e përmbajtjes është tashmë e njohur, ju mund t'i jepni modelit atë përmbajtje të pritur si një parashikim. Modeli më pas përdor këtë parashikim për të përshpejtuar gjenerimin e përgjigjes, duke reduktuar vonesën dhe duke përmirësuar performancën.

Shembull i personalizuar: Përditësimi i skedarëve të konfigurimit

Imagjinoni që keni një skedar konfigurimi JSON që ka nevojë për një përditësim të vogël. Këtu është një shembull i një skedari të tillë:

 { "appName": "MyApp", "version": "1.0.0", "settings": { "enableFeatureX": false, "maxUsers": 100 } }

Supozoni se dëshironi të përditësoni "enableFeatureX" në true . Në vend që të gjeneroni të gjithë skedarin nga e para, mund të jepni skedarin origjinal si parashikim dhe të udhëzoni modelin të bëjë ndryshimin e nevojshëm.

 import OpenAI from "openai"; const config = ` { "appName": "MyApp", "version": "1.0.0", "settings": { "enableFeatureX": false, "maxUsers": 100 } } `.trim(); const openai = new OpenAI(); const updatePrompt = ` Change "enableFeatureX" to true in the following JSON configuration. Respond only with the updated JSON, without any additional text. `; const completion = await openai.chat.completions.create({ model: "gpt-4o", messages: [ { role: "user", content: updatePrompt }, { role: "user", content: config } ], prediction: { type: "content", content: config } }); // Output the updated configuration console.log(completion.choices[0].message.content);

Në këtë shembull, modeli gjeneron shpejt skedarin e konfigurimit të përditësuar, duke shfrytëzuar parashikimin për të minimizuar kohën e përgjigjes.

Transmetimi me rezultatet e parashikuara

Për aplikacionet që kërkojnë përgjigje të transmetimit, Rezultatet e Parashikuara ofrojnë reduktime edhe më të mëdha të vonesës. Ja se si mund ta zbatoni shembullin e mëparshëm duke përdorur transmetimin:

 import OpenAI from "openai"; const config = `...`; // Original JSON configuration const openai = new OpenAI(); const updatePrompt = `...`; // Prompt as before const completion = await openai.chat.completions.create({ model: "gpt-4o", messages: [ /* ... */ ], prediction: { type: "content", content: config }, stream: true }); for await (const chunk of completion) { process.stdout.write(chunk.choices[0]?.delta?.content || ""); }

Në kohën e shkrimit, nuk ka alternativa për këtë zgjidhje nga konkurrentët. Funksioni i "Produkteve të parashikuara" të OpenAI duket të jetë një ofertë unike që adreson nevojën specifike për reduktimin e vonesës kur rigjenerohet përmbajtje e njohur me modifikime të vogla.

Këshilla për Zhvilluesit

Gjëja më interesante është se për të filluar përdorimin e tij, nuk ju nevojitet pothuajse asgjë. Thjesht merrni dhe përdorni atë duke shtuar vetëm një parametër të ri në kërkesën API. Kjo e bën shumë të lehtë për zhvilluesit që ta zbatojnë këtë veçori në aplikacionet e tyre ekzistuese.

Kufizimet

Ndërsa Produktet e Parashikuara ofrojnë avantazhe të rëndësishme, ka konsiderata të rëndësishme:

• Përputhshmëria e modelit : Vetëm modelet gpt-4o dhe gpt-4o-mini mbështesin rezultatet e parashikuara. Unë mendoj se fakti që është i disponueshëm vetëm në këto modele nuk është aspak problem, sepse ato janë aktualisht modelet më të mira nga OpenAI, dhe GPT-4 origjinale gjithsesi është shumë i ngadaltë për këtë.
• Implikimet e faturimit : Shenjat e parashikimit të refuzuar faturohen me të njëjtin tarifë si argumentet e gjeneruar. Monitoroni rejected_prediction_tokens në të dhënat e përdorimit për të menaxhuar kostot.
• Parametrat e pambështetur :
  • n (vlera më të larta se 1)
  • logprobs
  • presence_penalty (vlerat më të mëdha se 0)
  • frequency_penalty (vlera më të mëdha se 0)
  • max_completion_tokens
  • tools (thirrja e funksionit nuk mbështetet)
• Kufizimet e modalitetit : Mbështeten vetëm modalitetet e tekstit; hyrjet dhe daljet audio janë të papajtueshme me daljet e parashikuara.

konkluzioni

Rezultatet e parashikuara të OpenAI është një veçori novator që adreson një sfidë të zakonshme në aplikacionet e AI: reduktimin e vonesës kur përgjigja është kryesisht e parashikueshme. Duke i lejuar zhvilluesit të ofrojnë rezultatet e pritura, ai përshpejton kohën e përgjigjes dhe përmirëson përvojën e përdoruesit.

Sipas mendimit tim personal, modelet OpenAI nuk janë aq të forta sa modelet e Anthropic. Sidoqoftë, OpenAI prodhon shumë zgjidhje interesante dhe vërtet të nevojshme në fusha të tjera. Veçoritë si Rezultatet e Parashikuara e veçojnë OpenAI-n nga ofruesit e tjerë të AI, duke ofruar zgjidhje unike që plotësojnë nevoja specifike në komunitetin e zhvilluesve.