OpenAI prezantoi kohët e fundit një veçori të fuqishme të quajtur , e cila hyri në heshtje në skenë pa shumë vëmendje nga media teknike - një anashkalim që meriton korrigjim. Vura re që ata e përmendën këtë në X , por nuk mori shumë publicitet. Vendosa t'i tërheq vëmendjen sepse është një veçori vërtet e lezetshme dhe e dobishme. Rezultatet e Parashikuara në llogarinë e tyre të zhvilluesit Rezultatet e parashikuara reduktojnë ndjeshëm vonesën për përgjigjet e modelit, veçanërisht kur pjesa më e madhe e prodhimit është e njohur paraprakisht. Kjo veçori është veçanërisht e dobishme për aplikacionet që përfshijnë rigjenerimin e dokumenteve të tekstit ose skedarëve të kodit me modifikime të vogla. Cilat janë rezultatet e parashikuara? Rezultatet e parashikuara u lejojnë zhvilluesve të përshpejtojnë përgjigjet e API-së nga Përfundimet e bisedës kur rezultati i pritur është kryesisht i parashikueshëm. Duke ofruar një parashikim të përgjigjes së pritur duke përdorur parametrin në Përfundimet e bisedës, modeli mund të gjenerojë rezultatin e kërkuar në mënyrë më efikase. Ky funksionalitet është aktualisht i disponueshëm me modelet më të fundit dhe . prediction gpt-4o gpt-4o-mini Si funksionojnë rezultatet e parashikuara? Kur keni një përgjigje ku pjesa më e madhe e përmbajtjes është tashmë e njohur, ju mund t'i jepni modelit atë përmbajtje të pritur si një parashikim. Modeli më pas përdor këtë parashikim për të përshpejtuar gjenerimin e përgjigjes, duke reduktuar vonesën dhe duke përmirësuar performancën. Shembull i personalizuar: Përditësimi i skedarëve të konfigurimit Imagjinoni që keni një skedar konfigurimi JSON që ka nevojë për një përditësim të vogël. Këtu është një shembull i një skedari të tillë: { "appName": "MyApp", "version": "1.0.0", "settings": { "enableFeatureX": false, "maxUsers": 100 } } Supozoni se dëshironi të përditësoni në . Në vend që të gjeneroni të gjithë skedarin nga e para, mund të jepni skedarin origjinal si parashikim dhe të udhëzoni modelin të bëjë ndryshimin e nevojshëm. "enableFeatureX" true import OpenAI from "openai"; const config = ` { "appName": "MyApp", "version": "1.0.0", "settings": { "enableFeatureX": false, "maxUsers": 100 } } `.trim(); const openai = new OpenAI(); const updatePrompt = ` Change "enableFeatureX" to true in the following JSON configuration. Respond only with the updated JSON, without any additional text. `; const completion = await openai.chat.completions.create({ model: "gpt-4o", messages: [ { role: "user", content: updatePrompt }, { role: "user", content: config } ], prediction: { type: "content", content: config } }); // Output the updated configuration console.log(completion.choices[0].message.content); Në këtë shembull, modeli gjeneron shpejt skedarin e konfigurimit të përditësuar, duke shfrytëzuar parashikimin për të minimizuar kohën e përgjigjes. Transmetimi me rezultatet e parashikuara Për aplikacionet që kërkojnë përgjigje të transmetimit, Rezultatet e Parashikuara ofrojnë reduktime edhe më të mëdha të vonesës. Ja se si mund ta zbatoni shembullin e mëparshëm duke përdorur transmetimin: import OpenAI from "openai"; const config = `...`; // Original JSON configuration const openai = new OpenAI(); const updatePrompt = `...`; // Prompt as before const completion = await openai.chat.completions.create({ model: "gpt-4o", messages: [ /* ... */ ], prediction: { type: "content", content: config }, stream: true }); for await (const chunk of completion) { process.stdout.write(chunk.choices[0]?.delta?.content || ""); } Në kohën e shkrimit, nuk ka alternativa për këtë zgjidhje nga konkurrentët. Funksioni i "Produkteve të parashikuara" të OpenAI duket të jetë një ofertë unike që adreson nevojën specifike për reduktimin e vonesës kur rigjenerohet përmbajtje e njohur me modifikime të vogla. Këshilla për Zhvilluesit Gjëja më interesante është se për të filluar përdorimin e tij, nuk ju nevojitet pothuajse asgjë. Thjesht merrni dhe përdorni atë duke shtuar në kërkesën API. Kjo e bën shumë të lehtë për zhvilluesit që ta zbatojnë këtë veçori në aplikacionet e tyre ekzistuese. vetëm një parametër të ri Kufizimet Ndërsa Produktet e Parashikuara ofrojnë avantazhe të rëndësishme, ka konsiderata të rëndësishme: : Vetëm modelet dhe mbështesin rezultatet e parashikuara. Unë mendoj se fakti që është i disponueshëm vetëm në këto modele nuk është aspak problem, sepse ato janë aktualisht modelet më të mira nga OpenAI, dhe GPT-4 origjinale gjithsesi është shumë i ngadaltë për këtë. Përputhshmëria e modelit gpt-4o gpt-4o-mini : Shenjat e parashikimit të refuzuar faturohen me të njëjtin tarifë si argumentet e gjeneruar. Monitoroni në të dhënat e përdorimit për të menaxhuar kostot. Implikimet e faturimit rejected_prediction_tokens : Parametrat e pambështetur (vlera më të larta se 1) n logprobs (vlerat më të mëdha se 0) presence_penalty (vlera më të mëdha se 0) frequency_penalty max_completion_tokens (thirrja e funksionit nuk mbështetet) tools : Mbështeten vetëm modalitetet e tekstit; hyrjet dhe daljet audio janë të papajtueshme me daljet e parashikuara. Kufizimet e modalitetit konkluzioni Rezultatet e parashikuara të OpenAI është një veçori novator që adreson një sfidë të zakonshme në aplikacionet e AI: reduktimin e vonesës kur përgjigja është kryesisht e parashikueshme. Duke i lejuar zhvilluesit të ofrojnë rezultatet e pritura, ai përshpejton kohën e përgjigjes dhe përmirëson përvojën e përdoruesit. Sipas mendimit tim personal, modelet OpenAI nuk janë aq të forta sa modelet e Anthropic. Sidoqoftë, OpenAI prodhon shumë zgjidhje interesante dhe vërtet të nevojshme në fusha të tjera. Veçoritë si Rezultatet e Parashikuara e veçojnë OpenAI-n nga ofruesit e tjerë të AI, duke ofruar zgjidhje unike që plotësojnë nevoja specifike në komunitetin e zhvilluesve.
