Yaqinda OpenAI deb nomlangan kuchli xususiyatni taqdim etdi, u texnik ommaviy axborot vositalarining e'tiborisiz sahnaga jimgina kirdi - bu tuzatishga loyiq bo'lgan nazorat. Men buni X-da eslatib o'tishganini payqadim, lekin u ko'p reklama qilinmadi. Men unga e'tibor qaratishga qaror qildim, chunki bu juda ajoyib va foydali xususiyat. "Prognozlangan natijalar" o'zlarining ishlab chiquvchi akkauntlarida Prognoz qilingan natijalar, ayniqsa, chiqishning katta qismi oldindan ma'lum bo'lsa, model javoblari uchun kechikishni sezilarli darajada kamaytiradi. Bu xususiyat, ayniqsa, kichik o'zgarishlar bilan matnli hujjatlar yoki kod fayllarini qayta tiklashni o'z ichiga olgan ilovalar uchun foydalidir. Bashorat qilingan natijalar nima? Bashoratli natijalar ishlab chiquvchilarga kutilgan natijani prognoz qilish mumkin bo'lganda Chat Completions-dan API javoblarini tezlashtirishga imkon beradi. Chatni yakunlashda parametridan foydalanib, kutilgan javobni bashorat qilish orqali model kerakli natijani yanada samarali ishlab chiqishi mumkin. Ushbu funksiya hozirda eng so'nggi va modellarida mavjud. prediction gpt-4o gpt-4o-mini Bashorat qilingan natijalar qanday ishlaydi? Kontentning aksariyati allaqachon ma'lum bo'lgan javobingiz bo'lsa, siz ushbu kutilgan tarkibni modelga bashorat sifatida taqdim etishingiz mumkin. Keyin model javobni yaratishni tezlashtirish, kechikishni kamaytirish va ish faoliyatini yaxshilash uchun ushbu bashoratdan foydalanadi. Maxsus misol: Konfiguratsiya fayllarini yangilash Tasavvur qiling, sizda kichik yangilanishni talab qiladigan JSON konfiguratsiya fayli bor. Mana shunday faylga misol: { "appName": "MyApp", "version": "1.0.0", "settings": { "enableFeatureX": false, "maxUsers": 100 } } Aytaylik, siz ga yangilamoqchisiz. Butun faylni noldan yaratish o'rniga, siz asl faylni bashorat sifatida taqdim etishingiz va modelga kerakli o'zgartirishni kiritishingiz mumkin. "enableFeatureX" true import OpenAI from "openai"; const config = ` { "appName": "MyApp", "version": "1.0.0", "settings": { "enableFeatureX": false, "maxUsers": 100 } } `.trim(); const openai = new OpenAI(); const updatePrompt = ` Change "enableFeatureX" to true in the following JSON configuration. Respond only with the updated JSON, without any additional text. `; const completion = await openai.chat.completions.create({ model: "gpt-4o", messages: [ { role: "user", content: updatePrompt }, { role: "user", content: config } ], prediction: { type: "content", content: config } }); // Output the updated configuration console.log(completion.choices[0].message.content); Ushbu misolda model javob vaqtini minimallashtirish uchun bashoratdan foydalangan holda yangilangan konfiguratsiya faylini tezda yaratadi. Bashorat qilingan natijalar bilan oqim Oqimli javoblarni talab qiladigan ilovalar uchun Predicted Outputs kechikish vaqtini yanada qisqartirishni taklif qiladi. Oqim orqali oldingi misolni qanday amalga oshirishingiz mumkin: import OpenAI from "openai"; const config = `...`; // Original JSON configuration const openai = new OpenAI(); const updatePrompt = `...`; // Prompt as before const completion = await openai.chat.completions.create({ model: "gpt-4o", messages: [ /* ... */ ], prediction: { type: "content", content: config }, stream: true }); for await (const chunk of completion) { process.stdout.write(chunk.choices[0]?.delta?.content || ""); } Yozish vaqtida raqobatchilar tomonidan ushbu yechimga alternativa yo'q. OpenAI-ning Bashoratli natijalar xususiyati ma'lum tarkibni kichik o'zgartirishlar bilan qayta tiklashda kechikishni kamaytirishga bo'lgan maxsus ehtiyojni qondiradigan noyob taklif bo'lib ko'rinadi. Dasturchilar uchun maslahatlar Qizig'i shundaki, undan foydalanishni boshlash uchun sizga deyarli hech narsa kerak emas. Uni oling va API so'roviga qo'shish orqali foydalaning. Bu ishlab chiquvchilarga ushbu xususiyatni mavjud ilovalarida amalga oshirishni juda osonlashtiradi. faqat bitta yangi parametr Cheklovlar Prognoz qilingan natijalar muhim afzalliklarga ega bo'lsa-da, muhim fikrlar mavjud: : Faqat va modellari bashorat qilingan natijalarni qo'llab-quvvatlaydi. Menimcha, bu faqat ushbu modellarda mavjud bo'lishi muammo emas, chunki ular hozirda OpenAI-ning eng yaxshi modellari va original GPT-4 baribir buning uchun juda sekin. Modelning muvofiqligi gpt-4o gpt-4o-mini : Rad etilgan bashorat tokenlari ishlab chiqarilgan tokenlar bilan bir xil stavkada to'lanadi. Xarajatlarni boshqarish uchun foydalanish ma'lumotlaridagi kuzatib boring. To'lov oqibatlari rejected_prediction_tokens : Qo'llab-quvvatlanmaydigan parametrlar (qiymatlar 1 dan yuqori) n logprobs (qiymatlar 0 dan katta) presence_penalty (qiymatlar 0 dan katta) frequency_penalty max_completion_tokens (funktsiyani chaqirish qo'llab-quvvatlanmaydi) tools : Faqat matn usullari qo'llab-quvvatlanadi; audio kirish va chiqishlar bashorat qilingan chiqishlar bilan mos kelmaydi. Modallik cheklovlari Xulosa OpenAI-ning bashorat qilingan natijalari - bu sun'iy intellekt ilovalaridagi keng tarqalgan muammoni hal qiluvchi ilg'or xususiyatdir: javobni oldindan aytish mumkin bo'lganda kechikishni kamaytirish. Ishlab chiquvchilarga kutilgan natijalarni taqdim etish imkonini berish orqali u javob vaqtlarini tezlashtiradi va foydalanuvchi tajribasini yaxshilaydi. Mening shaxsiy fikrimcha, OpenAI modellari Anthropic modellari kabi kuchli emas. Biroq, OpenAI boshqa sohalarda juda ko'p ajoyib va haqiqatan ham zarur echimlarni ishlab chiqaradi. Bashoratli natijalar kabi xususiyatlar OpenAI-ni boshqa sun'iy intellekt provayderlaridan ajratib turadi va ishlab chiquvchilar hamjamiyatining muayyan ehtiyojlariga javob beradigan noyob echimlarni taklif qiladi.
