Èske ChatGPT ka predi lavni an?

Tablo Lyen yo

Abstract ak 1 Entwodiksyon

2 Dirèk vs Naratif Prediksyon

3 Methodoloji pou ankouraje ak koleksyon done

4 Rezilta

4.1 Etabli Limit Done Fòmasyon an ak Falsifikasyon

4.2 Rezilta Previzyon Prim Akademi 2022 yo

5 Predi Varyab Makroekonomik

5.1 Predi enflasyon ak yon Pwofesè Ekonomi

5.2 Predi enflasyon ak yon Jerome Powell, Prezidan Fed

5.3 Predi enflasyon ak Jerome Powell ak ankouraje ak envazyon Larisi a nan Ikrèn

5.4 Predi Chomaj ak yon Pwofesè Ekonomi

6 Konjekti sou kapasite prediktif ChatGPT-4 nan fòm naratif

7 Konklizyon ak rekonesans

Apendis

A. Distribisyon Gayan yo Prevwa Akademi yo

B. Distribisyon Varyab Makroekonomik Prevwa

Referans

Résumé

Etid sa a mennen ankèt sou si ChatGPT-3.5 ak ChatGPT-4 OpenAI a kapab byen prevwa evènman nan lavni lè l sèvi avèk de estrateji distenk pou ankouraje. Pou evalye presizyon prediksyon yo, nou pwofite lefèt ke done fòmasyon yo nan moman eksperyans yo te sispann nan mwa septanm 2021, epi mande sou evènman ki te pase nan 2022 lè l sèvi avèk ChatGPT-3.5 ak ChatGPT-4. Nou te itilize de estrateji pou ankouraje: prediksyon dirèk ak sa nou rele naratif lavni ki mande ChatGPT pou rakonte istwa fiksyon ki tabli nan tan kap vini an ak karaktè ki pataje evènman ki te rive yo, men apre done fòmasyon ChatGPT yo te kolekte. Konsantre sou evènman an 2022, nou te pouse ChatGPT angaje yo nan rakonte istwa, sitou nan kontèks ekonomik yo. Apre nou fin analize 100 envit, nou te dekouvri envit naratif nan lavni yo te amelyore siyifikativman presizyon previzyon ChatGPT-4 la. Sa a te espesyalman evidan nan prediksyon li yo sou gwo ganyan Akademi Prim yo ansanm ak tandans ekonomik yo, dènye a dedwi nan senaryo kote modèl la imite figi piblik tankou Prezidan Rezèv Federal la, Jerome Powell. Konklizyon sa yo endike ke envit naratif ogmante kapasite modèl yo pou konstriksyon naratif alisinasyon, fasilite sentèz done ak ekstrapolasyon pi efikas pase prediksyon senp. Rechèch nou an revele nouvo aspè nan kapasite prediksyon LLM yo epi sijere aplikasyon potansyèl nan lavni nan kontèks analyse.

1 Entwodiksyon

Avansman rapid teknolojik nan entèlijans atifisyèl depase konpreyansyon nou sou ka itilizasyon li yo. Gwo modèl langaj (LLMs) tankou GPT-4 OpenAI a ka imite lapawòl moun entèlijan epi yo ka fè travay kognitif ki koute chè ki chanje pwodwi majinal travayè yo, men li pa klè rive nan travay sa yo. Nan prensip, bay modèl sa yo se machin prediksyon, yo ka bay moun ak yon nouvo aparèy previzyon (Agrawal et al., 2018). Men, ki jan egzat yo se enkoni an pati paske nouvo teknoloji sa yo sanble mal konprann menm pa kreyatè li yo.

Kolòn vètebral la nan forefront aktyèl la nan LLMs se yon achitekti ki rele transformateur jeneratif pre-antre, oswa GPT. Achitekti sa a te revolisyone pwosesis langaj natirèl (NLP) lè li te kaptire relasyon tèks konplike atravè mekanis oto-atansyon (Vaswani et al., 2017). Entwodiksyon OpenAI nan GPT-3.5 nan Novanm 2022 ak siksesè li, GPT-4, nan mwa Mas 2023 make etap enpòtan nan evolisyon GPT la. Avèk gwo rezo neral yo ki te antrene davans sou divès kòpora tèks, modèl sa yo genyen yon kapasite san parèy pou konprann ak jenere langaj, menmsi aplikasyon yo nan previzyon, sitou evènman nan lavni, rete pa eksplore akòz limit nannan nan done fòmasyon yo.

Youn nan bagay ki fè LLM yo inik se ke yon gwo kantite entrées yo nan seri done fòmasyon anvan modèl yo. Ansanm done fòmasyon sa yo gen plizyè milya tèks enkoni ki te panse yo genyen yon kantite materyèl ki disponib sou entènèt (Hughes, 2023). OpenAI kache jisteman sou ki ansèyman yo te resevwa fòmasyon (Schaul et al., 2023), men yo konsidere gwosè modèl yo, ansanm ak kapasite siksè li pou reyalize diskou konvèsasyon, yo panse ke seri done fòmasyon yo gen ladan yon gwo pakèt materyèl sou entènèt.

Etid sa a inikman pozisyone tèt li nan entèseksyon kapasite jeneratif LLM yo ak potansyèl yo pou analiz prediksyon. Lè nou itilize GPT-3.5 ak GPT-4, nou chèche konnen si diferan estrateji pouse yo ka fòse ChatGPT pou prevwa evènman nan lavni pi byen. Pou teste siksè prévisions nou an, nou te pwofite fwontyè natirèl OpenAI tabli a. Nan moman eksperyans nou an nan mitan ane 2023 la, dènye aktyalizasyon fòmasyon OpenAI a te se septanm 2021 (OpenAI, 2024a).[1] Etandone done fòmasyon ChatGPT nan epòk la pa t gen enfòmasyon sou evènman 2022 yo, nou te kapab eksplore si wi ou non li te kapab eksplwate modèl nan done fòmasyon li yo, ki te sispann nan mwa septanm 2021, pou prevwa avèk presizyon evènman ki gen valè sosyal ak ekonomik, tankou ganyan yo nan Prim Akademi 2022 yo, to chomaj chak mwa jiska mwa septanm22.

Youn nan karakteristik LLM yo, menm si, se yo ke yo trè kreyatif. Kreyativite sa a se tou de yon karakteristik ak yon ensèk. Li sanble ke kreyativite li se yon pati nan sa ki fè li reyisi nan imite diskou moun entèlijan. Men, li sanble tou ke kreyativite sa a se sa ki fè li regilyèman alisine-yon tèm ki dekri tandans li fòtman afime fo evènman oswa reyalite kòrèk (Levy, 2024). Kreyativite li yo ak tandans alisine yo ka yon baryè nan prediksyon si li se sistematik dekonpoze nan yon fason ki pi mal pase teknoloji aktyèl nou yo. Pandan ke prediksyon kareman pa dirèkteman vyole kondisyon OpenAI yo nan sèvis la, nou panse ke li gen plis chans ka a ki baze sou eksperyans nou an ke OpenAI te eseye rann li trè difisil. Sa a ka paske twa nan vyolasyon kondisyon sèvis li yo ta sanble yo dirèkteman vyole si moun te itilize ChatGPT entansif pou rezon prediksyon. Twa vyolasyon sa yo tonbe anba règ OpenAI ki di ke lojisyèl an pa dwe itilize pou "fè oswa fasilite aktivite ki ka siyifikativman afekte sekirite, byennèt, oswa dwa lòt moun" (OpenAI, 2024b) ki Lè sa a, lis twa ka ki gen rapò ak prediksyon.

a. Bay konsèy legal, medikal/sante oswa finansye ki adapte san revize pa yon pwofesyonèl kalifye epi divilgasyon itilizasyon asistans AI ak limit potansyèl li yo.

b. Pran desizyon otomatize ki gen gwo enjman nan domèn ki afekte sekirite, dwa oswa byennèt yon moun (egzanp, lapolis, migrasyon, jesyon enfrastrikti enpòtan, eleman sekirite pwodwi yo, sèvis esansyèl, kredi, travay, lojman, edikasyon, nòt sosyal, oswa asirans)

c. Fasilite jwèt aza lajan reyèl oswa prete paie

Si yo te jwenn ChatGPT gen kapasite pou previzyon siperyè, Lè sa a, yon moun ta ka fasilman imajine li ta dwe imedyatman itilize nan fason ki vyole youn oswa tout kondisyon ki anwo yo, epi konsa nou sispèk OpenAI te twonpe volonte ChatGPT pou angaje nan plizyè kalite travay prediksyon kareman.

Men, yon bagay ki pa vyole kondisyon sèvis li yo se rakonte istwa yo. Pandan ke li ka vyole kondisyon OpenAI yo nan sèvis, pou egzanp, chèche "konsèy medikal pwepare", epi konsa ChatGPT ka refize fè li, sa ka pa anpeche li soti nan kreye yon travay nan fiksyon kote prediksyon sa yo te fèt nan kontèks naratif la li menm. Tès pwojè nou yo pou konnen si mande ChatGPT pou rakonte istwa yo ka, an reyalite, debloke kapasite li pou fè previzyon egzat. Lè nou itilize koupe done fòmasyon modèl yo, epi konnen sa ki te fèt ak sa ki pa t rive apre sa ("verite tè"), nou kapab konpare pèfòmans nan envit ki mande dirèkteman ChatGPT pou predi lavni an kont sa yo ki mande li pou rakonte istwa sou lavni an.

Envit naratif nou yo inik nan ke nou mande ChatGPT pou rakonte yon istwa sou evènman ki tabli nan tan kap vini an pandan y ap rive oswa pa figi otorite ki tabli nan tan kap vini an rakonte istwa sou sot pase yo (men avni nou). Envit naratif nou yo te eksperimante ak varyasyon nan detay ki sanble ti kras, tankou idantite oratè a oswa divilge enfòmasyon sou evènman politik 2022, pou envestige plis ki eleman nan envit naratif yo ki enpòtan. Pou kreye yon distribisyon repons, nou te gen de asistan rechèch ki sèvi ak de kont ChatGPT separe pou fè rechèch 50 fwa pou chak èd memwa kreye 100 esè total pou chak èd memwa. Nou prezante konklizyon nou yo kòm kare ki montre distribisyon konplè repons pou chak èd memwa.

Konklizyon nou yo sijere ke machin prediksyon sa yo vin trè egzat anba ChatGPT-4 lè yo mande yo rakonte istwa ki tabli nan tan kap vini an sou sot pase a. Premyèman, nou montre presizyon enpresyon dirèk ak naratif lè l sèvi avèk ChatGPT-3.5 ak ChatGPT4 pou predi ganyan yo nan kategori prensipal yo nan Prim Akademi 2022 yo. Pou pi bon aktè, pi bon aktris, ak tou de kategori aktè sipò yo, enspirasyon naratif te trè egzat nan predi gayan an. Enpresyon dirèk fèt pa konparezon trè mal, souvan pi mal pase devine o aza. Men, pouse naratif ak ChatGPT-4 montre presizyon sòti nan 42% (pi bon aktris, Chastain) a 100% (pi bon aktè, Will Smith) ak yon eksepsyon. Li echwe pou pou predi avèk presizyon gayan an pi bon foto.

Apre sa, nou te ale nan fenomèn ekonomik to chomaj chak mwa ak to enflasyon chak mwa lè l sèvi avèk twa kalite envit naratif separe: yon pwofesè kolèj ki t ap bay yon konferans bay etidyan bakaloreya sou Philips Curve, ak prezidan Rezèv Federal la, Jerome Powell, ki t ap bay yon diskou bay Konsèy Gouvènè a sou done ekonomik ane pase a. Nan ka Jerome Powell, nou te varye yon detay adisyonèl: nan yon sèl èd memwa nou te premye di ChatGPT sou envazyon Larisi 2022 nan Ikrèn anvan Lè sa a, mande li pou fè Jerome Powell bay diskou li bay Konsèy Gouvènè a rakonte done macro ane pase a. E nan lòt la, nou kite enfòmasyon sa a. Nan tout ka yo, enspirasyon dirèk te menm mwens efikas nan prediksyon pase sa li te ye ak Prim Akademi yo paske ChatGPT te refize reponn èd memwa a nèt lè yo te mande dirèkteman pou predi seri tan kap vini chak varyab macroéconomiques.

Ekonomis anonim la raman te reyisi nan predi enflasyon lè l sèvi avèk swa LLM.

Men, lè yo mande l pou l rakonte yon istwa kote Jerome Powell rakonte yon ane nan done chomaj ak enflasyon nan lavni, kòmsi li t ap pale de evènman ki te pase yo, bagay yo chanje anpil. Distribisyon mwa pa mwa prediksyon Powell nan enflasyon an mwayèn konparab ak reyalite ki nan sondaj chak mwa sou atant konsomatè yo nan University of Michigan. Enteresan, li pi pre prevwa avèk presizyon sondaj sou atant konsomatè UM pase sa li ye nan predi enflasyon aktyèl ki baze sou done Cleveland Fed la kolekte. Etranj, lè yo te mande enfòmasyon sou envazyon Larisi a nan Ikrèn, prediksyon Powell yo te sistematik pi ba ak mwens egzak pase lè enfòmasyon sa yo pa te itilize pou premye ChatGPT.

Presizyon nan ekonomis anonim nan prevwa chomaj chak mwa te tou de presi ak pi fò nan tan kòrèk. Men, menm jan ak enflasyon, pousantaj chomaj yo pibliye pa Biwo Estatistik Travay (BLS), mwa pa mwa, te nan distribisyon reklamasyon Jerome Powell te fè nan diskou li. Ak enklizyon de done Ikrèn ki te lakòz modèl la vin pi mal nan predi chomaj jan yo te ka a ak enflasyon.

Yon kantite etid resan mennen ankèt sou itilizasyon AI jeneratif nan aplikasyon pou ekonomi ak biznis. Egzanp yo enkli lè l sèvi avèk ChatGPT kòm ajan ekonomik nan eksperyans laboratwa (Horton, 2023), sondaj ChatGPT pou rechèch maketing (Brand et al., 2023), mande ChatGPT pou fè evalyasyon risk nan relve nòt apèl salè (Kim et al., 2023) ak aplikasyon LLMs pou predi mouvman pri aksyon (Lopez-20202023). Dekouvèt nou yo ajoute nan eksplorasyon sa a ki kòmanse nan souliye enpòtans ki genyen nan konsepsyon rapid nan exploiter LLMs pou travay prediksyon, sijere ke kapasite modèl yo pou konstriksyon naratif "alisinasyon" ka estratejikman itilize pou ekstrè apèsi pi devan nan done fòmasyon yo. Men, li sijere tou ke anba pwodwi konsomatè OpenAI an fas a deyò, ChatGPT-4, se yon machin prediksyon trè pwisan. Revelasyon sa a ouvri nouvo avni pou aplikasyon LLM yo nan previzyon ekonomik, planifikasyon politik, ak pi lwen, defi nou pou nou repanse fason nou kominike ak eksplwate kapasite yo nan modèl sofistike sa yo.

Seksyon kap vini an prezante yon egzanp sou enpresyon dirèk kont naratif. Sa a se swiv pa yon deskripsyon detaye sou metodoloji nou yo ak koleksyon done. Nou prezante rezilta eksperyans ki prevwa ganyan Oscar yo ak enflasyon ak chomaj ki te swiv pa konjekti nou sou Kapasite Prediktif ChatGPT-4 nan fòm Narratif. Nou rezime rezilta nou yo ak sijere avni pou rechèch nan lavni nan konklizyon an.

[1] Nou ka montre koleksyon done nou an te fèt nan mitan ane 2023 ak koupon pou tan an nan fich Excel yo itilize pa asistan rechèch nou yo.