ChatGPT kan skrive effektiv Python-kode og udarbejde komplekse SQL-forespørgsler på få sekunder.Heck, det vil brainstorm hele din marketingkampagne, hvis du tillader det. Som Business Intelligence Analyst med over et årti erfaring hos virksomheder som Amazon og Microsoft, var jeg nysgerrig. jeg har set denne teknologi gå fra et legetøj til et værktøj, som mange hævder er klar til at erstatte mig. Resultaterne afslørede, hvad der virkelig foregår: et stort designvalg, en omkostnings-mod-præstations-kompromis, der kører hele systemet. Det er et gennemsigtighedsproblem, og det er et hul stort nok til at gøre enhver data professionel skeptisk. Og den mest skræmmende del? det er helt sikkert forkert. Det matematiske problem, der afslørede tricket Min test var en simpel liste over alle tal fra -3000 til 3000 (i intervaller på 100), som kom til 61 tal i alt. Listen var specielt designet, så det endelige, korrekte svar ville være et simpelt "nul". Når jeg gav det listen sorteret i opadgående eller nedadgående rækkefølge, aced det testen hver gang. Det korrekt genkendte det enkle mønster: -3000 cancels 3000, -2900 cancels 2900, og så videre. Men hvad sker der, når du fjerner mønsteret? jeg satte de nøjagtige samme tal i en tilfældig rækkefølge. Dette brød den enkle genvej og tvang AI til faktisk at beregne. Det mislykkedes, og ikke med en lille margin. Den “performative” fiasko Det er ikke beregnet, det er sat på en af beregning. præstation Det er som at se Noah Wyle eller : han er en overbevisende læge, men du bør aldrig stole på ham til at udføre en faktisk medicinsk procedure på dig. På samme måde går AI gennem beregningsbevægelserne. Det svarer med en "trin-for-trin" nedbrydning, der ser helt logisk ud, men det endelige svar er selvsikker og grundlæggende forkert. Den Pitt er Da jeg udfordrede det, "dobbelt-checked" og fik en Forkert svar Forskellige Fejlen var mere grundlæggende, end jeg først troede. Denne proces involverede omfattende håndholdning, som at bede den om at bryde listen op i små grupper af 10 tal. Den fik stadig den matematiske fejl på hver af de enkle, 10-integer summer. Selv efter at jeg gav det de rigtige svar for hver gruppe, det stadig mislykkedes med at korrekt tilføje de seks gruppe subtotal. Alt i alt fik jeg 12 forskellige forkerte svar fra denne tilbage og tilbage, alle fra den samme opfordring. Det var et fuldstændigt fiasko i at udføre grundlæggende tilføjelse.I sidste ende undskyldte det for sine "mentale beregningsfejl", en uvurderlig indrømmelse af, at det simulerede beregning i stedet for at gøre det. Denne genvej-første design er den samme grund AI har historisk flubbed andre enkle opgaver, som at tælle bogstaver i et ord. Så fandt jeg den skjulte kalkulator Så er ChatGPT bare håbløst dårligt i matematik? Ikke nøjagtigt. Jeg gik tilbage til det første forkerte svar, og i stedet for at svare, klikkede jeg på "Tænk længere" -indstillingen. Det skete med det samme: # Define the list of numbers 
numbers = [ 2100, 800, -1800, 2400, 1000, -2400, 1200, ... ] 
# Calculate the sum 
total_sum = sum(numbers) 
total_sum 
# Result 0
 Det fik det rigtige svar (nul) på et sekund. Dette er "gotcha." Det havde regnemaskinen hele tiden. Hvad sker der egentlig her? Dette er ikke en fejl. Hvad vi ser er en design tradeoff. ChatGPT er optimeret til hastighed først og nøjagtighed andet i sin standard tilstand. Den standard, hurtige vej er kun tekstbaseret. Den forsøger at løse problemet ved at stole på sine store træningsdata, som omfatter lærte aritmetiske mønstre. For enkle summer (som 2+2), er dette pålideligt. Men for opgaver, der kræver reel præcision på tværs af mange trin, som vores 61-numre liste, fejler det. Det er som en person, der forsøger at multiplicere store tal i deres hoved: de forstår begrebet matematik, men hurtigt mister sporet af de mellemliggende trin og "fører". Denne tekstbaserede tilgang er meget hurtig og, mere end det, det er billigt at køre. Den tankevej (ved hjælp af Python-regnemaskinen) er perfekt nøjagtig, men det er dyrt at køre.Få mig ikke forkert, denne "langsomme" vej returnerede stadig et svar på et splitsekund.Men for OpenAI er systemomkostningerne enorme.I stedet for bare at forudsige det næste ord, skal AI gøre meget mere arbejde: det skal spin op en sikker Python-fortolker, skrive koden, udføre den og derefter læse output. Dette er den omkostningseffektive kompromis i aktion. Det er grunden bag alt, hvad vi lige har set. Her er hvor det bliver personligt Se, her er den reelle risiko for data fagfolk. Vi antager, at AI analyserer. Det er ikke. Se ud som. skulle Nu ved jeg, hvad svaret vil være: alt dette er en del af det nye "dynamiske" system. OpenAI's egne pressemeddelelser praler om dette, kalder det en "real-time router", der "hurtigt beslutter", om man skal reagere hurtigt eller "tænke længere" på vanskelige problemer. Da jeg gav det et 61-cifret matematikproblem i tilfældig rækkefølge, fejlede dens interne logik vanskeligheden. Det syntes at tro, at dette var en simpel opgave, den kunne knuse. Dette fortæller mig, at routerns heuristik ikke er tilpasset til at fange denne type "bedragerisk simpelt" problem. Det er sandsynligvis bare at se på forespørgsels længde eller om der er matematiske symboler. Så i stedet for korrekt at identificere dette som et "hard problem" og automatisk engagere sin tænkemodel, valgte det den hurtige, kun tekstbaserede vej og fortsatte med at fejle. Forestil dig at bede AI om at "tjekke subsummen på denne udgiftsrapport."Det svarer med en selvsikker, tekst-kun-svarer "Ser korrekt!"Du videregive den rapport til en leder, der hurtigt gør nogle mental matematik og indser dine beregninger er forkerte. I det øjeblik har du skadet din troværdighed ved at stole på et værktøj til en opgave, der ikke var designet til at håndtere pålideligt. AI's fiasko var, at det simulerede handlingen med at tjekke i stedet for faktisk at beregne. Når matematik faktisk virker Så det er vigtigt at vide, hvornår AI er pålidelig for disse opgaver. min test var designet til at ramme en bestemt sårbarhed. 
 
 
 
 Når den udtrykkeligt bruger sin kodefortolker (såsom "Tænk længere" -vejen). For enkle, kontekstuelle aritmetik (f.eks. "Jeg har 3 æbler og køber 2 mere, hvor mange har jeg?"). For symbolsk matematik og forklarende begreber (f.eks. ”Forklar det pythagoreanske teorem”). Risikoen, som min test viser, er ikke at vide, hvilken tilstand AI er i. Hvad du rent faktisk skal gøre ved dette Det betyder, at vi skal bruge det som en pro, ikke en nybegynder. Vi skal behandle det som den "shortcut engine" det er. Så her er min praktiske guide til dataanalytikere baseret på mine resultater: Se, hvis du ikke husker andet: hvis det viser dig kode, kan du stole på resultatet. Brug "Tænk længere" for ethvert "rigtigt eller forkert" svar. Brug det rigtige værktøj til opgaven. For enkel aritmetik skal du bruge Excel. Det er bygget til det og er uendeligt mere pålideligt. Hvorfor gør en "kreativ skrivemaskine" en regnemaskins arbejde? Alt dette kommer ned til gennemsigtighed. AI er ikke defekt, fordi det fejlede matematikken; det er defekt, fordi det gemmer fejlen bag en maske af tillid. Det har en perfekt god kalkulator i sin baglomme, men standard til den hurtige, upålidelige metode uden at fortælle dig, hvilken den bruger. Som data fagfolk, det er bare ikke et fundament, vi kan bygge på. Se, indtil disse systemer fortæller os, hvordan de får et svar, reglen er enkel: hvis det ikke er i en kode blok, er det ikke et svar.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

This story contains new, firsthand information uncovered by the writer.

Data Portfolio

Read My Stories

Denne lyd er produceret på historiens originalsprog!

ChatGPT er Gaslighting dig med matematik

About Author

KOMMENTARER

HÆNG TAGS

DENNE ARTIKEL BLEV PRÆsenterET I

Related Stories

Meet HubSpot: HackerNoon Company of the Week

Meet Surfshark: HackerNoon Company of the Week

Meet Hubstaff: HackerNoon Company of the Week

Meet Tailscale: HackerNoon Company of the Week

Meet HubSpot: HackerNoon Company of the Week

Meet Surfshark: HackerNoon Company of the Week

Meet Hubstaff: HackerNoon Company of the Week

Meet Tailscale: HackerNoon Company of the Week

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps