IT-specialisten werkten lange tijd zorgeloos. Ze ontwikkelden, bouwden en implementeerden software soepel. Toen brak het tijdperk van isolatie aan en raakten ze plotseling verveeld (dit is natuurlijk een speelse kijk op de werkelijke gebeurtenissen). IT-mensen wilden iets creëren dat hun werk aankon terwijl ze thuisbleven: routinevragen beantwoorden, coole avatars genereren en enorme hoeveelheden data analyseren in minuten. Ze droomden ervan om naar een fantastische plek te reizen en dus, je raadt het al, revolutioneerden ze AI.  AI functioneert nu, biedt antwoorden en verbetert levens. Hoe bekwame assistent AI ook is, het is pas echt effectief als het in de juiste context wordt gebruikt.  We zijn getuige van snelle vooruitgang in AI-toepassingen, van het genereren van afbeeldingen en video's tot het voorspellen van de aandelenmarkt en het analyseren van cryptovaluta. Toch   of ronduit valse antwoorden geven. Het gedrag ervan lijkt erg op dat van huiskatten — weet je wel, het soort dat rustig zit en dan plotseling op je afkomt?  kan AI informatie bieden waar we niet om vragen  Onze katten, en ook AI, vinden het leuk om onvoorspelbaar te zijn:  Je geeft ze hetzelfde voedsel (of dezelfde gegevens) - soms eten ze het, soms negeren ze het.  Je traint ze om te reageren, maar ze reageren alleen af en toe als je ze roept.  Hoe groter en wilder de kat of hoe groter het AI-model, hoe moeilijker het is om zijn gedrag te voorspellen.  In de ochtend zijn katten misschien rustig, maar tegen de avond worden ze hyperactief (net als dynamische data).  Katten zijn misschien vriendelijk (deterministisch), maar kunnen je zonder waarschuwing krabben (stochastisch).  U vraagt zich misschien af wat determinisme en stochasticiteit betekenen. Laten we daar eens achter komen.   Determinisme en stochasticiteit  Een deterministisch systeem produceert altijd hetzelfde resultaat bij dezelfde invoer — denk aan   als je een   bent. Een voorbeeld uit de echte wereld is je kat die elke keer dezelfde hoeveelheid eten eet die jij in zijn bak hebt gedaan — dit is   . Maar als de kat snuffelt en maar de helft eet, is het niet langer deterministisch.  idempotentie DevOps-engineer determinisme  Een   proces bevat een element van willekeur: met dezelfde invoer kan het resultaat variëren. Een machine learning-model gebruikt bijvoorbeeld vaak stochastische algoritmen, zoals     , die het model traint door willekeurige stukken data te kiezen in plaats van de hele dataset. stochastisch Stochastic Gradient Descent (SGD)  Deze definities verklaren niet volledig waarom onze AI's soms hallucineren en zich chaotisch gedragen. Er zijn andere bijdragende factoren, waaronder de volgende:  Determinisme  Stochastiek  Afrondingsfouten en drijvende-komma-rekenkunde  Multithreading en parallelle berekeningen  Gegevens voortdurend bijwerken  Chaos en het ‘vlindereffect’  Als we wat beter kijken, zien we andere mechanismen die het onvoorspelbare gedrag van AI-modellen beïnvloeden.   Een glimp van neurale netwerken  U weet waarschijnlijk dat de   afhankelijk zijn van verschillende neurale netwerkalgoritmen. Hier zijn enkele typen neurale netwerken: AI's die iedereen gebruikt    een klassieke architectuur waarbij elk neuron verbinding maakt met elk neuron in de volgende laag. Volledig verbonden neurale netwerken (FCNN):    Deze netwerken maken gebruik van convoluties of filters die beeldkenmerken zoals randen, texturen en vormen benadrukken. Convolutionele neurale netwerken (CNN's):    ): Deze netwerken hebben feedbacklussen waardoor ze eerdere stappen kunnen onthouden (met andere woorden: ze onthouden sequenties). Recurrent Neural Networks (RNN's    Een verbeterde versie van RNN's met mechanismen voor het selectief vergeten en onthouden van belangrijke gegevens. Long Short-Term Memory (LSTM):    : De krachtigste klasse voor tekstverwerking. Ze gebruiken multi-head attention, waardoor ze de gehele context gelijktijdig kunnen beschouwen. Transformers    Deze bestaan uit twee netwerken, waarvan er één data genereert en de andere de kwaliteit ervan evalueert. Hun concurrentie leidt tot betere resultaten. Generative Adversarial Networks (GAN's):    : Netwerken die zijn ontworpen om informatie te comprimeren (coderen) en vervolgens te reconstrueren (decoderen). Autoencoders    Deze werken met grafieken (knooppunten en randen) in plaats van met gewone gegevens. Grafische neurale netwerken (GNN's):  We hebben al die context nodig om te begrijpen waarom het meest voorkomende model, ChatGPT, vaak hallucinaties veroorzaakt.   Hoe AI-hallucinaties ontstaan  ChatGPT draait op de   -architectuur, die voor het eerst werd geïntroduceerd in   Dit is precies het mechanisme dat tekstverwerking revolutioneerde. Transformers werken op het self-attention-mechanisme, waarmee ze rekening kunnen houden met de globale context in plaats van alleen de dichtstbijzijnde woorden, zoals oudere recurrent neural networks (LSTM en GRU) doen. Het model behoort tot de GPT-serie (Generative Pre-Trained Transformer), wat betekent: Transformer het artikel uit 2017, "Attention Is All You Need."    In eerste instantie werd het getraind met enorme hoeveelheden tekst (boeken, artikelen, websites en code). Vooraf getraind:    De taak is om tekst te genereren, niet alleen om feiten te classificeren of te extraheren. Generatief:  De antwoorden van ChatGPT zijn het resultaat van een stochastisch proces in plaats van een rigide regel. Het onthoudt of reproduceert geen teksten, maar genereert antwoorden met behulp van een probabilistisch model.   Woordvoorspelling als een probabilistisch proces  Wanneer ChatGPT reageert, kiest het niet het juiste woord, maar berekent het een waarschijnlijkheidsverdeling.    waarbij: P(wi|w1, w2, ..., wi-1),  “wi” — het volgende woord in de zin  w1, w2, ..., wi-1 — de vorige woorden  P(wi|w1, ..., wi-1) — de waarschijnlijkheid dat “wi” het volgende woord zal zijn  Als u bijvoorbeeld vraagt: "Welke dag is het vandaag?", kan ChatGPT verschillende waarschijnlijkheden hebben:  “Maandag” — P=0,7  “Woensdag” — P=0,2  “42” — P=0,0001  Meestal wordt het woord met de hoogste waarschijnlijkheid gekozen, maar vanwege de generatietemperatuur (een parameter die de willekeur bepaalt) kan het soms een minder waarschijnlijke optie kiezen op basis van de context.   Contextinvloed en het vergeten van informatie  ChatGPT werkt met een beperkt contextvenster, wat betekent dat het alleen de laatste NN-tokens "onthoudt". Voor GPT-4 is het contextvenster ongeveer 128k tokens (ongeveer 300 pagina's tekst). Als belangrijke informatie buiten deze context valt, kan het:  Vergeet details (context clipping effect)  Informatie over samenstelling (stochastisch proces)  Toch kan ChatGPT vaak zijn antwoord corrigeren nadat je vraagt of het zeker is. Echter, ChatGPT kan vaak zijn antwoord corrigeren als je vraagt of het zeker is.   AI corrigeert zichzelf soms, maar waarom?  Wanneer u ChatGPT vraagt: "Weet u het zeker?", analyseert het zijn antwoord opnieuw met behulp van een nieuwe context waarin twijfel aanwezig is. Dit resulteert in:  Herberekenen van de waarschijnlijkheid van antwoorden.  Een meer plausibele optie kiezen, als die bestaat.  Dit proces kan worden verklaard met behulp van de Bayesiaanse waarschijnlijkheid.    waarbij: P(A|B) = P(B|A)P(A) / P(B),  P(A|B) — de waarschijnlijkheid dat antwoord A juist is, rekening houdend met uw vervolgvraag B.  P(B|A) — de waarschijnlijkheid dat u in eerste instantie zou hebben gevraagd of ChatGPT gelijk had.  P(A) — de initiële waarschijnlijkheid van het antwoord van ChatGPT.  P(B) — de algehele waarschijnlijkheid die u zou vragen.  Te veel informatie voor je? Hersenen oververhit? Stel je voor dat AI's ook overweldigd raken door grote hoeveelheden informatie.   Fouten als gevolg van overfitting en ruis in de gegevens  Er stromen enorme hoeveelheden tekstgegevens in de training van ChatGPT, inclusief ruis of tegenstrijdige informatie, zoals:  Sommige bronnen beweren dat de aarde rond is, terwijl andere beweren dat hij plat is.  AI kan niet altijd bepalen welke informatie waar is wanneer deze met wisselende waarschijnlijkheid verschijnt.   Dit zijn voorbeelden van modelhallucinaties, die optreden omdat de gewichten van ChatGPT worden getraind op waarschijnlijke woordassociaties in plaats van op strikte logica.   De kern van de zaak  Dit is wat we hiervan kunnen leren. ChatGPT hallucineert omdat het:  Voorspelt op basis van waarschijnlijkheid, niet deterministisch.  Heeft een beperkt geheugen (contextvenster).  Herberekent waarschijnlijkheden bij twijfel.  Bevat trainingsgegevens die ruis en tegenstrijdigheden bevatten.  Zo eenvoudig is het. Ik hoop dat je niet moe bent geworden. Als dat wel zo is, is dat een goed teken, want het betekent dat je kritisch nadenkt, en dat is precies wat we zouden moeten doen als we met AI werken.

This story will praise and/or roast a product, company, service, game, or anything else people like to review on the Internet.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Het non-determinisme, hallucinaties en... katten van AI?

About Author

OPMERKINGEN

LABELS

DIT ARTIKEL WERD GEPRESENTEERD IN

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps