Долго време, ИТ специјалисти работеа без грижа во светот. Тие непречено развија, изградија и распоредија софтвер. Потоа дојде ерата на изолација, и одеднаш им здодеа (се разбира, ова е разиграна слика за вистинските настани). ИТ луѓето сакаа да создадат нешто што ќе може да се справи со нивната работа додека тие остануваат дома: да одговараат на рутински прашања, да генерираат одлични аватари и да анализираат огромни количини на податоци за неколку минути. Тие сонуваа да патуваат на фантастично место и така, погодувате, направија револуција во вештачката интелигенција.  Вештачката интелигенција сега функционира, дава одговори и ги подобрува животите. Колку и да е вешт асистент, вештачката интелигенција е навистина ефикасна само кога се користи во вистинскиот контекст.  Сведоци сме на брз напредок во апликациите за вештачка интелигенција, од генерирање слики и видео до прогнозирање на берзата и анализа на криптовалути. Сепак,   или да дава отворено лажни одговори. Нејзиното однесување е многу слично на она на домашните мачки - знаете, она што седи тивко, а потоа одеднаш се нафрла врз вас?  вештачката интелигенција може да понуди информации што не ги бараме  Нашите мачки, како и вештачката интелигенција, уживаат да бидат непредвидливи:  Им ја давате истата храна (или податоци) - понекогаш јадат, понекогаш игнорираат.  Ги обучувате да реагираат, но тие само повремено реагираат кога ќе им се јавите.  Колку е поголема и дива мачката или колку е поголем моделот со вештачка интелигенција, толку е потешко да се предвиди нејзиното однесување.  Во утринските часови, мачките може да бидат мирни; до вечер, тие стануваат хиперактивни (исто како и динамичните податоци).  Мачките можеби се пријателски расположени (детерминистички), но можат да ве изгребат без предупредување (стохастично).  Можеби се прашувате што значат детерминизмот и стохастичноста - ајде да дознаеме.   Детерминизам и стохастичност  Детерминистичкиот систем секогаш го произведува истиот резултат со истиот влез - размислете   ако сте   . Пример од реалниот свет би бил вашата мачка која јаде иста количина на храна што ја ставате во нејзината чинија секој пат - ова е   . Но, кога мачката шмрка и јаде само половина, тоа веќе не е детерминистичко.  за идемотенција инженер за DevOps детерминизам    процес вклучува елемент на случајност: со истиот влез, резултатот може да варира. На пример, моделот за машинско учење често користи стохастички алгоритми, како што е     , кој го обучува моделот со избирање случајни делови од податоци, наместо целата база на податоци. Стохастичкиот Стохастичко спуштање на градиент (SGD)  Овие дефиниции не објаснуваат целосно зошто нашите ВИ понекогаш халуцинираат и се однесуваат хаотично. Постојат и други фактори кои придонесуваат, вклучувајќи ги следниве:  Детерминизам  Стохастичност  Грешки при заокружување и аритметика со подвижна запирка  Повеќенишки и паралелни пресметки  Постојано ажурирање на податоците  Хаос и „ефектот на пеперутката“  Ако погледнеме малку поблиску, ќе видиме други механизми кои влијаат на непредвидливото однесување на моделите со вештачка интелигенција.   Поглед на невронски мрежи  Веројатно знаете дека   се потпираат на различни алгоритми на невронски мрежи. Еве неколку видови на невронски мрежи: вештачката интелигенција што сите ги користи    Класична архитектура каде секој неврон се поврзува со секој неврон во следниот слој. Целосно поврзани невронски мрежи (FCNN):    Овие мрежи користат конволуции или филтри кои ги истакнуваат карактеристиките на сликата како рабови, текстури и форми. Конволутивни невронски мрежи (CNN):    ): Овие мрежи имаат циклуси за повратни информации што им овозможуваат да ги запомнат претходните чекори (имено, тие запомнуваат секвенци). Рекурентни невронски мрежи (RNN    Подобрена верзија на RNN со механизми за селективно заборавање и запомнување на важни податоци. Долгорочна краткорочна меморија (LSTM):    : Најмоќната класа за обработка на текст. Тие користат повеќекратно внимание, овозможувајќи им да го разгледаат целиот контекст истовремено. Трансформатори    Тие се состојат од две мрежи, од кои едната генерира податоци, а другата го оценува нивниот квалитет. Нивната конкуренција води до подобри резултати. Generative Adversarial Networks (GANs):    : мрежи дизајнирани да ги компресираат (шифрираат) информациите и потоа да ги реконструираат (декодираат). Автоматски кодери    Тие работат со графикони (јазли и рабови) наместо со обични податоци. Графички невронски мрежи (GNN):  Ни треба целиот тој контекст за да разбереме зошто најчестиот модел, ChatGPT, често халуцинира.   Како се случуваат халуцинации со вештачка интелигенција  ChatGPT работи на архитектурата   , првпат претставена во   Ова е самиот механизам што ја револуционизираше обработката на текстот. Трансформаторите работат на механизмот за само-внимание, кој им овозможува да го земат предвид глобалниот контекст наместо само најблиските зборови како постарите рекурентни невронски мрежи (LSTM и GRU). Моделот припаѓа на серијата GPT (Generative Pre-Trained Transformer), што значи: Transformer трудот од 2017 година, „Внимание е сè што ви треба“.    Првично беше обучено за огромни количини текстови (книги, статии, веб-страници и код). Претходно обучено:    Неговата задача е да генерира текст, а не само да класифицира или извлекува факти. Генераторски:  Одговорите на ChatGPT произлегуваат од стохастички процес, а не од ригидно правило. Не меморира или репродуцира текстови, туку генерира одговори користејќи веројатен модел.   Предвидување на зборови како веројатен процес  Кога ChatGPT одговара, тој не го избира единствениот точен збор, туку пресметува распределба на веројатност.    каде што: P(wi|w1, w2, ..., wi-1),  „wi“ - следниот збор во реченицата  w1, w2, ..., wi-1 - претходните зборови  P(wi|w1, ..., wi-1) - веројатноста „wi“ да биде следниот збор  На пример, ако прашате: „Кој ден е денес? ChatGPT може да има различни веројатности:  „Понеделник“ - P=0,7  „Среда“ — P=0,2  „42“ — P=0,0001  Најчесто го избира зборот со најголема веројатност, но поради температурата на генерирањето (параметар што ја контролира случајноста), понекогаш може да избере помалку веројатна опција врз основа на контекстот.   Влијание на контекстот и заборавање на информации  ChatGPT работи со ограничен контекстен прозорец, што значи дека ги „се сеќава“ само последните НН токени. За GPT-4, контекстниот прозорец е околу 128 илјади токени (околу 300 страници текст). Доколку важните информации се надвор од овој контекст, може:  Заборавете ги деталите (ефект на отсекување на контекстот)  Информации за шминкање (стохастички процес)  Сепак, ChatGPT често може да го поправи својот одговор откако ќе прашате дали е сигурен. Сепак, ChatGPT често може да го поправи својот одговор ако прашате дали е сигурен.   Вештачката интелигенција понекогаш се корегира, но зошто?  Кога ќе прашате ChatGPT, „Дали сте сигурни? тој повторно го анализира својот одговор користејќи нов контекст каде што е присутен сомнеж. Ова резултира со:  Пресметување на веројатностите за одговори.  Избор на поверодостојна опција доколку постои.  Овој процес може да се објасни со Бајесова веројатност.    каде што: P(A|B) = P(B|A)P(A) / P(B),  P(A|B) — веројатноста одговорот А да е точен, со оглед на вашето следно прашање Б.  P(B|A) - веројатноста дека би прашале дали ChatGPT првично бил во право.  P(A) - почетната веројатност за одговорот на ChatGPT.  P(B) - вкупната веројатност што би ја прашале.  Премногу информации за вас? Прегревање на мозокот? Замислете дека и вештачката интелигенција се преоптоварени со големи количини на информации.   Грешки поради преоптоварување и бучни податоци  Во обуката на ChatGPT се влеваат огромни количини текстуални податоци, вклучувајќи бучава или контрадикторни информации, како што се:  Некои извори велат дека Земјата е тркалезна, додека други тврдат дека е рамна.  ВИ не може секогаш да одреди која информација е вистинита кога се појавува со различни веројатности.   Ова се примери на моделски халуцинации, кои се јавуваат затоа што тежините на ChatGPT се обучени на веројатни асоцијации на зборови наместо строга логика.   Крајна линија  Еве што можеме да научиме од ова. ChatGPT халуцинира затоа што:  Предвидува веројатност, а не детерминистички.  Има ограничена меморија (контекстен прозорец).  Повторно ги пресметува веројатностите кога се испрашува.  Има податоци за обука кои вклучуваат бучава и противречности.  Тоа е толку едноставно. Се надевам дека не се изморивте. Ако сте го направиле тоа, тоа е добар знак бидејќи тоа значи дека размислувате критички, што е токму она што треба да го правиме кога работиме со вештачка интелигенција.

This story will praise and/or roast a product, company, service, game, or anything else people like to review on the Internet.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Fresh Takes in Tech Media

Read My Stories

Ова аудио е произведено на оригиналниот јазик на приказната!

Премногу долго; Да чита

Make resilience your competitive advantage

Недетерминизам на АИ, халуцинации и... Мачки?

About Author

КОМЕНТАРИ

ВИСЕТЕ ТАГОВИ

ОВОЈ СТАТИЈА БЕШЕ ПРЕТСТАВЕН ВО

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps