Доўгі час ІТ-спецыялісты працавалі без клопату ў свеце. Яны плаўна распрацоўвалі, стваралі і разгортвалі праграмнае забеспячэнне. Потым наступіла эра ізаляцыі, і раптам ім стала сумна (вядома, гэта жартаўлівы погляд на рэальныя падзеі). ІТ-спецыялісты хацелі стварыць нешта, што магло б спраўляцца з іх працай, пакуль яны заставаліся дома: адказваць на звычайныя пытанні, ствараць крутыя аватары і аналізаваць велізарныя аб'ёмы даных за лічаныя хвіліны. Яны марылі падарожнічаць у фантастычнае месца, і таму, як вы ўжо здагадаліся, яны зрабілі рэвалюцыю ў ІІ.  ШІ зараз працуе, дае адказы і паляпшае жыццё. Якім бы кваліфікаваным памочнікам ён ні быў, штучны інтэлект сапраўды эфектыўны толькі пры правільным кантэксце.  Мы з'яўляемся сведкамі хуткага прагрэсу ў прылажэннях штучнага інтэлекту - ад стварэння малюнкаў і відэа да прагназавання фондавага рынку і аналізу крыптавалют. Тым не менш,   або даць відавочна ілжывыя адказы. Яе паводзіны вельмі нагадваюць паводзіны хатніх котак - ведаеце, тых, што сядзяць ціхенька, а потым раптам кідаюцца на вас?  штучны інтэлект можа прапанаваць інфармацыю, якую мы не запытваем,  Нашы кошкі, як і ІІ, любяць быць непрадказальнымі:  Вы даяце ім тую ж ежу (або дадзеныя) — часам яны ядуць, часам ігнаруюць гэта.  Вы прывучыце іх адказваць, але яны толькі час ад часу рэагуюць, калі вы іх клічаце.  Чым большы і больш дзікі кот або чым больш мадэль штучнага інтэлекту, тым цяжэй прадбачыць яго паводзіны.  Раніцай кошкі могуць быць спакойнымі; да вечара яны становяцца гіперактыўнымі (як і дынамічныя дадзеныя).  Кошкі могуць быць прыязнымі (дэтэрмінаваныя), але могуць падрапаць вас без папярэджання (стахастычныя).  Вы можаце задацца пытаннем, што азначаюць дэтэрмінізм і стахастычнасць - давайце даведаемся.   Дэтэрмінізм і стахастычнасць  Дэтэрмінаваная сістэма заўсёды дае аднолькавы вынік пры аднолькавых уваходных дадзеных — падумайце   калі вы   . Рэальным прыкладам можа быць ваша кошка, якая кожны раз есць аднолькавую колькасць ежы, якую вы кладзеце ў яе міску - гэта   . Але калі кошка нюхае і з'ядае толькі палову, гэта ўжо не вызначальна.  аб ідэмпатытнасці, інжынер DevOps дэтэрмінізм    працэс уключае элемент выпадковасці: пры аднолькавых уваходных дадзеных вынік можа адрознівацца. Напрыклад, у мадэлі машыннага навучання часта выкарыстоўваюцца стахастычныя алгарытмы, такія як     , які навучае мадэль, выбіраючы выпадковыя фрагменты даных, а не ўвесь набор даных. Выпадковы стахастычны градыентны спуск (SGD)  Гэтыя азначэнні не цалкам тлумачаць, чаму нашы штучныя інтэлекты часам галюцынуюць і паводзяць сябе хаатычна. Ёсць і іншыя фактары, у тым ліку наступныя:  Дэтэрмінізм  Стахастычнасць  Памылкі акруглення і арыфметыка з плаваючай коскай  Шматструменнасць і паралельныя вылічэнні  Пастаяннае абнаўленне дадзеных  Хаос і «эфект матылька»  Калі мы прыгледзімся бліжэй, то ўбачым іншыя механізмы, якія ўплываюць на непрадказальныя паводзіны мадэляў штучнага інтэлекту.   Погляд на нейронавыя сеткі  Вы, напэўна, ведаеце, што   абапіраецца на розныя алгарытмы нейронных сетак. Вось некалькі тыпаў нейронавых сетак: штучны інтэлект, якім карыстаюцца ўсе,    класічная архітэктура, дзе кожны нейрон злучаецца з кожным нейронам наступнага ўзроўню. Цалкам звязаныя нейронавыя сеткі (FCNN):    гэтыя сеткі выкарыстоўваюць згорткі або фільтры, якія вылучаюць такія асаблівасці выявы, як краю, тэкстуры і формы. Згорткавыя нейронавыя сеткі (CNN):    ): гэтыя сеткі маюць цыклы зваротнай сувязі, якія дазваляюць ім запамінаць папярэднія крокі (а менавіта, яны запамінаюць паслядоўнасці). Перыядычныя нейронавыя сеткі (RNN    Палепшаная версія RNN з механізмамі для выбарачнага забывання і запамінання важных даных. Доўгая кароткачасовая памяць (LSTM):    : самы магутны клас для апрацоўкі тэксту. Яны выкарыстоўваюць увагу некалькіх галоў, што дазваляе ім разглядаць увесь кантэкст адначасова. Transformers    яны складаюцца з дзвюх сетак, адна з якіх стварае даныя, а другая ацэньвае іх якасць. Іх канкурэнцыя прыводзіць да лепшых вынікаў. Генератыўныя канкурэнтныя сеткі (GAN):    : сеткі, прызначаныя для сціску (кадзіравання) інфармацыі, а затым яе рэканструкцыі (дэкадавання). Аўтакадавальнікі    яны працуюць з графікамі (вузламі і рэбрамі), а не са звычайнымі дадзенымі. Графічныя нейронныя сеткі (GNN):  Нам патрэбны ўвесь гэты кантэкст, каб зразумець, чаму самая распаўсюджаная мадэль, ChatGPT, часта галюцынуе.   Як узнікаюць галюцынацыі штучнага інтэлекту  ChatGPT працуе на аснове архітэктуры   , упершыню прадстаўленай у   Гэта той самы механізм, які зрабіў рэвалюцыю ў апрацоўцы тэксту. Трансформеры працуюць на аснове механізму ўвагі да сябе, што дазваляе ім разглядаць глабальны кантэкст, а не толькі бліжэйшыя словы, як гэта робяць старыя перыядычныя нейронавыя сеткі (LSTM і GRU). Мадэль належыць да серыі GPT (Generative Pre-Trained Transformer), што азначае: Transformer артыкуле 2017 года "Увага - усё, што вам трэба".    першапачаткова навучанне праходзіла на велізарнай колькасці тэксту (кнігі, артыкулы, вэб-сайты і код). Папярэдняя падрыхтоўка:    яго задача - генераваць тэкст, а не проста класіфікаваць або здабываць факты. Генератыўны:  Адказы ChatGPT вынікаюць з выпадковых працэсаў, а не з жорсткага правіла. Ён не запамінае і не прайгравае тэксты, а стварае адказы з дапамогай імавернаснай мадэлі.   Прадказанне слова як імавернасны працэс  Калі ChatGPT адказвае, ён не выбірае адзінае правільнае слова, а вылічае размеркаванне верагоднасці.    дзе: P(wi|w1, w2, ..., wi-1),  «wi» — наступнае слова ў сказе  w1, w2, ..., wi-1 — папярэднія словы  P(wi|w1, ..., wi-1) — верагоднасць таго, што «wi» будзе наступным словам  Напрыклад, калі вы спытаеце: «Які сёння дзень?» ChatGPT можа мець розныя верагоднасці:  «Панядзелак» — Р=0,7  «Серада» — Р=0,2  «42» — P=0,0001  Часцей за ўсё ён выбірае слова з найбольшай імавернасцю, але з-за тэмпературы генерацыі (параметр, які кантралюе выпадковасць), ён часам можа выбраць менш верагодны варыянт у залежнасці ад кантэксту.   Уплыў кантэксту і забыццё інфармацыі  ChatGPT працуе з абмежаваным кантэкстным акном, гэта значыць ён "запамінае" толькі апошнія токены NN. Для GPT-4 кантэкстнае акно складае каля 128 тысяч токенаў (каля 300 старонак тэксту). Калі важная інфармацыя знаходзіцца па-за межамі гэтага кантэксту, яна можа:  Забудзьцеся пра дэталі (эфект адсячэння кантэксту)  Інфармацыя аб макіяжы (стахастычны працэс)  Тым не менш, ChatGPT часта можа выправіць свой адказ пасля таго, як вы спытаеце, ці ўпэўнены ён. Аднак ChatGPT часта можа выправіць свой адказ, калі вы спытаеце, ці ўпэўнены ён.   AI часам выпраўляе сябе, але чаму?  Калі вы пытаецеся ў ChatGPT: «Вы ўпэўнены?» ён паўторна аналізуе свой адказ, выкарыстоўваючы новы кантэкст, дзе прысутнічае сумненне. Гэта прыводзіць да:  Пераразлік верагоднасці адказу.  Выбар больш праўдападобнага варыянту, калі ён ёсць.  Гэты працэс можна растлумачыць байесовской верагоднасцю.    дзе: P(A|B) = P(B|A)P(A) / P(B),  P(A|B) — імавернасць таго, што адказ A з'яўляецца правільным, улічваючы ваша наступнае пытанне B.  P(B|A) — верагоднасць таго, што вы б спыталі, ці меў ChatGPT першапачатковую рацыю.  P(A) — пачатковая верагоднасць адказу ChatGPT.  P(B) - агульная верагоднасць, якую вы спытаеце.  Зашмат інфармацыі для вас? Перагрэў мозгу? Уявіце сабе, што ІІ таксама перагружаны вялікімі аб'ёмамі інфармацыі.   Памылкі з-за пераабсталявання і шумных дадзеных  Велізарная колькасць тэкставых даных паступае ў навучанне ChatGPT, уключаючы шум або супярэчлівую інфармацыю, напрыклад:  Некаторыя крыніцы кажуць, што Зямля круглая, а іншыя сцвярджаюць, што яна плоская.  ШІ не заўсёды можа вызначыць, якая інфармацыя праўдзівая, калі яна з'яўляецца з рознай верагоднасцю.   Гэта прыклады мадэльных галюцынацый, якія ўзнікаюць таму, што вагі ChatGPT навучаюцца на імавернасных асацыяцыях слоў, а не на строгай логіцы.   Ніжняя лінія  Вось чаму мы можам навучыцца з гэтага. ChatGPT галюцынуе, бо:  Прагназуе імавернасна, а не дэтэрмінавана.  Мае абмежаваную памяць (кантэкстнае акно).  Пералічвае імавернасці пры допыце.  Мае навучальныя даныя, якія ўключаюць шум і супярэчнасці.  Гэта так проста. Спадзяюся, вы не стаміліся. Калі вы гэта зрабілі, гэта добры знак, таму што гэта азначае, што вы мысліце крытычна, што менавіта тое, што мы павінны рабіць пры працы з ІІ.

This story will praise and/or roast a product, company, service, game, or anything else people like to review on the Internet.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Fresh Takes in Tech Media

Read My Stories

Гэта аўдыя зроблена на мове арыгіналу гісторыі!

Недэтэрмінізм штучнага інтэлекту, галюцынацыі і... кошкі?

About Author

КАМЕНТАРЫІ

ВЕСІЦЬ БІРКІ

ГЭТЫ АРТЫКУЛ БЫЎ ПРАДСТАЎЛЕНЫ Ў

Related Stories

Nailya Safarova - From The Journey Through Analog Color Science to HackerNoon Top Writer

HackerNoon Releases “The Editing Protocol” - Technical Documentation for Digital Publishing at Scale

A Bazillion Reasons Why Everyone Should Read and Publish on HackerNoon

Zero-Knowledge, Zero Limits: The Vision Behind Aleo's New Blockchain Paradigm

Nailya Safarova - From The Journey Through Analog Color Science to HackerNoon Top Writer

HackerNoon Releases “The Editing Protocol” - Technical Documentation for Digital Publishing at Scale

A Bazillion Reasons Why Everyone Should Read and Publish on HackerNoon

Zero-Knowledge, Zero Limits: The Vision Behind Aleo's New Blockchain Paradigm

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps