Қыс (физика) келе жатыр Енді GPT технологиясында жұмыс істейтін үлкен тіл үлгілері даму жолында платоға жақындап қалған сияқты. Бұл танымал физик доктор Сабина Хоссенфельдердің YouTube-тегі соңғы бейнесінен. https://www.youtube.com/watch?v=AqwSZEQkknU&embedable=true Доктор Сабина бірнеше дереккөзге сілтеме жасайды, соның ішінде Билл Гейтс, ол GPT 5 GPT 4-тен әлдеқайда жақсы болмайды деп . Ал профессор Гари Маркус өзінің осы ерекше битті жылдар бойы айтып келе жатқанын . Бұл бейнеде көрсетілгендей, Сэм Альтман мен Илья Суцкевердің Рэй Курцвейлдік айбынды сөздеріне қайшы келеді. өткен жылы айтқан айтады Бірақ егер доктор Сабина үнемі еске түсіретіндей, тек әдемі математика физиканың алға жылжуына түрткі болмаса, онда жай ғана тілекші топтық ойлау бізге адамнан тыс жасанды жалпы интеллект (AGI) бермейді. Неліктен мүмкіндігінше көп деректерді, есептеу қуатын және адамның бақылауын тастап, бізді адамнан тыс AGI тудырмайды? Доктор Сабинаның жауабы дайын. Мәселе, ол түсіндіреді, . таразыларды ажырату Таразыларды ажырату Әлем таразыларға бөлінген. Физикалық әлемде біз адамдар сияқты жердегі жануарлардың ауқымы бар. Содан кейін бізде микробтар, содан кейін молекулалар, атомдар және субатомдық бөлшектер бар. Қарама-қарсы бағытта бізде ұшақтар мен зәулім ғимараттар, таулар, планеталар, жұлдыздар, күн жүйелері, галактикалар және т.б. Деректер әлемінде бізде жоғары ажыратымдылықтағы деректер бар, мысалы, «қосуға болатын нысандар», «жануарлар», «мысықтар» сияқты санаттар. Содан кейін жоғарыда аталған санаттарды одан әрі кеңейту үшін ажыратымдылығы төмен деректер, мысалы, «мысық түрлері», «мысық үлгілері», «дүйсенбі күні таңғы сағат 8:00-де мысықтардың әрекеті» және т.б. Дегенмен, басқа таксономиялар бар. Кейбір деректер онлайн, ал кейбіреулері кітаптарда, қағаздарда және адамдардың санасында желіден тыс. Бізде жоғары ажыратымдылық масштабында қалаған барлық білім болуы мүмкін. Бірақ бұл болып табылатын әлдеқайда үлкен, ажыратымдылығы төмен деректер көзіне сәйкес келмейді. интернетте адам тілін жасаудың әлемдегі адам тілін жасау Осылайша, Сэм Альтманның AI төмендегі суреттегі Аристотельге ұқсайды. Оның қолына қарап физиканың стандартты үлгісін ашамын деп үміттенеді. Бірақ үлкен адрон коллайдері сияқты субатомдық бөлшектерді соғып, ішінде жасырынып жатқан оғаш жаңа деректерді көру үшін Аристотель қалай әрекет ету керектігін білмей қалады. AI үшін үлкен адрондық коллайдер Әлемге небәрі 2 жыл бұрын керемет ChatGPT арқылы ашылған GPT архитектурасы өзінің «жетілдіруінің» аяқталуына жақын болуы мүмкін. Бәлкім, эстафетаны және VC қаржыландыруды басқа нәрсеге беруді мұқият қарастыратын кез келді. Мен іздеп жатырмын, оны қазір Extropic сияқты компаниялар зерттеп жатыр, ол тұрақты диффузия технологиясындағыдай деректердің кездейсоқ үлгілерін жасау үшін термиялық шуды пайдалану арқылы жұмыс істейді, содан кейін статистикалық талдауды пайдалана отырып деноизациялайды. термодинамикалық есептеулерді Іс жүзінде деп жазады Ласло Фазекас. кез келген бастапқы салмақтар әдетте кездейсоқ шумен инициализацияланады. Жаттығу кезінде осы кездейсоқ шудың соңғы салмағын қалыптастырады - нейрондық желіде кері таралу Артықшылығы дәстүрлі цифрлық есептеулерге қарағанда кішірек масштабта жұмыс істейтін чиптерде жатыр, мұнда кванттық әсерлер мол термиялық шуды тудырады. Қалай болғанда да, термиялық шу әрқашан көп болды. Менің ас үйдегі пешім термиялық шуға толы. Нақты мәселе әрқашан регрессиялық талдау кезінде деректерді тастамай, оның деректерін статистикалық бөлшектеу арқылы оны қалай жақсырақ түсіну керек болды. Менің болжамым? Смартфондарды, биткоиндік түйіндерді, теледидарларды, радиоларды пайдалана отырып, бұлтты есептеулер бойынша AI жаттығуларының қандай да бір түрі. Қазіргі уақытта AI-ға сол деректер бойынша ұзағырақ қорытынды жасау үшін біраз «ойлау уақытын» беру, AI компаниялары көбірек шырынды қалай сығып жатыр. Мысалы, ChatGPT o1 үлгісімен. Бірақ жаттығу уақытын ұзарту керек шығар. Мүмкін, бала сияқты керемет AI алу үшін оған барлық жерден жиналған деректерден ондаған жылдар бойы жаттығулар қажет. Бірнеше серверлерде жинақталған AI үлгісіне баяу енгізілді. Сэм Альтманға мұндай жоспар үшін триллиондаған үкімет доллары қажет болуы мүмкін. Өкінішке орай, оларды алу оңай емес. DOGE оны банкролдамауы мүмкін (егер xAI бірдей қиындықтарға тап болса). Сонымен қатар, Bitcoin әлі де өсуде Жоғарыда келтірілген сызба көрсеткендей, өте аз адамдар Bitcoin пайдаланады. Ол . қазірдің өзінде 90 мың долларды құрайды мәліметтері шын мәнінде күнделікті биткоинді тек 400 000 адам қолданатынын көрсетеді. Ал бар болғаны 106 миллион биткоинге тиесілі. Bitbo Мұны бойынша AI құралдарын пайдаланған 314 миллион адаммен салыстырыңыз. Тек ChatGPT . Бәлкім, бүкіл Bitcoin блокчейнін біріктіргеннен көп! Statista деректері күніне миллиондаған пайдаланушыларға ие Тағы не бар? AI бір жылдан аз уақыт ішінде бұл пайдаланушылардың негізгі бөлігін жинады. Бұл дұрыс емес сияқты. Биткоинның өсуі үшін жылдар қажет болды. Адамдар тер төкті, жоғалтты, DCA'd, сенімі болды. Мүмкін солай шығар. ChatGPT тым жылдам өсті. Қазір ол бәсеңдеп, бәрі қышиды. Кешіріңіз, әлі жұмыс бар. AGI түсіну оңай болмайды, және GPT ғалымдары биткоинерлер сияқты hodl үйренуі керек. Қыс келеді, кетеді, бірақ дәл қазір, сыбызғыға төлейтін уақыт келді.
