Зима искусственного интеллекта уже близко. Предоставлено Physics

Зима (Физика) приближается

Теперь похоже, что Большие языковые модели, работающие на технологии GPT, могут приблизиться к плато в своем развитии. Это из последнего видео на YouTube популярного физика доктора Сабины Хоссенфельдер.

Доктор Сабина ссылается на несколько источников, включая Билла Гейтса, который в прошлом году сказал , что GPT 5 не будет намного лучше GPT 4. А профессор Гэри Маркус говорит, что он барабанил этот конкретный бит годами. Это противоречит всем шумихам вокруг Рэя Курцвейла Сэма Альтмана и Ильи Суцкевера, как видно на видео.

Но если просто красивая математика не подстегнет прогресс физики, как нам всегда напоминает доктор Сабина, то просто желаемое групповое мышление не даст нам сверхчеловеческого общего искусственного интеллекта (ОИИ).

Почему вложение максимально возможного количества данных, вычислительной мощности и человеческого контроля не приведет к появлению сверхчеловеческого ИИ?

У доктора Сабины есть готовый ответ. Проблема, объясняет она, заключается в Разъединении Весов .

Разделение масштабов

Мир разделен на шкалы.

В физическом мире есть масштаб наземных животных, таких как мы, люди. Затем ниже у нас есть микробы, затем молекулы, атомы и субатомные частицы. В противоположном направлении у нас есть самолеты и небоскребы, горы, планеты, звезды, солнечные системы, галактики и т. д.

В мире данных у нас есть данные с высоким разрешением, например, категории «объекты, которые можно потрогать», «животные», «кошки». Затем данные с низким разрешением для дальнейшего расширения вышеуказанных категорий, например, «виды кошек», «модели кошек», «поведение кошек в 8:00 утра в понедельник» и т. д.

Однако существуют и другие таксономии. Некоторые данные находятся в сети, а некоторые — в офлайне, в книгах, статьях и умах людей.

Мы можем иметь все знания, которые мы желаем, в высоком разрешении масштаба создания человеческого языка в Интернете . Но это не равнозначно гораздо большему, низкоразрешенному источнику данных, который является созданием человеческого языка в мире .

Таким образом, ИИ Сэма Альтмана похож на Аристотеля на изображении ниже. Надеется обнаружить Стандартную модель физики, глядя на свою руку.

Но без чего-то вроде Большого адронного коллайдера, позволяющего исследовать субатомные частицы и увидеть странные новые данные, скрывающиеся в них, Аристотель не знает, как действовать дальше.

Большой адронный коллайдер для ИИ

Архитектура GPT, представленная миру всего 2 года назад с феноменальным ChatGPT, вероятно, приближается к концу своего «улучшения». Возможно, пришло время серьезно рассмотреть возможность передачи эстафеты и венчурного финансирования чему-то другому.

Я сторонник термодинамических вычислений , которые в настоящее время изучаются такими компаниями, как Extropic. Они используют тепловой шум для создания случайных выборок данных, как в технологии Stable Diffusion, а затем удаляют шумы с помощью статистического анализа.

На самом деле, в любой нейронной сети начальные веса обычно инициализируются случайным шумом. Во время обучения обратное распространение формирует конечные веса из этого случайного шума - пишет Ласло Фазекаш.

Преимущество заключается в том, что чипы работают в меньших масштабах, чем традиционные цифровые вычисления, где квантовые эффекты приводят к обильному тепловому шуму.

В любом случае, теплового шума всегда было предостаточно.

Моя кухонная плита издает сильный тепловой шум.

Реальная проблема всегда заключалась в том, как лучше понять его посредством статистической группировки данных, не отбрасывая данные в ходе регрессионного анализа.

Мое предположение? Некоего рода масштабное облачное вычислительное обучение ИИ, использующее смартфоны, биткойн-узлы, телевизоры, радиоприемники и т. д.

В настоящее время, предоставляя ИИ некоторое «время для размышлений», чтобы он мог делать более длительные выводы на основе тех же данных, компании ИИ выжимают больше сока. Например, с помощью модели o1 от ChatGPT.

Но, может быть, даже время обучения должно быть увеличено. Может быть, чтобы получить отличный ИИ, как ребенок, ему нужны десятилетия обучения на данных, собранных со всех сторон. Собранных и медленно перекачиваемых в сжатую модель ИИ на нескольких серверах.

Сэму Альтману могут понадобиться эти триллионы государственных долларов для такого плана. Увы, их, скорее всего, будет нелегко получить. DOGE может не финансировать его (если xAI испытывает те же проблемы).

Тем временем биткоин продолжает расти

Как показывает график выше, биткоин используют очень немногие. Тем не менее, он уже стоит $90 тыс .

Данные Bitbo показывают, что на самом деле только 400 000 человек ежедневно используют Bitcoin. И только 106 миллионов владеют Bitcoin.

Сравните это с 314 миллионами человек, которые использовали инструменты ИИ по данным Statista . Только у ChatGPT миллионы пользователей в день . Вероятно, больше, чем у всего блокчейна Bitcoin вместе взятого!

Более того? ИИ собрал большую часть этих пользователей менее чем за год. Это кажется неправильным. Биткоину потребовались годы, чтобы вырасти. Люди потели, теряли, DCA, имели веру.

Может быть, это оно. ChatGPT слишком быстро разросся. Теперь он замедлился, и все кислые.

Извините, ребята, еще есть над чем поработать. ИИ будет не так-то просто понять, и ученым GPT следует научиться ходить, как биткойнеры. Зима придет и уйдет, но сейчас самое время платить по счетам.