paint-brush
ИИ и проблема «коллапса знаний»к@mikeyoung44
2,002 чтения
2,002 чтения

ИИ и проблема «коллапса знаний»

к Mike Young6m2024/04/09
Read on Terminal Reader

Слишком долго; Читать

ИИ и проблема «коллапа знаний». Статья углубляется в концепцию «коллапа знаний», предполагая, что наша растущая зависимость от ИИ может сузить наш доступ к нетрадиционным идеям, подавляя инновации. Исследование Эндрю Дж. Петерсона исследует это явление, подчеркивая риски и предлагая решения для поддержания разнообразного спектра знаний в культуре, основанной на искусственном интеллекте.
featured image - ИИ и проблема «коллапса знаний»
Mike Young HackerNoon profile picture
0-item

ИИ часто хвалят( мной, не меньше !) как мощный инструмент для повышения человеческого интеллекта и творческих способностей. Но что, если опора на ИИ на самом деле с течением времени делает нас менее способными формулировать революционные идеи и инновации? Это тревожный аргумент, выдвинутый в новой исследовательской работе, которая на этой неделе стала вирусной на Reddit и Hacker News.


Основное утверждение статьи заключается в том, что растущее использование систем искусственного интеллекта, таких как языковые модели и базы знаний, может привести к угрозе на уровне цивилизации, которую автор называет «коллапсом знаний». Поскольку мы начинаем зависеть от ИИ, обученного на основных традиционных источниках информации, мы рискуем потерять связь с дикими, неортодоксальными идеями на задворках знаний — теми же идеями, которые часто способствуют преобразующим открытиям и изобретениям.


Ниже вы можете найти мой полный анализ статьи, некоторые контрапункты и техническое описание. Но сначала давайте углубимся в то, что на самом деле означает «коллапс знаний» и почему это так важно…


ИИ и проблема коллапса знаний

бумага , автор Эндрю Дж. Петерсон в Университете Пуатье вводит концепцию коллапса знаний как «прогрессивное с течением времени сужение набора информации, доступной людям, наряду с сопутствующим сужением воспринимаемой доступности и полезности различных наборов информации».


Проще говоря, коллапс знаний — это то, что происходит, когда ИИ делает традиционные знания и общие идеи настолько доступными, что нетрадиционные, эзотерические, «длиннохвостые» знания игнорируются и забываются. Речь идет не о том, чтобы сделать нас тупее как личности, а, скорее, о подрыве здорового разнообразия человеческого мышления.

Рисунок 3 из статьи, иллюстрирующий центральную концепцию коллапса знаний.

Петерсон утверждает, что это экзистенциальная угроза инновациям, поскольку взаимодействие с широким спектром идей, особенно неосновных, позволяет нам создавать новые концептуальные связи и совершать умственные скачки. Самые влиятельные прорывы в науке, технологиях, искусстве и культуре часто происходят в результате синтеза совершенно разных концепций или применения структур из одной области в другую. Но если ИИ заставит нас черпать из все более узкого фрагмента «нормальных» знаний, эти творческие искры станут все более маловероятными. Наш коллективный разум попадает в ловушку конформистской эхо-камеры и застаивается. В долгосрочной перспективе возможности человеческого воображения сужаются, чтобы соответствовать ограниченной информационной диете, оптимизированной с помощью наших инструментов искусственного интеллекта.


Чтобы проиллюстрировать это, представьте, что все предложения по книгам исходят от ИИ, обученного только самым популярным популярным изданиям. Маргинальные жанры и нишевые темы со временем исчезнут, а литературный мир застрянет в цикле производных, повторяющихся произведений. Больше никаких революционных идей, основанных на смешении совершенно разных влияний.


Или представьте себе сценарий, в котором ученые и изобретатели получают все свои знания от ИИ, обученного на основе существующих исследований. Наиболее традиционные, хорошо проработанные направления исследований усиливаются (они широко представлены в обучающих данных), в то время как неортодоксальные подходы, ведущие к реальным сдвигам парадигм, отмирают. Целые границы открытий остаются неисследованными, потому что наши шоры ИИ заставляют нас игнорировать их.

Это коварный риск, который Петерсон видит в передаче все большего количества нашей информации и хранения знаний на аутсорсинг системам искусственного интеллекта, которые ценят основные данные. Само разнообразие мыслей, необходимое человечеству для продолжения больших творческих скачков, постепенно разрушается, поглощаемое гравитационным притяжением традиционного и количественно популярного.


Модель коллапса знаний Петерсона

Для дальнейшего изучения динамики коллапса знаний Петерсон представляет математическую модель того, как сужение источников информации, вызванное искусственным интеллектом, может усугубляться из поколения в поколение.


Модель представляет собой сообщество «обучающихся», которые могут выбирать получение знаний путем выборки либо из 1) полного истинного распределения информации с использованием традиционных методов, либо 2) дисконтированного процесса на основе ИИ, который выбирает из более узкого распределения, сосредоточенного на основной информации.

На самом деле это скриншот из видео Праймера о системах голосования , но я представил, что смоделированные «учащиеся» в своем «сообществе» выглядели так, когда читали статью, и теперь вы тоже.

Затем Петерсон моделирует, как общее «распределение общественных знаний» развивается на протяжении нескольких поколений при различных сценариях и предположениях.


Некоторые ключевые выводы:

  • Когда ИИ обеспечивает учащимся снижение затрат на основную информацию на 20%, распределение общедоступных знаний оказывается в 2,3 раза более асимметричным по сравнению с базовым уровнем без ИИ. Маргинальные знания быстро вытесняются.

  • Рекурсивная взаимозависимость между системами ИИ (например, ИИ, который учится на результатах другого ИИ и т. д.) резко ускоряет коллапс знаний на протяжении поколений. Ошибки и предубеждения в отношении условностей накапливаются на каждом этапе.

  • Компенсация коллапса требует очень сильных стимулов для учащихся, чтобы они активно искали дополнительные знания. Они должны не только осознать ценность редкой информации, но и приложить все усилия, чтобы получить ее ценой собственных усилий.


Петерсон также связывает свою модель с такими понятиями, как «информационные каскады» в теории социального обучения и экономическими стимулами для компаний, занимающихся искусственным интеллектом, отдавать приоритет наиболее коммерчески применимым данным. Все это свидетельствует о сильном давлении на традиционное в экосистеме знаний, основанной на искусственном интеллекте.


Критическая перспектива и открытые вопросы

Аргументы Петерсона о коллапсе знаний философски провокационны и технически последовательны. Формальная модель, представленная в статье, обеспечивает полезную основу для анализа проблемы и поиска решений.


Однако мне бы хотелось увидеть более прямые реальные доказательства этой динамики в действии, помимо простого математического моделирования. Эмпирические показатели для отслеживания разнообразия знаний с течением времени могут помочь проверить и количественно оценить основные утверждения. В документе также мало освещены потенциальные контраргументы.


На мой взгляд, некоторые ключевые открытые вопросы:

  • Не может ли расширенный доступ ИИ к знаниям по-прежнему быть чистым позитивом с точки зрения инноваций, даже если он несколько смещает ситуацию в сторону условностей? Не является ли снижение барьеров к обучению более важным?

  • Какая коллективная политика, стимулы или архитектура выбора могли бы помочь компенсировать коллапс знаний, сохраняя при этом повышение эффективности инструментов знаний ИИ? Как мы можем объединить машинный интеллект с исчерпывающей информацией?

  • Могут ли экономические стимулы компаний, занимающихся искусственным интеллектом, со временем измениться, чтобы уделять больше внимания редким данным и крайним случаям по мере того, как основные знания превращаются в товар? Может ли рыночная динамика действительно способствовать разнообразию?


Предлагаемые решения, такие как резервирование данных для обучения ИИ и индивидуальное стремление к поиску дополнительных знаний, кажутся мне эффективными лишь частично. Решение этой проблемы, похоже, требует координации на социальном и институциональном уровне, а не только индивидуального выбора. Нам нужны общие механизмы, чтобы активно ценить и сохранять нетрадиционное.


Мне также интересно узнать, какую роль децентрализованные открытые базы знаний могут сыграть в качестве противовеса сужению границ, вызванному искусственным интеллектом. Могут ли такие инициативы, как Викиданные, arXiv , или ИПФС обеспечить защиту от коллапса знаний, сделав маргинальную информацию более доступной? Здесь есть много возможностей для дальнейшей работы.


Ставки на наше творческое будущее

В конечном счете, статья Петерсона является мощным предупреждением о скрытых опасностях, скрывающихся в нашем стремлении сделать ИИ посредником в человеческих знаниях, даже для таких людей, как я, которые очень поддерживают ИИ. В мире, измененном машинным интеллектом, сохранение хаотического, неуправляемого разнообразия мыслей является императивом для дальнейшего творчества и прогресса человечества.


Мы могли бы поступить разумно, если бы заранее разработали наши инструменты знаний искусственного интеллекта, чтобы развивать нетрадиционные, а также эффективно реализовывать традиционные. Нам нужны сильные меры защиты и стимулы, чтобы поддерживать связь с периферийными странностями. Неспособность сделать это рискует заманить наш коллективный разум в конформистский пузырь, созданный нами самим.

Конформистский пузырь нашего собственного дизайна!


Итак, что вы думаете: обеспокоены ли вы коллапсом знаний в культуре, управляемой ИИ? Какие стратегии вы бы предложили для предотвращения этого? Дайте мне знать ваши мысли в комментариях!


И если это вступление вызвало у вас интерес, подумайте о том, чтобы стать платной подпиской, чтобы получить полный анализ и поддержать мою работу по разъяснению критических проблем искусственного интеллекта. Если вы разделяете мое убеждение в том, что борьба с этими идеями необходима для нашего творческого будущего, поделитесь этой статьей и пригласите других к обсуждению.


Разнообразие человеческих знаний — это не какая-то абстрактная желанная вещь, а важный катализатор самых значимых прорывов и творческих скачков человечества. Сохранение этого яркого спектра идей перед лицом сверхэффективного курирования знаний ИИ является определяющей задачей для нашего будущего как инновационного вида!


AIModels.fyi — это издание, поддерживаемое читателями. Чтобы получать новые публикации и поддерживать мою работу подписаться и обязательно подписывайтесь на меня Твиттер !