ИИ и проблема «коллапса знаний»

ИИ часто хвалят( мной, не меньше !) как мощный инструмент для повышения человеческого интеллекта и творческих способностей. Но что, если опора на ИИ на самом деле с течением времени делает нас менее способными формулировать революционные идеи и инновации? Это тревожный аргумент, выдвинутый в новой исследовательской работе, которая на этой неделе стала вирусной на Reddit и Hacker News.

Основное утверждение статьи заключается в том, что растущее использование систем искусственного интеллекта, таких как языковые модели и базы знаний, может привести к угрозе на уровне цивилизации, которую автор называет «коллапсом знаний». Поскольку мы начинаем зависеть от ИИ, обученного на основных традиционных источниках информации, мы рискуем потерять связь с дикими, неортодоксальными идеями на задворках знаний — теми же идеями, которые часто способствуют преобразующим открытиям и изобретениям.

Ниже вы можете найти мой полный анализ статьи, некоторые контрапункты и техническое описание. Но сначала давайте углубимся в то, что на самом деле означает «коллапс знаний» и почему это так важно…

ИИ и проблема коллапса знаний

бумага , автор Эндрю Дж. Петерсон в Университете Пуатье вводит концепцию коллапса знаний как «прогрессивное с течением времени сужение набора информации, доступной людям, наряду с сопутствующим сужением воспринимаемой доступности и полезности различных наборов информации».

Проще говоря, коллапс знаний — это то, что происходит, когда ИИ делает традиционные знания и общие идеи настолько доступными, что нетрадиционные, эзотерические, «длиннохвостые» знания игнорируются и забываются. Речь идет не о том, чтобы сделать нас тупее как личности, а, скорее, о подрыве здорового разнообразия человеческого мышления.

Петерсон утверждает, что это экзистенциальная угроза инновациям, поскольку взаимодействие с широким спектром идей, особенно неосновных, позволяет нам создавать новые концептуальные связи и совершать умственные скачки. Самые влиятельные прорывы в науке, технологиях, искусстве и культуре часто происходят в результате синтеза совершенно разных концепций или применения структур из одной области в другую. Но если ИИ заставит нас черпать из все более узкого фрагмента «нормальных» знаний, эти творческие искры станут все более маловероятными. Наш коллективный разум попадает в ловушку конформистской эхо-камеры и застаивается. В долгосрочной перспективе возможности человеческого воображения сужаются, чтобы соответствовать ограниченной информационной диете, оптимизированной с помощью наших инструментов искусственного интеллекта.

Чтобы проиллюстрировать это, представьте, что все предложения по книгам исходят от ИИ, обученного только самым популярным популярным изданиям. Маргинальные жанры и нишевые темы со временем исчезнут, а литературный мир застрянет в цикле производных, повторяющихся произведений. Больше никаких революционных идей, основанных на смешении совершенно разных влияний.

Или представьте себе сценарий, в котором ученые и изобретатели получают все свои знания от ИИ, обученного на основе существующих исследований. Наиболее традиционные, хорошо проработанные направления исследований усиливаются (они широко представлены в обучающих данных), в то время как неортодоксальные подходы, ведущие к реальным сдвигам парадигм, отмирают. Целые границы открытий остаются неисследованными, потому что наши шоры ИИ заставляют нас игнорировать их.

Это коварный риск, который Петерсон видит в передаче все большего количества нашей информации и хранения знаний на аутсорсинг системам искусственного интеллекта, которые ценят основные данные. Само разнообразие мыслей, необходимое человечеству для продолжения больших творческих скачков, постепенно разрушается, поглощаемое гравитационным притяжением традиционного и количественно популярного.

Модель коллапса знаний Петерсона

Для дальнейшего изучения динамики коллапса знаний Петерсон представляет математическую модель того, как сужение источников информации, вызванное искусственным интеллектом, может усугубляться из поколения в поколение.

Модель представляет собой сообщество «обучающихся», которые могут выбирать получение знаний путем выборки либо из 1) полного истинного распределения информации с использованием традиционных методов, либо 2) дисконтированного процесса на основе ИИ, который выбирает из более узкого распределения, сосредоточенного на основной информации.

Затем Петерсон моделирует, как общее «распределение общественных знаний» развивается на протяжении нескольких поколений при различных сценариях и предположениях.

Некоторые ключевые выводы:

• Когда ИИ обеспечивает учащимся снижение затрат на основную информацию на 20%, распределение общедоступных знаний оказывается в 2,3 раза более асимметричным по сравнению с базовым уровнем без ИИ. Маргинальные знания быстро вытесняются.

• Рекурсивная взаимозависимость между системами ИИ (например, ИИ, который учится на результатах другого ИИ и т. д.) резко ускоряет коллапс знаний на протяжении поколений. Ошибки и предубеждения в отношении условностей накапливаются на каждом этапе.

• Компенсация коллапса требует очень сильных стимулов для учащихся, чтобы они активно искали дополнительные знания. Они должны не только осознать ценность редкой информации, но и приложить все усилия, чтобы получить ее ценой собственных усилий.

  
  

Петерсон также связывает свою модель с такими понятиями, как «информационные каскады» в теории социального обучения и экономическими стимулами для компаний, занимающихся искусственным интеллектом, отдавать приоритет наиболее коммерчески применимым данным. Все это свидетельствует о сильном давлении на традиционное в экосистеме знаний, основанной на искусственном интеллекте.

Критическая перспектива и открытые вопросы

Аргументы Петерсона о коллапсе знаний философски провокационны и технически последовательны. Формальная модель, представленная в статье, обеспечивает полезную основу для анализа проблемы и поиска решений.

Однако мне бы хотелось увидеть более прямые реальные доказательства этой динамики в действии, помимо простого математического моделирования. Эмпирические показатели для отслеживания разнообразия знаний с течением времени могут помочь проверить и количественно оценить основные утверждения. В документе также мало освещены потенциальные контраргументы.

На мой взгляд, некоторые ключевые открытые вопросы:

• Не может ли расширенный доступ ИИ к знаниям по-прежнему быть чистым позитивом с точки зрения инноваций, даже если он несколько смещает ситуацию в сторону условностей? Не является ли снижение барьеров к обучению более важным?

• Какая коллективная политика, стимулы или архитектура выбора могли бы помочь компенсировать коллапс знаний, сохраняя при этом повышение эффективности инструментов знаний ИИ? Как мы можем объединить машинный интеллект с исчерпывающей информацией?

• Могут ли экономические стимулы компаний, занимающихся искусственным интеллектом, со временем измениться, чтобы уделять больше внимания редким данным и крайним случаям по мере того, как основные знания превращаются в товар? Может ли рыночная динамика действительно способствовать разнообразию?

  
  

Предлагаемые решения, такие как резервирование данных для обучения ИИ и индивидуальное стремление к поиску дополнительных знаний, кажутся мне эффективными лишь частично. Решение этой проблемы, похоже, требует координации на социальном и институциональном уровне, а не только индивидуального выбора. Нам нужны общие механизмы, чтобы активно ценить и сохранять нетрадиционное.

Мне также интересно узнать, какую роль децентрализованные открытые базы знаний могут сыграть в качестве противовеса сужению границ, вызванному искусственным интеллектом. Могут ли такие инициативы, как Викиданные, arXiv , или ИПФС обеспечить защиту от коллапса знаний, сделав маргинальную информацию более доступной? Здесь есть много возможностей для дальнейшей работы.

Ставки на наше творческое будущее

В конечном счете, статья Петерсона является мощным предупреждением о скрытых опасностях, скрывающихся в нашем стремлении сделать ИИ посредником в человеческих знаниях, даже для таких людей, как я, которые очень поддерживают ИИ. В мире, измененном машинным интеллектом, сохранение хаотического, неуправляемого разнообразия мыслей является императивом для дальнейшего творчества и прогресса человечества.

Мы могли бы поступить разумно, если бы заранее разработали наши инструменты знаний искусственного интеллекта, чтобы развивать нетрадиционные, а также эффективно реализовывать традиционные. Нам нужны сильные меры защиты и стимулы, чтобы поддерживать связь с периферийными странностями. Неспособность сделать это рискует заманить наш коллективный разум в конформистский пузырь, созданный нами самим.

Итак, что вы думаете: обеспокоены ли вы коллапсом знаний в культуре, управляемой ИИ? Какие стратегии вы бы предложили для предотвращения этого? Дайте мне знать ваши мысли в комментариях!

И если это вступление вызвало у вас интерес, подумайте о том, чтобы стать платной подпиской, чтобы получить полный анализ и поддержать мою работу по разъяснению критических проблем искусственного интеллекта. Если вы разделяете мое убеждение в том, что борьба с этими идеями необходима для нашего творческого будущего, поделитесь этой статьей и пригласите других к обсуждению.

Разнообразие человеческих знаний — это не какая-то абстрактная желанная вещь, а важный катализатор самых значимых прорывов и творческих скачков человечества. Сохранение этого яркого спектра идей перед лицом сверхэффективного курирования знаний ИИ является определяющей задачей для нашего будущего как инновационного вида!