Недавно путешествовал по миру, пытаясь (возможно) контролировать глобальные разработки в области искусственного интеллекта. Неудивительно, что OpenAI вообще не любит ИИ с открытым исходным кодом. Тем не менее, этот пост не о разработке ИИ, а о проблемах его безопасности и стандартизации. Как правило, развитая среда , а также возможности защитников по осведомленности о киберситуации и реагированию (далее вместе называемые возможностями «автоматизации безопасности») в подавляющем большинстве определяются системами автоматизации и искусственного интеллекта. Чтобы получить представление, возьмите что-нибудь простое, например проверку Gmail и ответ на него сегодня, и перечислите уровни искусственного интеллекта и автоматизации, которые могут обеспечить безопасность и оркестрацию этой простой деятельности. Сэм Альтман киберугроз Таким образом, все организации заметного размера и сложности вынуждены полагаться на системы автоматизации безопасности, чтобы влиять на свою политику кибербезопасности. Часто упускают из виду, что существуют также некоторые « » кибербезопасности, которые позволяют реализовать эти системы автоматизации безопасности. Они могут включать в себя автоматизированные механизмы обмена данными об угрозах, базовые соглашения об атрибуции и системы производства/управления знаниями. Все это обеспечивает возможность обнаружения и реагирования, которую маркетологи и юристы часто называют «активной защитой» или «превентивной кибербезопасностью». Однако, если вы возьмете какую-либо национальную политику кибербезопасности, вам будет трудно найти что-либо об этой метаполитике – потому что они часто неявны, привносятся в национальную реализацию в основном за счет влияния и имитации (т. е. сетевых эффектов), а не столько за счет формальные или стратегические обсуждения. метаполитики Эти метаполитики автоматизации безопасности важны для управления и безопасности ИИ, потому что, в конечном итоге, все эти системы ИИ, будь то полностью цифровые или киберфизические, существуют в рамках более широкой матрицы кибербезопасности и стратегии. Нам нужно задаться вопросом, послужит ли модернизация преобладающей метаполитики автоматизации будущему ИИ хорошо или нет. Как избежать зависимости от пути Учитывая тенденцию к зависимости от пути в автоматизированных информационных системах, то, что до сих пор работало хорошо, все больше внедряется в новые и дополнительные области автоматизации безопасности, такие как экосистема интеллектуальных/подключенных транспортных средств. Кроме того, разработки в области безопасности программного обеспечения на колесах легко внедряются в различные сложные автомобильные системы: от , которые обещают уменьшить численность экипажа и повысить смертоносность, до стандартов автоматизированного управления и транспортные системы дронов. Следовательно, наблюдается рост количества транспортных средств SOC (центров управления безопасностью), которые работают по принципу SOC кибербезопасности и используют аналогичные механизмы обмена данными, заимствуя те же реализации автоматизации безопасности и распространения информации. Это было бы прекрасно, если бы существующие средства были достаточно хороши, чтобы слепо адаптироваться к возникающей угрозе. Но они далеки от этого. полностью оцифрованных танков безопасностью автопарка Например, в большинстве обменов данными об угрозах кибербезопасности используется протокол светофора , однако TLP сам по себе представляет собой всего лишь классификацию информации: ее выполнение и любые режимы шифрования для ограничения распространения по назначению оставлены на усмотрение разработчиков автоматизации безопасности. системы. Таким образом, существует потребность не только в более детальном и богатом контроле над обменом данными с полностью или частично автоматизированными системами, но и в обеспечении его соответствия. Большая часть политик по информированию об угрозах, таких как TLP, сродни печально известному Таллиннскому руководству в том смысле, что они почти являются выражением мнений, которые поставщики кибербезопасности могут рассмотреть возможность внедрения, а могут и нет. Это становится еще более проблематичным, когда ожидается, что стандарты данных об угрозах будут охватывать автоматическое обнаружение и реагирование (как в случае с автомобильной и промышленной автоматизацией) – и могут или не могут включать соответствующую политику безопасности и обмена данными из-за отсутствия каких-либо требований соответствия. так. (TLP) Еще один пример непоследовательной метаполитики среди множества других можно найти в недавнем появлении систем генерации языков и диалоговых агентов искусственного интеллекта. Дело в том, что не все диалоговые агенты представляют собой большие нейронные сети в стиле ChatGPT. Большинство из них использовались на протяжении десятилетий в качестве программ генерации языков для конкретных задач, основанных на правилах. Создание «общей операционной картины» посредством моделирования диалогов и графического представления контекста между такими программами (что могло потребоваться организации, работающей в нескольких областях/театрах) было постоянной проблемой до того, как мир наткнулся на «внимание — это все, что вам нужно». Итак, теперь у нас есть гигантский массив устаревшей ИТ-инфраструктуры с человеко-машинным интерфейсом и мультимодальная парадигма автоматизации ИИ, которая бросает ей вызов. Организациям, переживающим «цифровую трансформацию», необходимо не только избегать наследования унаследованных , но также учитывать ресурсы и организационные для эффективного использования модели доставки, ориентированной на искусственный интеллект. Понятно, что некоторые организации (включая правительства) могут не захотеть полной трансформации сразу. Из-за отсутствия стандартизированного обмена данными и контекстом между новыми и устаревшими автоматизированными системами многие пользователи, скорее всего, будут продолжать использовать парадигму, с которой они лучше всего знакомы, а не ту, которая является наиболее революционной. технических долгов требования Фактически, сегодня большая часть кибербезопасности зависит от своевременного обмена данными и автоматизированной оркестровки, и, таким образом, эти базовые информационные стандарты становятся абсолютно критически важными для современных (постиндустриальных) обществ и управления киберфизическими системами. Тем не менее, вместо того, чтобы сформулировать или гармонизировать метаполитику производства знаний, необходимую для управления безопасностью ИИ в гиперсвязанной и транснациональной среде угроз, мы, похоже, попадаем в гибельные ловушки экзистенциального освобождения и бесконечных жутких долин. Тем не менее, одной из основных причин несоблюдения требований и хаотичного сценария разработки стандартов при производстве данных безопасности является отсутствие основного агента управления. Управление информацией (кибер)безопасности Существующие обмена информацией о киберугрозах, ориентированные на автоматизацию, обычно следуют модели управления с участием многих заинтересованных сторон. Это означает, что они следуют фундаментальному подходу жизненного цикла «снизу вверх», то есть стандарт информации о кибербезопасности разрабатывается, а затем продвигается «вверх» для перекрестной стандартизации с МСЭ и ISO. Эта восходящая мобильность технических стандартов непроста. Структурированное выражение информации об угрозах (STIX), которое в настоящее время, возможно, является фактическим отраслевым стандартом для передачи машиночитаемой информации о киберугрозах (CTI), все еще ожидает одобрения МСЭ. Не то чтобы это действительно было необходимо, потому что глобальное управление технологиями структурировано так, что его возглавляет промышленность, а не страны. «Большая семерка» дошла до того, что это, а некоторые члены даже любые дипломатические усилия по достижению любого другого набора норм. стандарты формализовала блокируют Это хорошо работает для тех национальных государств, которые обладают необходимым структурным и производственным в рамках государственно-частного технологического партнерства. Следовательно, глобальное управление стандартами кибертехнологий становится отражением глобального порядка. Если не считать имен субъектов киберугроз, до сих пор это все еще носило относительно объективный характер. Но это уже не так с интеграцией онлайн-дезинформации в наступательные кибероперации и национальную политику кибербезопасности – не только традиционные информационные стандарты могут вступать в семантические , но и новые стандарты, основанные на ценностях в информационной среде. Поскольку производство и обмен индикаторами социальных/политических угроз, основанных на автоматизации, могут формироваться и влиять на политические предпочтения, по мере роста угроз, связанных с информацией, генерируемой ИИ, и социальными ботнетами, стандарты информации об угрозах кибербезопасности также переходят от достаточно объективных к более субъективным. поза. И государства мало что могут сделать для перенастройки нынешней системы, поскольку политика стандартов кибербезопасности глубоко переплетена с их рыночным развитием с участием многих заинтересованных сторон. потенциалом конфликты появляются Атрибуция киберугроз является хорошим примером. MITRE начинала свою деятельность как подрядчик DARPA, а сегодня фактически служит общеотраслевой базой знаний об угрозах и уязвимостях компьютерных сетей. Из групп Advanced Persistent Threat, перечисленных в MITRE ATT&CK, около 1/3 киберугроз являются китайскими, еще 1/3 исходят из России/Кореи/Ближнего Востока/Индии/Южной Америки и т. д., а оставшаяся 1/3 ( которые содержат наиболее сложные ТТП, наибольшую долю эксплойтов нулевого дня и геополитически ориентированный таргетинг) остаются неустановленными. Мы не будем здесь спекулировать, но абдуктивные рассуждения о неатрибутивном могут дать читателям некоторые представления о предпочтениях и политике глобального производства CTI. кластере угроз Факт жизни таков, что в киберпространстве государства, стремящиеся к власти, играют роль субъекты управления и изощренные правонарушители одновременно, поэтому этот рыночный подход с участием многих заинтересованных сторон хорошо сработал для их операционной логики – пропаганды глобальной . Но это плохо для производства знаний о киберугрозах и самой автоматизации безопасности, которая иногда может быть весьма предвзятой и политически в Интернете. Общество шло по этому пути достаточно долго, чтобы даже не думать об этом как о проблеме при переходе в мир, окруженный все более автономными системами. политики функциональной совместимости мотивированной Путь вперед Поскольку социальные риски ИИ становятся все более значительными, государствам, намеревающимся сегодня внедрить защитную стратегию автоматизации кибербезопасности, возможно, придется ориентироваться в высоком соотношении сигнал-шум в информации об угрозах кибербезопасности, многочисленных поставщиках CTI и метаполитиках, а также в постоянном давлении со стороны промышленности и международного сообщества. организаций об «этике ИИ» и «кибернормах» (здесь мы не будем углубляться в дискуссию о том, «чья этика?»). Как мы уже отмечали, этот хаос является результатом разработки восходящих подходов. Однако подходам «сверху вниз» может не хватать гибкости и оперативности подходов «снизу вверх». По этой причине необходимо объединить лучшее из многостороннего подхода с лучшими из многостороннего подхода. Это означало бы рационализацию нынешней восходящей установки информационных стандартов в соответствии с многосторонним видением и структурой. Хотя мы хотим избежать сбора данных о партийных угрозах, мы также хотим использовать разрозненный пул отраслевых знаний, который требует координации, принятия решений и управления. Хотя некоторые органы ООН, такие как МСЭ и UNDIR, играют важную роль в глобальной метаполитике кибербезопасности, они не обладают своего рода нисходящим регулятивным эффектом, необходимым для управления вредоносным социальным ИИ через Интернет или реализации каких-либо метаполитических мер контроля над обменом угрозами для распределенные автономные платформы. Поэтому интеграция многостороннего подхода с многосторонним подходом должна начаться в самом Совете Безопасности ООН или любой другой эквивалентной международной организации по безопасности. Не то чтобы это было непредвиденно. Когда в 1998 году была принята первая резолюция ООН по оценке информационных технологий, особенно Интернета, некоторые страны прямо что эти технологии в конечном итоге вступят в противоречие с международной безопасностью и стабильностью, намекая на необходимые реформы на самых высоких уровнях международной безопасности. Действительно, СБ ООН как институт не очень хорошо развивался вместе с цифровыми технологиями и реальностью постинтернет-безопасности. Неограниченное распространение операций APT, связанных с государством, является лишь одним из примеров его неспособности регулировать дестабилизирующую государственную деятельность. Более того, хотя совет, похоже, все еще придерживается концепции стратегической безопасности 1945 года, существует и доказательств, чтобы переместить идею «государственного насилия» в свете стратегически развернутых наступательных возможностей кибербезопасности и искусственного интеллекта. указали, достаточно оснований Хотя преодоление устойчивости глобального порядка и его укоренившейся бюрократии будет непростым делом, в случае реформирования его устава и состава совет (или его замена) мог бы послужить ценным институтом, заполняющим пустоту, возникающую из-за отсутствия основной агент, отвечающий за стандарты безопасности и управления, способствующие автоматизации безопасности и приложениям искусственного интеллекта в киберпространстве. Это процесс Здесь необходимо указать на некоторые недоразумения. Похоже, что у регулирующих органов есть некоторые идеи относительно управления «продуктами ИИ», по крайней мере, Закон ЕС об ИИ то же самое. Здесь мы должны уделить минутку тишины и покоя, чтобы задуматься о том, что такое «ИИ» или «автономное поведение» – и вскоре большинство из нас поймет, что нынешние методы сертификации продуктов могут оказаться недостаточными для решения проблем адаптивных систем, основанных на непрерывное обучение и обмен данными с реальным миром. Мы пытаемся сказать, что регулирующим органам, возможно, необходимо серьезно рассмотреть плюсы и минусы подхода, ориентированного на продукт, и подхода, ориентированного на процесс, к регулированию ИИ. предполагает В конце концов, ИИ — это результат. В центре внимания управления и стандартов должны быть базовые процессы и политики, от методов обработки данных и модельных архитектур до межмашинного обмена информацией и механизмов оптимизации, а не на самом результате. Кроме того, по мере того как программное обеспечение переходит от объектно-ориентированной к агентно-ориентированной инженерной парадигме, регулирующим органам необходимо начать думать о политике с точки зрения кода, а код с точки зрения политики – все остальное всегда будет оставлять огромный разрыв между намерением и реализацией. Если вышеупомянутый хаос сегодняшнего управления кибербезопасностью с участием многих заинтересованных сторон является чем-то приемлемым, то для безопасности и управления ИИ нам нужна основанная на фактических данных (рассмотрим данные, которые привели к окончательному CTI, и использование новых типов технических доказательств) оркестрации данных об угрозах, проверки во время выполнения. автоматизации на базе искусственного интеллекта в системах киберзащиты и безопасности, четких беспартийных каналов и стандартов управления информацией о киберугрозах, а также многостороннего консенсуса по этому вопросу. Сосредоточение внимания только на конечном продукте ИИ может оставить многое без внимания и потенциально предвзято – как мы видим из экосистемы информационной метаполитики, которая управляет системами автоматизации безопасности во всем мире – следовательно, нам необходимо сосредоточиться на лучшем управлении базовыми процессами и политиками, которые управляют этими системами, а не результаты этих процессов и политики. Также опубликовано здесь.
