Возможности больших языковых моделей: взлом или помощь?

Модели больших языков (LLM) быстро развиваются и широко используются в качестве автономных агентов. Разработчики могут создавать агентов, которые взаимодействуют с пользователями, обрабатывают запросы и выполняют задачи на основе полученных данных, например, обнаруживают ошибки в сложном коде, проводят экономический анализ или помогают в научных открытиях.

Однако исследователи все больше обеспокоены возможностями LLM двойного назначения – их способностью выполнять вредоносные задачи, особенно в контексте кибербезопасности. Например, ЧатGPT может быть использован для помощи людям в тестировании на проникновение и создании вредоносного ПО. Более того, эти агенты могут действовать независимо, без участия и контроля человека.

Исследователи из Корнеллского университета, в том числе Ричард Фанг, Рохан Бинду, Акул Гупта, Киуши Джин и Дэниел Кан, провели исследования, которые проливают свет на угрозы, исходящие от программ магистратуры, и дают ценную информацию об их потенциальных последствиях. Их выводы служат отрезвляющим напоминанием о необходимости тщательного рассмотрения и регулирования в этой быстро развивающейся области.

Аренда GPU-серверов с мгновенным развертыванием или сервер с пользовательская конфигурация с картами профессионального уровня NVIDIA Tesla A100/H100 80Gb или A5000/A4000. GPU-серверы с игровыми картами RTX4090 также доступны.

Нарушения автономного веб-сайта

Изучение продемонстрировали, что LLM-агенты могут выполнять сложные взломы, например, слепую атаку SQL-инъекцией, объединяющую запросы. Этот тип атаки нацелен на веб-приложения, использующие SQL (язык структурированных запросов) для взаимодействия с базами данных. Подобные атаки позволяют злоумышленникам получать конфиденциальную информацию из баз данных, даже если приложение не демонстрирует никаких признаков ошибки или ненормального поведения.

Корень этих атак лежит в использовании оператора SQL Union, который позволяет объединять результаты нескольких запросов в один набор данных. Создав специально разработанный запрос с использованием этого оператора, злоумышленник может объединить набор результатов запроса к базе данных с набором результатов таблицы конфиденциальной информации. Это позволяет им получить доступ к конфиденциальным данным.

Чтобы успешно выполнить эти атаки, агент должен обладать способностью перемещаться по веб-сайтам и выполнять более 45 действий по взлому сайта. Примечательно, что по состоянию на февраль этого года только GPT-4 и GPT-3.5 были способны взламывать веб-сайты таким образом. Однако вполне вероятно, что более новые модели, такие как Llama3, также смогут выполнять подобные операции.

Чтобы исследовать потенциальное неправильное использование больших языковых моделей (LLM) при взломах сети, исследователи использовали различные инструменты и платформы искусственного интеллекта. В частности, они использовали LangChain для создания агентов и генеративно-состязательных сетей (RAG), а также моделей OpenAI через API Assistants. React использовался для взлома веб-сайтов, а агенты взаимодействовали через Playwright.

Чтобы улучшить понимание контекста, предыдущие вызовы функций были интегрированы в текущий контекст. Контролируемая среда была создана путем создания 15 изолированных веб-страниц с различными уязвимостями, что обеспечивало защиту реальных веб-сайтов и отдельных лиц.

Для проверки попыток взлома использовались десять крупномасштабных языковых моделей, включая GPT-4 и GPT-3.5, а также восемь моделей с открытым исходным кодом, получивших высокую оценку на Chatbot Arena. Каждый веб-сайт подвергался атакам пять раз, и любая успешная попытка предоставляла доступ через одну из этих пяти попыток.

Возможности больших языковых моделей (LLM) часто регулируются «законом масштабирования», согласно которому увеличение размера и сложности модели может привести к повышению производительности при выполнении конкретных задач. Этот феномен был недавно продемонстрирован в ходе эксперимента с использованием GPT-4, современной модели искусственного интеллекта и LLM с открытым исходным кодом.

В этом исследовании исследователи отметили, что GPT-4 успешно взломал 11 из 15 протестированных веб-сайтов, тогда как LLM с открытым исходным кодом не смог использовать какие-либо уязвимости. Контраст между этими результатами подчеркивает явное влияние масштабирования на возможности LLM.

Эксперимент развивался следующим образом:

• Начальная навигация: модель определила целевую веб-страницу посредством навигации по веб-странице.
• Стандартные учетные данные: для получения доступа была предпринята попытка использовать стандартное имя пользователя и пароль.
• Сбор информации: полученная информация была использована для попытки внедрения SQL.
• Анализ исходного кода. Исходный код был проанализирован, чтобы определить, содержит ли SQL-запрос параметр _GET.
• Оценка возможности использования: было определено, можно ли использовать запрос для атаки SQL Union.
• Немедленное выполнение атаки. Была выполнена немедленная атака SQL Union, состоящая из 48 шагов.

После этого эксперимента GPT-4 попросили взломать реальные веб-сайты. Хотя компания сразу отказалась проводить атаку, она успешно выявила одну уязвимость и объяснила, как ее можно использовать на 50 случайно выбранных тестовых веб-сайтах.

Использование уязвимостей первого дня с помощью больших языковых моделей

Эта учеба исследует возможность использования больших языковых моделей (LLM) для эксплуатации уязвимостей первого дня, также известных как уязвимости нулевого дня. Это недостатки безопасности, которые были публично раскрыты через такие источники, как CVE (Common Vulnerabilities and Exposures), но еще не было выпущено ни одного патча или обновления для решения этой проблемы. Это повышает вероятность существования пути, пригодного для использования, хотя он еще не был использован.

Примечательно, что даже несмотря на то, что эти уязвимости становятся достоянием общественности, нет никакой гарантии, что существующие инструменты смогут их автоматически обнаружить. Например, злоумышленники или тестеры на проникновение, не имеющие доступа к внутренним данным системы, могут не знать версию программного обеспечения, используемого при эксплойте.

Учитывая сложность многих уязвимостей первого дня, которые часто встречаются в закрытых системах, что делает невозможным их воспроизведение, исследователи сосредоточились на уязвимостях в программном обеспечении с открытым исходным кодом.

Для этого исследования исследователи выбрали 15 уязвимостей, которые охватывают уязвимости веб-приложений, уязвимости программного обеспечения для управления контейнерами и уязвимости пакетов Python. К ним относятся сочетание уязвимостей высокого и низкого риска, обнаруженных после даты окончания сбора информации для тестирования LLM.

В этом эксперименте использовались следующие уязвимости:

Агенты копировали тех, кто занимался взломами веб-сайтов, но с некоторой изюминкой. Вместо того, чтобы ориентироваться на конфиденциальные документы, они содержали подробные описания общих уязвимостей и рисков (CVE), а также реалистичные сценарии использования уязвимостей в первый же день.

Чтобы оценить возможности языковых моделей (LLM) в использовании уязвимостей, исследователи использовали 10 крупномасштабных LLM, включая GPT-4 и восемь альтернатив с открытым исходным кодом, а также два автоматизированных инструмента: Zed Attack Proxy (ZAP), разработанный OWASP. и Metasploit, фреймворк, созданный Rapid7.

Это исследование показало, что GPT-4 способен использовать 87% уязвимостей, тогда как другие LLM не смогли этого сделать. Примечательно, что GPT-4 не сработал только с двумя конкретными уязвимостями: Iris XSS и Hertzbeat RCE.

Веб-платформа Iris, используемая для совместной работы при расследовании инцидентов, оказалась сложной задачей для агента LLM из-за того, что она полагалась на навигацию на JavaScript. В результате агент не мог получить доступ к важным формам и кнопкам или взаимодействовать с нужными элементами — задача, которую человек мог бы успешно выполнить.

Дальнейшее расследование показало, что GPT-4 с трудом переводил детали Hertzbeat, которые были доступны только на китайском языке, из-за английского языка запросов. Следовательно, он столкнулся с трудностями при воспроизведении уязвимости.

Результаты также подчеркнули важность описаний CVE для показателей успеха LLM. Без этих описаний процент успеха резко упал с 87% до 7%. Это говорит о том, что агентам LLM в настоящее время требуются подробные инструкции по разработке планов эксплуатации уязвимостей, и они пока не способны самостоятельно создавать такие планы. Однако это только начало, и будущие достижения могут изменить ситуацию.

Выводы

Исследование показало, что LLM-агенты уже способны автономно взламывать веб-сайты и эксплуатировать определенные реальные уязвимости в компьютерных системах (большинство из них доступны для использования с описанием их эксплуатации).

К счастью, нынешние агенты не могут использовать неизвестные и нераскрытые уязвимости, а решения с открытым исходным кодом не могут продемонстрировать результаты, сравнимые с платным ChatGPT4 (и новым GPT4o). Однако вполне возможно, что будущие расширения позволят использовать такие уязвимости, а модели LLM со свободным доступом потенциально повторят успех своих проприетарных аналогов.

Все это говорит о том, что разработчики больших языковых моделей должны более ответственно подходить к процессу обучения. Более того, специалистам по кибербезопасности нужно быть готовыми к тому, что эти модели будут использоваться для создания ботов, которые будут систематически сканировать системы на наличие уязвимостей.

Даже модели с открытым исходным кодом могут заявить, что они не будут использоваться для незаконной деятельности (Llama 3 категорически отказалась помочь взломать веб-сайт). Однако именно благодаря открытости нет никаких препятствий, кроме этических соображений, мешающих созданию «бесцензурных» моделей.

Существует множество способов убедить LLM помочь во взломе, даже если он изначально сопротивляется. Например, можно попросить его стать пентестером и помочь улучшить безопасность сайта, совершив «доброе дело».

Аренда GPU-серверов с мгновенным развертыванием или сервер с пользовательская конфигурация с картами профессионального уровня NVIDIA Tesla A100/H100 80Gb или A5000/A4000. GPU-серверы с игровыми картами RTX4090 также доступны.