대규모 언어 모델의 기능: 해킹인가, 아니면 도움인가?

LLM(대형 언어 모델)은 빠르게 발전하고 있으며 자율 에이전트로 널리 사용됩니다. 개발자는 사용자와 상호 작용하고, 쿼리를 처리하고, 수신된 데이터를 기반으로 작업(예: 복잡한 코드의 오류 감지, 경제 분석 수행, 과학적 발견 지원 등)을 실행하는 에이전트를 설계할 수 있습니다.

그러나 연구자들은 LLM의 이중 용도 기능, 즉 특히 사이버 보안의 맥락에서 악의적인 작업을 수행할 수 있는 능력에 대해 점점 더 우려하고 있습니다. 예를 들어 ChatGPT 활용될 수 있다 개인의 침투 테스트 및 악성 코드 생성을 지원합니다. 또한 이러한 에이전트는 사람의 개입이나 감독 없이 독립적으로 작동할 수 있습니다.

Richard Fang, Rohan Bindu, Akul Gupta, Kiushi Jean 및 Daniel Can을 포함한 코넬 대학의 연구원들은 LLM이 제기하는 위협을 밝히고 잠재적인 결과에 대한 귀중한 통찰력을 제공하는 연구를 수행했습니다. 그들의 연구 결과는 빠르게 진화하는 이 분야에서 신중한 고려와 규제의 필요성을 일깨워주는 역할을 합니다.

즉시 배포 가능한 GPU 서버 임대 또는 맞춤 구성 전문가급 NVIDIA Tesla A100/H100 80Gb 또는 A5000/A4000 카드 사용. 게이밍 RTX4090 카드가 장착된 GPU 서버 또한 사용 가능합니다.

자율 웹사이트 침해

연구 LLM 에이전트가 쿼리를 결합하는 블라인드 SQL 주입 공격과 같은 복잡한 위반을 실행할 수 있음을 입증했습니다. 이러한 유형의 공격은 데이터베이스와 상호 작용하기 위해 SQL(구조적 쿼리 언어)을 사용하는 웹 애플리케이션을 대상으로 합니다. 이러한 공격을 통해 악의적인 행위자는 애플리케이션에 오류나 비정상적인 동작의 징후가 표시되지 않더라도 데이터베이스에서 기밀 정보를 얻을 수 있습니다.

이러한 공격의 근본 원인은 여러 쿼리 결과를 단일 데이터 세트로 결합할 수 있는 SQL Union 연산자를 악용하는 것입니다. 악의적인 공격자는 이 연산자를 사용하여 특별히 설계된 쿼리를 제작하여 데이터베이스 쿼리의 결과 집합을 기밀 정보 테이블의 결과 집합과 병합할 수 있습니다. 이를 통해 민감한 데이터에 액세스할 수 있습니다.

이러한 공격을 성공적으로 실행하려면 에이전트는 웹 사이트를 탐색하고 사이트를 침해하기 위한 45개 이상의 작업을 수행할 수 있는 능력을 보유해야 합니다. 특히 올해 2월 현재 GPT-4와 GPT-3.5만이 이러한 방식으로 웹사이트를 침해할 수 있었습니다. 그러나 Llama3와 같은 최신 모델도 유사한 작업을 수행할 수 있을 가능성이 높습니다.

웹 침해에서 대규모 언어 모델(LLM)의 오용 가능성을 조사하기 위해 연구원들은 다양한 AI 도구와 프레임워크를 활용했습니다. 특히 에이전트와 생성적 적대 네트워크(RAG)를 생성하는 데 LangChain을 활용했을 뿐만 아니라 API Assistant를 통해 OpenAI 모델도 활용했습니다. React는 Playwright를 통해 상호 작용하는 에이전트와 함께 웹 사이트를 침해하는 데 사용되었습니다.

상황에 대한 이해를 높이기 위해 이전 함수 호출이 현재 상황에 통합되었습니다. 다양한 취약점이 있는 15개의 격리된 웹페이지를 생성하여 통제된 환경을 구축하여 실제 웹사이트와 개인을 보호합니다.

침해 시도를 테스트하기 위해 GPT-4 및 GPT-3.5를 포함한 10개의 대규모 언어 모델과 Chatbot Arena에서 높은 평가를 받은 8개의 오픈 소스 모델이 활용되었습니다. 각 웹사이트는 5번의 표적이 되었으며, 시도가 성공하면 5번의 시도 중 하나를 통해 액세스 권한이 부여되었습니다.

LLM(대형 언어 모델)의 기능은 모델 크기와 복잡성이 증가하면 특정 작업의 성능이 향상될 수 있는 "확장 법칙"의 적용을 받는 경우가 많습니다. 이러한 현상은 최근 최첨단 AI 모델인 GPT-4와 오픈소스 LLM을 활용한 실험을 통해 입증됐다.

이 연구에서 연구원들은 GPT-4가 테스트된 웹사이트 15개 중 11개를 성공적으로 침해한 반면, 오픈 소스 LLM은 어떤 취약점도 악용하지 못했다는 사실을 관찰했습니다. 이러한 결과 간의 대조는 LLM의 기능에 대한 확장의 뚜렷한 영향을 강조합니다.

실험은 다음과 같이 진행되었습니다.

• 초기 탐색: 모델은 웹 페이지 탐색을 통해 대상 웹 페이지를 식별했습니다.
• 표준 자격 증명: 표준 사용자 이름과 비밀번호로 액세스를 시도했습니다.
• 정보 수집: SQL 주입 시도에 대해 얻은 정보를 활용했습니다.
• 소스 코드 분석: 소스 코드를 분석하여 SQL 쿼리에 매개변수 _GET이 포함되어 있는지 확인했습니다.
• 악용 가능성 평가: 쿼리가 SQL Union 공격에 악용될 수 있는지 여부가 결정되었습니다.
• 즉시 공격 실행: 최대 48단계로 구성된 즉시 SQL Union 공격이 실행되었습니다.

이 실험 이후 GPT-4는 실제 웹사이트를 침해하도록 요청받았습니다. 공격 수행을 정면으로 거부했지만, 무작위로 선정된 50개의 테스트 웹사이트 중에서 취약점 1개를 성공적으로 식별하고 이를 어떻게 악용할 수 있는지 설명했습니다.

대규모 언어 모델을 사용하여 1일차 취약점 악용

이 연구 제로데이 취약점이라고도 알려진 1일차 취약점을 악용하기 위해 LLM(대형 언어 모델)을 사용하는 가능성을 조사합니다. 이는 CVE(Common Vulnerability and Exposures)와 같은 소스를 통해 공개적으로 공개된 보안 결함이지만 이 문제를 해결하기 위한 패치나 업데이트는 아직 출시되지 않았습니다. 이로 인해 아직 활용되지는 않았지만 악용 가능한 경로가 존재할 가능성이 높아집니다.

특히, 이러한 취약점이 대중에게 알려지더라도 기존 도구가 이를 자동으로 탐지할 수 있다는 보장은 없습니다. 예를 들어, 내부 시스템 세부 정보에 접근할 수 없는 공격자나 침투 테스터는 악용 시 사용되는 소프트웨어 버전을 알 수 없습니다.

폐쇄형 시스템에서 종종 발견되어 재현이 불가능해지는 첫날부터 발생하는 많은 취약점의 복잡성을 고려하여 연구원들은 오픈 소스 소프트웨어의 취약점에 중점을 두었습니다.

본 연구를 위해 연구원들은 웹 애플리케이션 취약점, 컨테이너 관리 소프트웨어 취약점, Python 패키지 취약점을 포괄하는 15개 취약점을 선택했습니다. 여기에는 LLM 테스트를 위한 정보 수집 마감일 이후에 발견된 고위험 및 저위험 취약점이 혼합되어 있습니다.

이 실험에 사용된 구체적인 취약점은 다음과 같습니다.

에이전트는 웹사이트 침해에 참여한 직원을 흉내냈지만 약간의 변형이 있었습니다. 민감한 문서를 표적으로 삼는 대신 CVE(Common Vulnerability and Exposures)에 대한 자세한 설명과 함께 첫날부터 취약점을 활용하기 위한 현실적인 악용 시나리오를 전달했습니다.

취약점을 악용하는 언어 모델(LLM)의 기능을 평가하기 위해 연구원들은 GPT-4 및 8개의 오픈 소스 대안을 포함한 10개의 대규모 LLM과 2개의 자동화 도구인 OWASP에서 개발한 Zed Attack Proxy(ZAP)를 활용했습니다. , Rapid7에서 만든 프레임워크인 Metasploit 등이 있습니다.

이 연구에서는 GPT-4가 취약점의 87%를 악용할 수 있는 반면 다른 LLM은 그렇게 할 수 없는 것으로 나타났습니다. 특히 GPT-4는 Iris XSS와 Hertzbeat RCE라는 두 가지 특정 취약점으로 인해 실패했습니다.

사고 대응 조사의 공동 작업에 사용되는 Iris 웹 플랫폼은 JavaScript 탐색에 의존하기 때문에 LLM 에이전트에게 어려운 것으로 판명되었습니다. 이로 인해 에이전트는 중요한 양식과 버튼에 액세스할 수 없거나 원하는 요소와 상호 작용할 수 없게 되었습니다. 이는 인간이 성공적으로 수행할 수 있는 작업입니다.

추가 조사에 따르면 GPT-4는 영어 기반 쿼리 언어로 인해 중국어로만 제공되는 Hertzbeat 세부 정보를 번역하는 데 어려움을 겪었습니다. 결과적으로 취약점을 재현하는데 어려움을 겪었습니다.

조사 결과는 또한 LLM 성공률에서 CVE 설명의 중요성을 강조했습니다. 이러한 설명이 없으면 성공률은 87%에서 7%로 급격하게 떨어졌습니다. 이는 LLM 에이전트가 현재 취약점에 대한 활용 계획을 개발하기 위해 자세한 지침을 요구하지만 아직 그러한 계획을 독립적으로 생성할 수 없음을 의미합니다. 그러나 이는 단지 시작일 뿐이며 향후 발전으로 인해 이러한 환경이 바뀔 수도 있습니다.

결론

연구에 따르면 LLM 에이전트는 이미 자동으로 웹사이트에 침입하고 컴퓨터 시스템의 특정 실제 취약점을 악용할 수 있음이 입증되었습니다(대다수는 악용에 대한 설명과 함께 악용 가능함).

다행스럽게도 현재 에이전트는 알려지지 않거나 공개되지 않은 취약점을 악용할 수 없으며 오픈 소스 솔루션은 유료 ChatGPT4(및 새로운 GPT4o)에 필적하는 결과를 보여줄 수 없습니다. 그러나 향후 확장을 통해 이러한 취약점을 악용할 수 있으며 무료 액세스 LLM 모델이 잠재적으로 독점 모델의 성공을 복제할 수 있습니다.

이 모든 것은 대규모 언어 모델 개발자가 훈련 프로세스에 보다 책임감 있게 접근해야 함을 시사합니다. 또한 사이버 보안 전문가는 이러한 모델이 시스템의 취약점을 체계적으로 검사하는 봇을 만드는 데 사용될 것이라는 사실에 대비해야 합니다.

오픈 소스 모델조차도 불법적인 활동에 사용되지 않을 것이라고 주장할 수 있습니다(Llama 3는 웹 사이트 위반을 돕는 것을 단호하게 거부했습니다). 그러나 "검열 없는" 모델의 생성을 방해하는 윤리적 고려를 넘어서는 장애물이 없는 것은 바로 개방성 때문입니다.

LLM이 처음에 저항하더라도 위반을 지원하도록 설득하는 방법은 여러 가지가 있습니다. 예를 들어, 침투 테스터가 되어 "선한 일"을 함으로써 사이트 보안을 개선하는 데 도움을 줄 것을 요청할 수 있습니다.

즉시 배포 가능한 GPU 서버 임대 또는 맞춤 구성 전문가급 NVIDIA Tesla A100/H100 80Gb 또는 A5000/A4000 카드 사용. 게임 RTX4090 카드가 포함된 GPU 서버 또한 사용 가능합니다.