공상과학 소설처럼 들리지만, AI를 둘러싼 온갖 과대광고와 함께 '납치'의 위험은 이야기할 가치가 있습니다.  내부 LLM을 구축할 여력이 있는 회사는 관련 응답을 생성하기 위해 귀중한 IP(영업 비밀 디자인부터 마케팅 캠페인 및 제품 전략까지 모든 것을 포괄하는 지적 재산)를 모두 모델에 투입합니다. 기본적으로 이는 여전히 무감각 AI 모델이지만 회사가 보유한 가장 귀중한 모든 정보의 저장소이기도 합니다.  이는 범죄 공격자나 심지어 비윤리적인 경쟁자의 환상적인 표적이 됩니다. 악의적인 반응을 일으키기 위해 복제되거나, 공격자에게 무엇을 해야 할지 알고 있는 것보다 더 많은 내부 지식을 제공하기 위해 복제되거나, 몸값을 받기 위해 잠긴 경우 회사에 막대한 피해를 입힐 수 있습니다.   대기업의 보안 침해 사례가 헤드라인에 자주 등장하면서 기업들은 시스템 보안에 어려움을 겪고 있습니다. 회사에 대한 모든 정보를 담고 있는 LLM 모델은 빠르게 가상 '납치'의 선호 대상이 될 것입니다.  모델을 암호화하기 위해 랜섬웨어를 적용하거나, 모델을 추출하고 로컬 복사본을 파기하거나, 내부자 위협으로 전복시키는 경우(예를 들어 LLM이 효과적인 사람의 감독 없이 회사의 송장 발행 및 재무 시스템과 통합된 경우), 잠재적인 해를 끼치는 것은 극적입니다.  설상가상으로 이러한 모델의 가치는 회사 내 가용성과 접근성에서 비롯됩니다. 아무도 사용할 수 없다면 리소스 싱크일 뿐입니다. 가치를 가지려면 효과적으로 사용해야 하며, 이는 접근 가능해야 함을 의미합니다. 이러한 시스템의 가용성 요구 사항과 보안 요구 사항을 어떻게 일치시킬 수 있습니까?  소프트웨어 보안은 충분합니까?  소프트웨어 정의 네트워크가 해결책이 될 수 있을까요? 문제는 모든 소프트웨어 솔루션이 본질적으로 손상되기 쉽다는 것입니다. 그리고 행정 시스템과 통합된 LLM에 대해 이야기하고 있다면(이미 수행되고 있으며 이에 대한 윤리와 위험은 그 자체로 전체 기사, 어쩌면 책일 수도 있습니다), 악의적인 사용자에게는 단순함 그 자체가 될 것입니다. AI가 추가 공격을 위한 길을 만들도록 유도합니다.  소프트웨어 솔루션과 방화벽, 데이터 다이오드와 같은 기존 장치는 확실히 안전한 AI 시스템 설계에 자리를 잡고 있지만 기업에 매우 큰 가치를 지닌 요소는 훨씬 더 절대적인 접근 방식을 정당화합니다. 전통적인 방법으로 공격에 대한 최후의 수단으로 이야기하는 것은 플러그를 뽑는 것입니다. 궁극적으로 공격자가 물리 법칙을 변경할 수 없는 한(또는 그럴 가능성이 없는 데이터 센터 내부에 앉아 있는 경우가 아니면) 네트워크 연결을 끊는 것은 매우 불가능합니다.  문제는 네트워크를 분리했다가 다시 연결하는 데 시간이 걸린다는 것입니다. 인증된 메시지를 보내고 싶을 때마다 네트워크 엔지니어에게 전화를 걸어 네트워크를 연결하거나 분리하는 것은 좋은 선택이 아닌 것 같습니다.  골디락 파이어브레이크  나는 최근에 요즘 자주 발생하지 않는 보안 장치를 발견했는데, 인상 깊었습니다. 요즘 많은 벤더들이 광고하는 것처럼 새로운 양자 다크웹 AI 방화벽 기술 때문은 아니었습니다. 대신 그것은 매우 오래된 아이디어를 취하고 그것에 대해 생각하고 보안 네트워크 토폴로지에 대한 많은 가능성을 열어주는 방식으로 최신 정보를 제공하는 회사이기 때문입니다.  접근 방식은 간단하고 매우 무적입니다(분명히 100% 안전한 것은 없지만 물리적 연결 끊김에 대한 공격 벡터는 거의 희박합니다). 기본적으로   (물론 방화벽과 반대)는 명령에 따라 네트워크 케이블을 분리하거나 다시 연결합니다. 필요에 따라 케이블을 조작하기 위해 데이터 센터에 대기 중인 사람이 있는 것은 아니지만 이는 쉽게 생각할 수 있는 방법입니다. 그것에 대해 - 단, 사용자가 선택한 방법의 메시지에 응답하여 단 몇 초 만에 케이블을 연결하거나 분리할 수 있다는 점은 제외됩니다. FireBreak  관리 네트워크는 방화벽에 의해서만 분리되는 경우가 많지만 FireBreak 자체에는 네트워크에서 완전히 대역 외 제어 플레인이 있습니다. FireBreak를 티켓팅 시스템과 결합하여 정의된 변경 기간 동안에만 관리 플레인을 물리적으로 연결함으로써 문서화된 프로세스를 거치지 않고 가장 권한이 있는 공격자라도 관리 플레인을 사용할 수 없게 만드는 것을 쉽게 상상할 수 있습니다.  “소위 '보안 침해 이후 시대'에 운영되는 보안 업계는 사이버 공격이 '   이 아니라 '   '의 문제라는 생각을 체념한 것 같습니다. Goldilock에서는 개인과 조직이 데이터에 발생하는 일에 대해 더 많은 책임을 지고 통제할 수 있는 권한을 부여할 수 있는 방법을 찾고 싶었습니다. 우리의 주력 제품인 FireBreak는 이러한 아이디어에서 탄생했습니다. 하드웨어 기반 접근 방식을 통해 사용자는 LLM에서 전체 네트워크에 이르기까지 모든 디지털 자산을 인터넷을 사용하지 않고도 원격으로 즉시 물리적으로 분할할 수 있습니다. 만약' 언제  이를 통해 사용자는 세계 어디에서나 필요할 때 물리적으로 연결하거나 연결을 끊을 수 있으며, 자산을 보이지 않게 숨기고 본질적으로 소프트웨어 유형인 AI에 대한 방어를 포함하여 기존 방어 깊이를 강화할 수 있습니다.  궁극적으로 우리는 사람들이 무엇이 온라인에 유지되어야 하는지 다시 생각하고 민감한 데이터를 노출시킬 수 있는 "상시 접속" 모델에서 벗어나기를 원합니다. 온라인에 보관된 모든 데이터는 침해될 위험이 있기 때문입니다. 점점 더 많은 회사가 자체 LLM 모델을 사내에서 교육함에 따라 보안에 대한 새로운 영역을 고려해야 합니다. 네트워크 세분화는 악의적인 행위자를 차단하고 이들이 외부 매개변수를 위반할 경우 추적을 중단할 수 있도록 보장하는 전체적인 사이버 보안 전략의 일부여야 합니다."  -- Tony Hasek, Goldilock CEO 겸 공동 창업자  그렇다면 이것이 LLM 납치에 어떻게 도움이 될까요?  LLM 모델은 규모가 큽니다. 아무도 몇 초 만에 하나를 복제하지 않을 것입니다. 또한 비동기식으로 사용할 수도 있습니다. 즉, 프롬프트에 대한 응답을 생성하기 위해 지속적인 연결에 의존하지 않으며 대화형 세션에서 작업하는 대신 완료되면 쉽게 다시 연결하여 보낼 수 있습니다.  사용자가 프롬프트를 생성하는 동안 LLM에 대한 활성 세션이 필요하지 않습니다. 응답이 생성되기를 기다리는 동안 활성 연결을 가질 필요는 없습니다. 프롬프트를 보내거나 응답을 받는 데 필요한 몇 초 동안만 연결하는 것은 위협에 노출되는 시간을 최소화하는 매우 효과적인 방법 중 하나입니다.  이러한 연결 끊김/재연결은 인간이 지연을 인식하기에는 너무 빨리 발생하며 LLM에는 마이크로초 수준에서 시간이 중요한 사용 사례가 거의 없습니다.  적용할 수 있는 유일한 보안 계층은 아니며 적용할 수 있는 다른 방법도 많지만 확실히 생각해 볼 가치가 있는 계층입니다.

This story contains new, firsthand information uncovered by the writer.

이 오디오는 이야기의 원래 언어로 제작되었습니다!

LLM 잠그기: 플러그 뽑기

About Author

코멘트

태그 걸기

이 기사는 다음에서 발표되었습니다.

Related Stories

HackerNoon 글쓰기 대회에서 우승하고 싶으신가요? #crypto-api 대회 우승자들이 추천하는 내용은 다음과 같습니다.

AI/ML 데이터레이크용 참조 아키텍처 구축을 위한 설계자 가이드

작업 흐름을 10배 향상하는 방법: 17가지 필수 앱

디지털 유목민 들어보기: 태국의 새로운 DTV 비자에 대해 알아야 할 사항

HackerNoon 글쓰기 대회에서 우승하고 싶으신가요? #crypto-api 대회 우승자들이 추천하는 내용은 다음과 같습니다.

AI/ML 데이터레이크용 참조 아키텍처 구축을 위한 설계자 가이드

작업 흐름을 10배 향상하는 방법: 17가지 필수 앱

디지털 유목민 들어보기: 태국의 새로운 DTV 비자에 대해 알아야 할 사항

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps