0xNews - 사이버 공격자가 더욱 정교한 공격을 실행하게 도와주는 새로운 AI 도구 발견

SlashNEXT 발표

WormGPT 라는 새로운 AI도구가 언더독 해커포럼에서 피싱이나 비즈니스 이메일 손상과 같은 공격 도구에 활용할 수 있는 방법을 공개와 광고 등록된 것을 확인

이런 도구는 악의적인 활동을 위해 특별히 설계된 GPT모델에 대한 블랙햇 대안으로 판단

사이버 공격자는 이러한 기술을 사용하여 특정된 대상, 개인에게 개인화된 매우 설득력 높은 허위 이메일 생성을 통해 공격 자동화를 수행하여 성공 가능성을 높일 수 있음

모든 종류의 불법적인 작업을 수행할 수 있도록 허용하여 공격 성공률을 높임

OpenAI ChatGPT 나 Google Bard 가 설득력 있는 피싱 이메일을 조작하고 악성코드를 생성하기 위해 대규모 언어 모델 LLM Large Language Models 을 남용

이를 방지하기 위한 조치를 점점 많이 취하고 있음

CheckPoint 는 사이버 보안 영역에서 Google Bard 의 악용 방지 제한 장치는 ChatGPT 에 비해 훨씬 낮은 것으로 판단

따라서 공격자는 Google Bard 의 기능을 사용하여 악성 컨텐츠 생성하는 것이 훨씬 쉬움

또 다른 보안회사는 공격자들이 API를 활용하여 ChatGPT 의 제한을 회피하는 방법을 공개

탈취한 프리미엄 계정을 거래하거나 이메일 주소, 비밀번호 목록을 사용하여 ChatGPT 계정을 해킹하는 무차별 대입 공격을 하는 소프트웨어를 판매하는 것도 확인

CheckPoint 발표 정보 사이트 링크

WormGPT 가 윤리적, 도덕적 경계 없이 작동한다는 사실은 생성형 AI가 가하는 위협을 강조

초급 사이버 범죄자가 기술적인 수단 없이도 신속하고 대규모 공격이 가능하다는 점을 확인

또한 공격자는 ChatGPT에 대한 탈옥 jailbreaks 에 대해서 홍보하고 도구를 조작하도록 설계된 특별한 프롬프트나 입력법을 엔지니어링

민감 정보 공개나 부적절한 컨텐츠 생성, 유해한 코드 실행 등이 포함된 정보가 출력하도록 생성 가능

생성형 AI는 완벽한 문법으로 이메일을 생성하여 정상적인 것처럼 보이게 하고 의심스러운 것으로 표시될 가능성을 줄일 수 있음

이를 사용하면 정교한 피싱 공격 실행이 대중화될 수 있음

기술이 제한적인 공격자도 이런 기술을 사용할 수 있으므로 더 광범위한 사이버 공격과 이를 사용하는 범죄가 쉽게 발생할 수 있는 도구로 이용 가능

이번 정보 공개는 Mithril Security 연구팀이 GTP-J-6B 로 알려진, 기존 오픈소스 AI모델을 일부 수정하여 허위 정보를 퍼트리고 Hugging Face 와 같은 공개 저장소에 업로드하여 다른 애플리케이션에 통합할 수 있게 되면서 나온 결과

이른바 LLM 공급망 중독으로도 이어질 수 있음

PoisonGPT 라고 불리는 이 기술의 성공은 알려진 회사의 기술을 사용

lobotomized 모델을 업로드 해야 한다는 전제 조건일 기반으로 함

openLab