사이버 범죄는 완전히 새로운 차원에 도달했습니다. Gen AI 모델은 단순한 혁신의 도구가 아니라 속임수와 사기를 조장하는 강력한 도구가 되었습니다. 어떤 의도와 목적으로 작성되었는지 구분할 수 없을 정도로 정교한 피싱 이메일이나 딥페이크 기술을 통해 기존 또는 조작된 신원을 그대로 구현한 동영상 사기를 가정해 보겠습니다. 이러한 위협은 조직이 대응하기 위해 진화해야 하는 위협의 표면적인 모습일 뿐입니다. 그렇지 않은 기업은 AI를 사용하여 인간의 인식, 디지털 인프라 및 신뢰의 취약점을 조작하는 공격자에게 밀릴 것입니다.
무기화된 GenAI의 작동 방식
생성형 AI(GenAI)는 학습 데이터를 기반으로 텍스트, 이미지, 동영상 등 새로운 콘텐츠를 생성하는 인공지능의 하위 집합입니다. 사전 프로그래밍된 규칙을 따르는 기존 AI와 달리 GenAI는 매우 현실적이고 적응력이 뛰어난 결과물을 생성할 수 있어 합법적인 혁신뿐만 아니라 악의적인 목적에도 강력한 도구가 될 수 있습니다. 사이버 범죄자들은 이러한 기능을 악용하여 그럴듯한 사기를 만들고, 가짜 신원을 생성하고, 대규모로 사람의 취약점을 노리는 공격을 자동화합니다.
공격자는 다음과 같은 방식으로 GenAI를 사용합니다:
- 멀웨어 및 익스플로잇 개발: GenAI는 공격자가 악성 코드를 작성하거나 개선하여 멀웨어를 더 효과적으로 또는 더 탐지하기 어렵게 만드는 데 도움을 줄 수 있습니다. 또한 바이러스 백신 소프트웨어의 탐지를 피하기 위해 외관을 변경하는 다형성 멀웨어를 만드는 데 도움을 줄 수 있습니다.
- 웹 애플리케이션 익스플로잇: GenAI는 SQL 인젝션이나 크로스 사이트 스크립팅(XSS)과 같은 웹 애플리케이션의 취약점을 찾는 프로세스를 자동화할 수 있습니다. 그런 다음 특정 취약점을 악용하기 위해 복잡하고 맞춤화된 페이로드를 생성할 수 있습니다.
- 비밀번호 및 보안 문자 우회: 유출된 비밀번호 데이터 세트를 학습한 AI 모델은 특정 대상의 비밀번호를 예측할 수 있습니다. 또한 AI는 봇과 사람을 구분하기 위한 보안 문자 시스템을 분석하고 우회할 수 있습니다.
- 회피 기술: AI는 침입 탐지 및 방지 시스템(IDPS)을 회피하는 페이로드를 설계하고 탐지를 피하기 위해 동적으로 IP를 순환하는 봇넷의 스크립트를 자동화할 수 있습니다.
사이버 범죄자를 위한 GenAI의 운영상의 엄청난 이점은 다음과 같습니다:
- 확장성: AI는 수신자의 반응에 따라 콘텐츠를 동적으로 조정하여 수천 개의 개인화된 피싱 메시지를 단 몇 초 만에 생성할 수 있습니다.
- 접근성: 사이버 범죄자들은 이제 AI 도구를 통합한 ‘서비스형 피싱(PhaaS)’ 플랫폼에 액세스할 수 있어 숙련도가 낮은 공격자들의 진입 장벽이 낮아졌습니다.
- 신뢰성: AI가 생성하는 콘텐츠의 정확성 덕분에 과거에 사기를 유발했던 문법 및 문맥상의 오류가 사라졌습니다.
- 탐지 불가능성: AI 모델은 캡차 테스트를 우회하고, 인간의 상호작용 패턴을 시뮬레이션하며, 지속적으로 전술을 발전시켜 탐지 메커니즘을 회피하도록 훈련되고 있습니다.
AI가 주도하는 3대 사이버 범죄 위협
ChatGPT와 같은 모델은 사이버 범죄에 대한 강제력을 배가시키는 역할을 해왔습니다. GenAI가 널리 보급되기 전에는 노동력, 시간, 기술 전문성 등의 이유로 확장성과 정밀도에 대한 인간의 한계가 있었습니다. 하지만 GenAI를 사용하면 이러한 요소는 중요하지 않아졌습니다. 그 결과 피싱, 딥페이크, 가짜 신원 등 다양한 공격 벡터에 대한 패러다임이 바뀌고 있습니다.
맞춤형 피싱 캠페인
GenAI를 사용하면 실제 커뮤니케이션과 거의 구별이 어려운 메시지를 제작할 수 있기 때문에 소셜 엔지니어링 공격은 더욱 정교해지고 있습니다. 공격자는 링크드인 프로필, 유출된 데이터베이스, 기업 보도 자료 등의 출처에서 공개적으로 사용 가능한 정보를 활용하여 상황에 맞는 매우 그럴듯한 피싱 이메일을 작성합니다.
딥페이크 오디오 및 비디오 위협
공격 벡터로서 유효한 계정의 인기가 높아짐에 따라 딥페이크와 같은 조작적인 AI 기술의 위험성이 부각되고 있습니다. 딥페이크 기술은 자금 이체나 데이터 도용과 같은 사기를 용이하게 하기 위해 종종 임원이나 유명인을 대상으로 하는 매우 설득력 있는 개인의 오디오 및 비디오 클립을 생성하는 생성형 AI의 하위 집합입니다. 이제 그 정교함은 놀랄 만한 수준에 이르렀습니다.
2024년 초에 발생한 주목할 만한 사례로, 다국적 기업의 재무 담당 직원이 화상 통화 중 딥페이크 기술을 사용하여 회사의 최고재무책임자를 사칭한 사기범에게 2,500만 달러( )를 송금한 사건이 있습니다. 이 사례는 이러한 공격의 정교함과 엄격하게 통제되는 기업 프로세스까지 훼손할 수 있는 잠재력을 보여줍니다.
딥페이크는 조직의 신용을 떨어뜨리고 잘못된 정보를 퍼뜨리거나 시장을 조작하기 위해 배포될 수 있습니다. 기존의 검증 방법을 우회하는 이들의 능력은 기존 사이버 보안 프레임워크에 심각한 문제를 야기합니다.
가짜 신원 및 합성 콘텐츠
사이버 범죄자들은 점점 더 AI를 사용하여 가짜 데이터와 실제 데이터를 혼합하여 AI가 생성한 사진, 이름, 배경 스토리로 그럴듯한 페르소나를 만드는 합성 신원을 만드는 데 사용하고 있습니다. 이러한 가짜 신원은 고객알기제도(KYC) 확인과 같은 인증 시스템을 우회하여 사기성 계좌를 개설하거나 대출을 신청하거나 혜택을 도용합니다. 공격자들은 또한 AI가 생성한 문서, 리뷰, 추천글을 통해 사기 수법을 강화하여 사기에 신뢰성을 더하고 탐지를 매우 어렵게 만듭니다.
이와 관련하여 GenAI를 사용하면 위조 신분증부터 빛나는 고객 리뷰까지 사실적인 가짜 콘텐츠를 대규모로 제작할 수 있습니다. 범죄자들은 이러한 도구를 사용하여 온라인 커뮤니티에 침투하여 신뢰를 쌓고 피싱 캠페인부터 이커머스 사기까지 다양한 사기를 실행합니다. 이러한 합성 개체는 실제 사람을 가장하고, 사회적 증거를 조작하며, 미묘한 AI 생성 불일치를 식별할 수 없는 표준 탐지 방법을 회피할 수 있습니다.
AI 기반 사이버 범죄에 대한 대응 방안
AI 위협에 효과적으로 대응하려면 첨단 기술, 포괄적인 교육, 지속적인 적응력을 결합하여 무기화된 생성 AI로 인한 위험을 해결하는 다각적인 전략이 필요합니다. 이는 직원 교육을 개선하고, 신원 확인을 강화하며, AI 기반 사이버 보안 솔루션을 적극적으로 활용하고, 지속적인 모니터링을 수행함으로써 달성할 수 있습니다.
직원 교육 프로그램 개선
인적 오류는 여전히 성공적인 사이버 공격의 주요 원인 중 하나입니다. 직원들은 대부분 미묘한 사기 징후를 보이는 AI 기반 사기를 식별할 수 있는 역량을 갖춰야 합니다. 주의해야 할 영역은 다음과 같습니다:
- 문법적으로 완벽하고 문맥에 맞는 피싱 시도를 탐지하는 방법
- 시각적 불일치 또는 부자연스러운 음성 패턴과 같은 딥페이크 오디오 또는 비디오의 징후
- 추가 조사를 위한 의심스러운 활동의 보고 메커니즘 검토
- 모의 피싱 테스트를 통해 점점 더 정교해지는 시나리오에 노출시켜 직원들의 대비력을 강화해야 합니다.
신원 확인 시스템 강화
딥페이크 및 합성 신원 공격은 AI가 생성한 콘텐츠를 악용하여 속이고 조작하는 지능형 사이버 범죄의 한 형태입니다. 딥페이크 공격은 AI를 사용하여 매우 사실적이지만 실제 개인을 사칭하는 가짜 동영상, 오디오 또는 이미지를 만듭니다. 예를 들어, 공격자는 CEO가 사기 거래를 승인하는 동영상을 생성하여 직원이나 시스템을 속여 규정 준수를 유도할 수 있습니다. 합성 신원 공격은 도난당한 주민등록번호와 허위 이름 또는 주소를 혼합하는 등 실제 정보와 조작된 정보를 결합하여 완전히 가짜 신원을 만드는 것을 포함합니다. 이러한 합성 신원은 사기를 저지르거나 탐지를 회피하거나 시스템을 악용하는 데 사용됩니다.
이러한 AI 위협을 방어하기 위해 조직은 더욱 강력한 신원 확인 프로토콜을 도입해야 합니다. 고유한 신체적 특성을 일치시켜 신원을 확인하는 안면 인식 또는 지문 스캔과 같은 생체 인증으로 시작해 볼 수 있습니다. 타이핑 속도, 마우스 움직임, 디바이스 사용 등의 패턴을 모니터링하여 이상 징후를 감지하는 행동 생체 인식으로 이를 강화할 수 있습니다. 이러한 방법을 함께 사용하면 GenAI 기반 공격이 성공하기 훨씬 더 어려워집니다.
사이버 보안에 AI 활용하기
조직은 AI 기반 방어 메커니즘을 배포하여 공격자에게 불리한 상황을 역전시킬 수 있습니다. 전용 블로그 게시물에서 AI 기반 사이버 보안이 AI 기반 공격에 대한 해답인 이유에 대해 자세히 알아보세요.
사이버 보안에서 AI를 사용하여 무기화된 GenAI에 대응할 때 얻을 수 있는 몇 가지 이점은 다음과 같습니다:
- 실시간 위협 탐지: 네트워크 트래픽과 사용자 행동에 대한 고급 머신 러닝 모델이 기존 모니터링 시스템을 통과할 수 있는 편차를 지속적으로 분석하고 식별합니다. 이 모델은 정상 패턴에서 미세한 편차를 찾아내는 데 능숙하므로 잠재적인 위반을 조기에 감지할 수 있습니다.
- 이메일 및 콘텐츠 필터링: AI 기반 시스템은 이메일의 콘텐츠, 구문, 의미, 메타데이터를 스캔하여 피싱 시도나 악성 페이로드가 있는지 확인합니다. 이 솔루션은 사기 요소를 정확하게 식별하여 타겟을 속이는 커뮤니케이션의 희생양이 될 가능성을 최소화합니다.
- 자동화된 인시던트 대응: AI 기반 자동화는 직접 조치를 취함으로써 위협 대응 시간을 간소화하여 시스템이 리소스를 즉시 격리하거나 악성 트래픽을 차단할 수 있도록 지원합니다. 봉쇄 속도는 침해의 영향을 줄이고 공격자가 공격을 확대할 수 있는 능력을 제한합니다.
이러한 AI 기반 솔루션을 기존 보안 인프라에 통합하면 조직의 복원력을 더욱 강화하고 진화하는 위협에 보다 빠르고 효율적으로 대응할 수 있는 도구를 제공합니다.
지속적인 모니터링
AI 기반 사이버 범죄는 기존 보안 시스템을 능가하는 속도로 진화하기 때문에 빠르게 변이하는 공격 벡터에 대한 정적 방어는 효과적이지 않습니다. 이에 대응하기 위해 조직은 소셜 미디어 네트워크, 앱 마켓플레이스 및 기타 외부 디지털 플랫폼 전반을 지속적으로 모니터링하는 등 역동적인 전략을 채택해야 합니다. 이러한 노력은 조기 경고를 제공하고 잠재적인 공격이 확대되기 전에 차단하여 위협을 선제적으로 차단하는 것을 목표로 합니다.
고급 브랜드 모니터링 도구는 회사 이름, 로고 또는 도메인을 오용하는 사기 활동을 탐지하여 중요한 역할을 합니다. 이러한 도구는 피싱 이메일, 위조 웹사이트 또는 기타 사칭 시도를 신속하게 식별하고 플래그를 지정하여 신속하게 제거하고 고객과 브랜드 평판에 대한 위험을 최소화할 수 있습니다. 또한 위협 인텔리전스 플랫폼은 데이터 기반 인사이트를 활용하여 AI로 생성된 딥페이크와 같은 새로운 공격에 대응합니다.
지코어 엣지 시큐리티로 귀사의 보안을 대비하세요.
생성 AI 기술의 급속한 발전으로 위협은 계속 변화할 것입니다. 조직은 민첩성을 갖추고 공격에 대응할 수 있는 시스템과 프로세스에 투자해야 합니다. 기업은 경계의 문화를 조성하고 첨단 기술을 통합하며 지속적인 개선에 집중함으로써 위험을 줄이고 고객 및 파트너와의 신뢰를 유지할 수 있습니다.
WAAP(웹 애플리케이션 및 API 보호) 솔루션은 조직이 증가하는 AI 과제에 한발 앞서 대응할 수 있도록 지원합니다. AI 기반 위협을 실시간으로 찾아내 무력화하도록 특별히 설계된 기능을 통해 기업들은 적대적인 디지털 환경에서 자신과 평판을 보호할 수 있는 힘을 얻게 됩니다.
