보안업체 Vigilance Security의 리서치 부사장 Ariel Simon이 진행 중인 한 공격을 'Dark Sourcery'로 명명한 조사 결과를 발표했다. 공격자들은 최적화된 게시글, PDF, 리뷰, 가짜 고객센터 페이지를 인터넷 곳곳에 대량으로 심어두고, 사용자가 ChatGPT나 Google Gemini, 구글 AI 오버뷰(AI Overview)에 기업 연락처를 물으면 사기 전화번호나 이메일 주소, 피싱 로그인 페이지를 답변으로 내놓게 만든다. 연구진이 집계한 피해 브랜드는 최소 374개에 달한다.
이 조사 결과는 먼저 미디엄(Medium)에 게재된 뒤 Dark Reading, GIGAZINE 등 보안·테크 매체들이 뒤이어 보도했다.
표적은 사람이 급하게 상담원을 찾는 기업들
보고서가 지목한 기업은 항공사, 은행, 여행 플랫폼에 집중돼 있다. 델타항공, 루프트한자, 카타르항공, JP모건체이스 산하 Chase, 뱅크오브아메리카, 에어비앤비, 트립어드바이저 등이다. 이들 기업의 공통점은 사용자가 연락할 때 대부분 급한 상황이라는 것이다. 항공편을 바꿔야 하거나 계좌가 잠기거나 주문에 분쟁이 생겼을 때, 사람들은 AI에게 '고객센터 번호가 뭐야'라고 가장 쉽게 물어본다.
연구진은 실제로 일부 번호에 전화를 걸어봤다. Dark Reading에 따르면 전화를 받은 쪽은 항공편 변경이나 계좌 잠금 해제를 흔쾌히 돕겠다고 한 뒤 신용카드 정보를 요구했다. AI가 알려준 고객센터 번호로 연락했다가 결제·신용카드 정보를 도난당했다는 피해자들도 있다.
오염 방식은 세 가지
보고서에 따르면 공격자들은 모델 자체를 건드리지 않는다. 대신 모델이 신뢰하는 출처를 공략한다.
- 해킹당한 정부·대학 웹사이트에 가짜 번호가 담긴 콘텐츠를 심어 해당 도메인의 권위를 빌린다
- 유튜브, Yelp 같은 사용자 생성 콘텐츠 플랫폼에 영상과 리뷰를 올린다
- 대형 언어모델의 검색·순위 산정 방식에 맞춰 최적화한 저품질 페이지를 대량 제작한다
GIGAZINE은 공격자들이 '권위 있는 출처'와 '대중 여론에 기반한 출처'를 뒤섞는다고 분석하며, 이는 AI가 신뢰도를 판단하는 방식과 정확히 맞아떨어진다고 지적한다. Simon은 다음과 같이 말했다.
"Attackers are flooding the web with carefully optimized posts, PDFs, reviews, and fake support pages, to trick AI into presenting fraudulent phone numbers, email addresses, and login pages."
"공격자들은 정교하게 최적화된 게시글, PDF, 리뷰, 가짜 고객센터 페이지로 웹을 뒤덮어 AI가 사기성 전화번호와 이메일 주소, 로그인 페이지를 제시하도록 속이고 있다."
보고서는 Exploding Topics가 8월에 진행한 설문조사도 인용했다. AI 챗봇을 사용하는 사람 중 91%가 받은 답변을 따로 검증하지 않는다는 내용이다.
오래된 사기, 새로운 통로
가짜 고객센터 번호를 이용한 사기 자체는 수년 전부터 존재해 왔다. 과거 사기꾼들은 검색 광고와 지도 업체 정보에서 항공사와 은행을 사칭했고, 검색엔진은 광고 심사와 업체 인증으로 맞섰다. 사용자도 최소한 여러 링크가 나열된 화면을 보고 번호가 어느 사이트에서 나온 것인지 판단할 여지가 있었다.
AI 오버뷰는 번호를 하나의 완결된 답변 문장 속에 그대로 적어 넣고, 출처는 눌러서 확인하는 사람이 거의 없는 작은 각주 기호로 압축해버린다. 공격자가 속여야 할 대상도 검색 결과를 훑어보는 사용자에서 검색·순위 산정 시스템 자체로 바뀌었는데, 이런 시스템은 원래부터 정부·대학처럼 신뢰도가 높은 도메인을 우대하는 경향이 있다. 해킹당한 .edu 페이지 하나가 AI 눈에는 일반 웹사이트 여러 개를 합친 것보다 더 무겁게 평가될 수도 있다.
연구진은 공격이 여전히 진행 중이며 실제 피해도 발생하고 있지만, 아직 그 규모를 온전히 파악하지 못했다고 밝혔다. OpenAI와 구글이 보고서에서 지목된 번호들을 차단했는지에 대해서는 두 회사의 구체적인 설명이 보도에서 확인되지 않는다.
일반 사용자가 할 수 있는 일은 단순하다. 고객센터 전화번호, 결제 페이지, 로그인 화면 같은 정보는 기업의 공식 웹사이트나 공식 앱으로 돌아가 다시 한번 확인하는 것이다.
참고 출처: Vigilance Security 조사 보고서, CocoLoop, Dark Reading, GIGAZINE, The Hacker News. 피해 브랜드 수와 지목된 기업은 조사 보고서를 기준으로 하며, 사용자 검증 비율은 Exploding Topics 설문조사를 따랐다.