安全公司 Vigilance Security 研究副总裁 Ariel Simon 公布了一项调查,把一类正在进行的攻击命名为 “Dark Sourcery”。攻击者在网上批量铺设经过优化的帖子、PDF、点评和假客服页面,让 ChatGPT、Google Gemini 和 Google 搜索里的 AI 摘要(AI Overview)在用户询问企业联系方式时,给出诈骗电话、诈骗邮箱和钓鱼登录页。研究者统计到至少 374 个品牌被波及。
调查最早发在 Medium 上,随后被 Dark Reading、GIGAZINE 等安全和科技媒体跟进。
被冒用的,都是用户急着找人工的公司
报告点名的企业集中在航空、银行和旅行平台:达美航空、汉莎航空、卡塔尔航空、摩根大通旗下的 Chase、美国银行、Airbnb、TripAdvisor。这些公司有个共同点,用户找上门时多半着急,航班要改签、账户被锁了、订单起了纠纷,这种时候最容易顺手问 AI 一句”客服电话是多少”。
研究人员实际拨打了其中一些号码。据 Dark Reading 报道,接电话的人表示很乐意帮忙改签航班、解锁银行账户,随后就开始索要信用卡信息。另有用户反映,按 AI 给出的客服号码联系之后,支付和信用卡信息被盗。
投毒的三条路子
按报告描述,攻击者不碰模型本身,下手的是模型取信的那些来源:
- 把带假号码的内容塞进已被攻破的政府和大学网站,借这些域名的权威;
- 在 YouTube、Yelp 这类用户生成内容平台上发视频、写点评;
- 批量制作针对大模型检索和排序专门优化过的垃圾页面。
GIGAZINE 的归纳是,攻击者把”权威来源”和”大众舆论来源”混在一起喂,恰好对上 AI 判断可信度的思路。Simon 的原话是:
“Attackers are flooding the web with carefully optimized posts, PDFs, reviews, and fake support pages, to trick AI into presenting fraudulent phone numbers, email addresses, and login pages.” 攻击者用精心优化的帖子、PDF、点评和假客服页淹没网络,诱使 AI 给出诈骗电话、邮箱和登录页。
报告还引了 Exploding Topics 8 月的一项调查:使用 AI 聊天机器人的人里,91% 不核对拿到的答案。
老骗局,新入口
假客服电话这门生意存在很多年了。骗子过去在搜索广告、地图商家信息里冒充航空公司和银行客服,搜索引擎靠广告审核、商家认证去堵,用户至少还能看到一串链接,知道号码出自哪个网站。
AI 摘要把号码直接写进一句完整的回答里,来源被压成一个小角标,很少有人会去点开核对。攻击者要骗过的对象,也从搜索结果前的用户,换成了检索和排序系统,而这类系统本来就偏向政府、大学这些高权重域名。被攻破的一个 .edu 页面,在 AI 眼里分量可能比一堆普通网站加起来还重。
研究者称,攻击仍在持续,真实损失正在发生,他们目前还没法完整评估规模。OpenAI 和 Google 有没有针对这批号码做过屏蔽,现有报道里没有看到两家公司的具体说明。
对普通用户,能做的事很朴素:客服电话、付款页面、登录入口这类信息,回到企业官网或官方 App 里再核一遍。
参考来源:Vigilance Security 研究报告、CocoLoop、Dark Reading、GIGAZINE、The Hacker News;研究报告核验受影响品牌数量与点名企业,用户核对比例以 Exploding Topics 调查口径为准。