資安公司Vigilance Security研究副總裁Ariel Simon公布一項調查,將這類持續進行中的攻擊命名為「Dark Sourcery」。攻擊者在網路上大量鋪設經過優化的貼文、PDF、評論與假客服頁面,讓ChatGPT、Google Gemini與Google搜尋的AI摘要(AI Overview)在使用者詢問企業聯絡方式時,回覆詐騙電話、詐騙信箱與釣魚登入頁。研究人員統計,至少374個品牌受到波及。
這項調查最早發布於Medium,隨後被Dark Reading、GIGAZINE等資安與科技媒體跟進報導。
被冒用的,都是使用者急著找真人的公司
報告點名的企業集中在航空、銀行與旅遊平台:達美航空、漢莎航空、卡達航空、摩根大通旗下的Chase、美國銀行、Airbnb、TripAdvisor。這些公司有個共同點:使用者找上門時多半很急,班機要改簽、帳戶被鎖、訂單起了糾紛,這種時候最容易順口問AI一句「客服電話幾號」。
研究人員實際撥打了其中幾個號碼。據Dark Reading報導,接電話的人表示很樂意協助改簽班機、解鎖銀行帳戶,隨後就開始索取信用卡資訊。另有使用者反映,依AI給出的客服號碼聯繫之後,付款與信用卡資訊遭竊。
下毒的三條路
根據報告描述,攻擊者不碰模型本身,下手的是模型信任的那些來源:
- 把帶有假號碼的內容塞進已遭入侵的政府與大學網站,借用這些網域的權威性
- 在YouTube、Yelp這類使用者生成內容平台上發布影片、撰寫評論
- 大量製作專為大型語言模型檢索與排序邏輯優化過的垃圾頁面
GIGAZINE的歸納是,攻擊者把「權威來源」和「大眾輿論來源」混在一起餵給AI,恰好對上AI判斷可信度的邏輯。Simon的原話是:
"Attackers are flooding the web with carefully optimized posts, PDFs, reviews, and fake support pages, to trick AI into presenting fraudulent phone numbers, email addresses, and login pages."
攻擊者用精心優化的貼文、PDF、評論與假客服頁淹沒網路,誘使AI給出詐騙電話、信箱與登入頁。
報告還引用Exploding Topics 8月的一項調查:使用AI聊天機器人的人裡,91%不會核對拿到的答案。
老騙局,新入口
假客服電話這門生意存在很多年了。騙子過去在搜尋廣告、地圖商家資訊裡冒充航空公司和銀行客服,搜尋引擎靠廣告審核、商家認證去堵,使用者至少還能看到一排連結,知道號碼出自哪個網站。
AI摘要把號碼直接寫進一句完整的回答裡,來源被壓縮成一個小角標,很少有人會點開核對。攻擊者要騙過的對象,也從搜尋結果前的使用者,換成了檢索與排序系統,而這類系統本來就偏向政府、大學這些高權重網域。一個遭入侵的.edu頁面,在AI眼中的份量可能比一堆普通網站加起來還重。
研究人員表示,攻擊仍在持續,實際損失正在發生,他們目前還沒辦法完整評估規模。OpenAI和Google有沒有針對這批號碼做過封鎖,現有報導裡看不到兩家公司的具體說明。
對一般使用者而言,能做的事很單純:客服電話、付款頁面、登入入口這類資訊,回到企業官網或官方App裡再核對一次。
參考來源:Vigilance Security研究報告、CocoLoop、Dark Reading、GIGAZINE、The Hacker News;受影響品牌數量與點名企業以研究報告為準,使用者核對比例以Exploding Topics調查為準。