研究人員揭露AI漏洞:ChatGPT與Gemini能被無意義指令欺騙,從而繞過安全規(guī)則輸出有害內(nèi)容
2025-07-09 07:41:08AI云資訊2361
(AI云資訊消息)近年來,企業(yè)似乎對人工智能的投資日益加大,技術(shù)也日趨精進。人工智能的發(fā)展已滲透到各個領(lǐng)域,成為我們?nèi)粘I钪胁豢苫蛉钡囊徊糠帧H欢S著這項技術(shù)的大規(guī)模應(yīng)用,科技界和專家們開始擔憂如何負責任地使用它,確保倫理道德責任不被模糊化。前段時間,出現(xiàn)了大語言模型在壓力測試中表現(xiàn)出欺騙行為的情況。最近,又有研究團隊宣稱發(fā)現(xiàn)了一種新方法,能誘使這些AI聊天機器人說出本不該透露的內(nèi)容。
盡管已有研究表明,當大語言模型處于壓力和自我保護情境下時,往往會表現(xiàn)出脅迫性行為。但想象一下,若能讓AI聊天機器人完全按照你的意愿行事,這種操控手段將帶來何等危險。來自英特爾、博伊西州立大學和伊利諾伊大學的研究團隊聯(lián)合發(fā)表論文,揭示了一些令人震驚的發(fā)現(xiàn)。論文指出,通過向聊天機器人信息過載(Information Overload),也就是用海量信息轟炸系統(tǒng),就能成功欺騙它們。
當AI模型遭遇信息轟炸時,其系統(tǒng)會產(chǎn)生混亂,這種混亂狀態(tài)恰恰構(gòu)成了安全漏洞,使得內(nèi)置防護機制被輕易繞過。研究人員隨后使用名為信息洪流(InfoFlood)的自動化工具,成功利用該漏洞實施了越獄行為。像ChatGPT、Gemini這類強大模型本都設(shè)有安全護欄,旨在防止被操縱輸出有害內(nèi)容。
這項新突破的技術(shù)表明:只要用復雜數(shù)據(jù)使AI陷入困惑,就能突破其防御。研究人員披露發(fā)現(xiàn)時強調(diào),由于這些模型僅依賴表層語義理解,無法真正洞悉對話意圖。為此他們專門設(shè)計了一種測試方法:將危險請求隱藏在過載信息中,觀察聊天機器人的反應(yīng)。
研究人員計劃通過向各大AI模型公司發(fā)送漏洞披露文件包來通報這一發(fā)現(xiàn),這些公司后續(xù)可將資料移交其安全團隊進行研究。然而該論文特別強調(diào),即便存在安全過濾機制,仍可能面臨關(guān)鍵挑戰(zhàn),那就是惡意行為者如何通過欺騙模型來植入有害內(nèi)容。
相關(guān)文章
- 億道數(shù)碼攜驍龍AI PC矩陣亮相高通科技日,定義移動辦公輕時代
- 直擊WAIC 2025 | 浩鯨科技聯(lián)合螞蟻數(shù)科發(fā)起“金融智能體應(yīng)用聯(lián)創(chuàng)聯(lián)盟”
- 多模態(tài)AI融入日常交互 用三星Galaxy手機搭建效率工作流
- 引領(lǐng)智能運維!全新FortiAIOps 3.0重新定義IT運營
- 得瑞領(lǐng)新閃耀2025全球閃存峰會:D8000系列斬獲創(chuàng)新大獎,強勢賦能AI時代數(shù)據(jù)基石
- WAIC 2025 | SHIXP將與PPIO共建分布式智算樞紐平臺
- 2025 WAIC落幕,深謀科技以技術(shù)與落地破局具身智能賽道
- AI賦能基層“智治” 湖北移動打造數(shù)字鄉(xiāng)村治理新樣本
- AI重磅獎項揭曉!用友大易榮膺人力資源服務(wù)業(yè)AI25強及思旗獎
- 中國最大黑客松AdventureX 2025杭州啟幕,涂鴉賦能青年開發(fā)者引爆Physical AI變革
- WAIC2025:澳鵬發(fā)布新一代技術(shù)平臺矩陣 助力大模型垂直應(yīng)用落地
- 共建AI PC企業(yè)服務(wù)生態(tài),京東政企業(yè)務(wù)攜手高通打造驍龍AI PC生態(tài)科技日
- 2025 WAIC“智算技術(shù)創(chuàng)新與行業(yè)實踐” 論壇圓滿落幕 共繪智算生態(tài)新藍圖
- 四維圖新亮相2025世界智能汽車大會:以AI新基建與數(shù)據(jù)閉環(huán)賦能智駕新范式
- 星辰聚智·才啟未來:2025世界人工智能大會中國電信發(fā)布系列前沿能力及AI產(chǎn)品
- 神州云動CRM亮相2025浪潮AI向新 數(shù)字企業(yè)創(chuàng)新大會
人工智能企業(yè)
更多>>人工智能硬件
更多>>- 低空賦能,跨越山河,大疆運載無人機的甘孜答卷
- 預制菜又吵起來了?優(yōu)特智廚炒菜機新品發(fā)布會掀起中餐“現(xiàn)炒”熱潮
- 場景化落地部署人形機器人將超2000臺,眾擎機器人與多倫科技達成戰(zhàn)略合作
- 275W極限性能+第二代乾坤散熱!拯救者R9000P 2025至尊版成就電競創(chuàng)作雙巔峰
- 百年聲學品牌再創(chuàng)新!拜雅新品AMIRON 200 & AMIRON ZERO定義開放聆聽新方式
- 筑牢安全芯基石,紫光同芯無線充電鑒權(quán)芯片T9系列亮相2025(秋季)亞洲充電展
- 中國移動將支持eSIM全系產(chǎn)品,釋放成長新動能
- 晟聯(lián)科:以高速互連接口IP方案賦能Scale-up 生態(tài)
人工智能產(chǎn)業(yè)
更多>>- 人機共生 · 智啟未來——2025高交會亞洲人工智能與機器人產(chǎn)業(yè)鏈展主題發(fā)布
- 北京數(shù)基建發(fā)布“知行IntAct”混合智能體產(chǎn)品,以AI定義城市治理新范式
- 新時達“精耕小腦”,與大腦協(xié)同,加速具身智能垂直落地
- 亞洲愿景論壇 東軟蓋龍佳談AI與數(shù)據(jù)價值化重構(gòu)醫(yī)療未來
- 破解AI落地難題!北大這場特訓營,為企業(yè)找到轉(zhuǎn)型“最優(yōu)解”
- 腦神經(jīng)成像提速數(shù)倍、AI練就“遺忘術(shù)”!2025螞蟻InTech獎頒發(fā)
- 一句話生成圖表!天禧智能體接入ChatExcel MCP Server讓數(shù)據(jù)處理變得如此簡單
- 外灘大會重磅發(fā)布:螞蟻百寶箱Tbox超級智能體亮相,實現(xiàn)分鐘級專業(yè)軟件交付
人工智能技術(shù)
更多>>- 外灘大會首發(fā)! 螞蟻密算推出AI密態(tài)升級卡 實現(xiàn)零改動“即插即用”
- 騰訊優(yōu)圖攜Youtu-Agent開源項目亮相上海創(chuàng)智學院首屆TechFest大會
- 2025外灘大會:王堅暢談AI變革,普天科技錨定空天算力新賽道
- 騰訊正式開源Youtu-GraphRAG,圖檢索增強技術(shù)迎來落地新突破
- 聲網(wǎng)兄弟公司 Agora與OpenAI 攜手 助力多模態(tài) AI 智能體實現(xiàn)實時交互
- Qwen-Image-Edit 模型上線基石智算,圖像編輯更精準
- 火山引擎多模態(tài)數(shù)據(jù)湖落地深勢科技,提升科研數(shù)據(jù)處理效能
- 斑馬AI大模型:為每個孩子提供專屬學習方案