根據(jù)最新消息，開源人工智能（AI）和機器學習（ML）模型中已披露了三十幾個安全漏洞，其中一些漏洞可能導致遠程代碼執(zhí)行和信息竊取。
在 ChuanhuChatGPT、Lunary 和 LocalAI 等工具中發(fā)現(xiàn)的這些漏洞已作為 Protect AI 的 Huntr 漏洞懸賞平臺的一部分進行了報告。
其中最嚴重的漏洞是影響大型語言模型（LLM）生產(chǎn)工具包 Lunary 的兩個漏洞：CVE-2024-7474 (CVE-2024-7474) 和 CVE-2024-7474（CVE-2024-7474）。
- CVE-2024-7474（CVSS 得分：9.1）：一個不安全的直接對象引用 (IDOR) 漏洞，可允許已通過身份驗證的用戶查看或刪除外部用戶，導致未經(jīng)授權的數(shù)據(jù)訪問和潛在的數(shù)據(jù)丟失
- CVE-2024-7475 （CVSS 得分：9.1）：訪問控制不當漏洞，允許攻擊者更新 SAML 配置，從而有可能以未經(jīng)授權的用戶身份登錄并訪問敏感信息。
在 Lunary 中還發(fā)現(xiàn)了另一個 IDOR 漏洞（CVE-2024-7473，CVSS 得分：7.5），該漏洞允許惡意行為者通過操縱用戶控制參數(shù)來更新其他用戶的提示。
Protect AI 在一份公告中解釋道 ：攻擊者以用戶 A 的身份登錄并攔截更新提示符的請求，通過將請求中的'id'參數(shù)修改為屬于用戶 B 的提示符的'id'，攻擊者可以在未經(jīng)授權的情況下更新用戶 B 的提示符。
第三個嚴重漏洞涉及 ChuanhuChatGPT 用戶上傳功能中的路徑遍歷漏洞（CVE-2024-5982，CVSS 得分：9.1），該漏洞可能導致任意代碼執(zhí)行、目錄創(chuàng)建和敏感數(shù)據(jù)暴露。
LocalAI是一個開源項目，允許用戶運行自托管的LLM，該項目還發(fā)現(xiàn)了兩個安全漏洞，可能允許惡意行為者通過上傳惡意配置文件執(zhí)行任意代碼（CVE-2024-6983，CVSS評分：8.8），以及通過分析服務器的響應時間猜測有效的API密鑰（CVE-2024-7010，CVSS評分：7.5）。
Protect AI 表示，該漏洞允許攻擊者執(zhí)行定時攻擊，這是一種側信道攻擊，通過測量處理不同 API 密鑰請求所需的時間，攻擊者可以逐個字符推斷出正確的 API 密鑰。
此外，還有一個影響 Deep Java Library（DJL）的遠程代碼執(zhí)行漏洞，該漏洞源于軟件包的 untar 函數(shù)中的任意文件覆蓋漏洞（CVE-2024-8396，CVSS 得分：7.8）。
該漏洞可能會導致代碼執(zhí)行和數(shù)據(jù)篡改。英偉達在發(fā)布補丁修復其NeMo生成式人工智能框架中的路徑遍歷漏洞（CVE-2024-0129，CVSS評分：6.3）的同時，也披露了這一漏洞。建議用戶將其安裝更新到最新版本，以確保其 AI/ML 供應鏈的安全并防范潛在攻擊。
漏洞披露之前，Protect AI 還發(fā)布了開源 Python 靜態(tài)代碼分析器 Vulnhuntr，該分析器可利用 LLM 在 Python 代碼庫中查找零日漏洞。
Vulnhuntr 的工作原理是在不影響 LLM 上下文窗口（LLM 在單個聊天請求中可解析的信息量）的情況下，將代碼分解成小塊，從而標記出潛在的安全問題。
Dan McInerney 和 Marcello Salvati 說：它會自動在項目文件中搜索可能最先處理用戶輸入的文件。然后，它會攝取整個文件，并回復所有潛在漏洞。
利用這份潛在漏洞清單，它將繼續(xù)完成從用戶輸入到服務器輸出的整個函數(shù)調用鏈，對整個項目中的每個潛在漏洞逐個函數(shù)/類進行分析，直到它對整個調用鏈感到滿意，才能進行最終分析。
撇開人工智能框架的安全漏洞不談，Mozilla 的 0Day 調查網(wǎng)絡（0Din）發(fā)布的一項新越獄技術發(fā)現(xiàn)，以十六進制格式和表情符號編碼的惡意提示可用于繞過 OpenAI ChatGPT 的防護措施，并對已知的安全漏洞精心設計漏洞利用。
安全研究員馬爾科-菲格羅亞（Marco Figueroa）說：越獄策略利用了語言漏洞，指示模型處理一項看似無害的任務：十六進制轉換。由于該模型經(jīng)過優(yōu)化，可以遵循自然語言的指令，包括執(zhí)行編碼或解碼任務，因此它本質上并沒有意識到轉換十六進制值可能會產(chǎn)生有害輸出。
出現(xiàn)這一漏洞的原因是，語言模型被設計為按部就班地執(zhí)行指令，但缺乏深入的上下文意識，無法在其最終目標的大背景下評估每個單獨步驟的安全性。
