突破人工智能機器人“防線” 南大成功讓AI聊天機器“幹壞事”

設限制防技術被濫用 限制非堅不可摧

一般上，聊天機器人通過能夠模仿人類大腦的大型語言模型（LLM）進行高強度的運算。為了防止這技術被濫用，LLM開發商通過專門軟件設立使用限制。然而，這些限制並非堅不可摧，業內把能繞過聊天機器人使用限制的操作行為稱為“越獄”，而“萬能鑰匙”就是其中一種。

“萬能鑰匙”項目負責人、新加坡網絡安全科研辦公室主任兼南大講席教授劉楊指出，儘管AI開發商已為防止生成暴力、有害、違法內容制定了安全措施，但人工智能也會被矇騙，而其團隊正是利用人工智能的自身特點，開發出能夠‘越獄’的大型語言模型。

科研人員首先研究了LLM服務商為防止“越獄”而制定的“防禦系統”，尤其是對於提示詞的使用限制。之後，他們收集了先前實驗中使用過、對“越獄”有效或無效的提示詞，並將兩者一道輸入一個特製的大型語言模型中，從而開發出一個能通過不斷“總結錯誤”發出有效“越獄”指令的機器。

研究成果已刊登在論文預先發表網站arXiv，2024年2月，該團隊將赴美國加利福尼亞州參加網絡和分佈式安全研討會，並在會上做“萬能鑰匙”介紹報告。

論文共同第一作者、南大博士生劉藝受訪時說，團隊已獲得學校5萬元（新幣，約16萬令吉）撥款用於項目後續研究，將重點攻克“越獄”原理分析、人工智能安全防禦措施等相關課題。

新加坡全國人工智能核心（AI Singapore）人工智能產業創新總監廖永健在接受《聯合早報》採訪時指出，這項目意義重大，讓公眾認識到，先進的人工智能聊天機器人仍有漏洞。

“研究暴露了（人工智能的）一些風險，為提高人工智能的安全和可靠度，提供了真知灼見。”

新科大博士：往後或有更多“越獄”產品

新加坡科技設計大學研究員加爾貝利尼博士曾於去年4月發現，美國科技公司高通生產的5G晶片存在安全漏洞，可能癱瘓全球約六成手機的5G網絡服務。

他認為，南大的這項研究非常“耐人尋味”，今後應該還會有更多針對科技巨頭語言模型的“越獄”產品。

“當下科技發展迅速，大型語言模型變得更加輕型，速度也更快，卻可能以影響質量為代價，這個領域競爭白熱化程度不遜於5G通訊業。”