利用AI系統生成影像、音訊、影片等涉及深偽（Deepfake）技術內容，讓人防不勝防，香港已有受害案例。歐盟「AI法案」（Artificial Intelligence Act）將AI風險作分級，也讓許多國家思考法律如何有效針對AI做風險分級或分類，目前AI最常見的安全威脅有資料下毒（Data Poisoning）、模型迴避（Evasion Attack）、模型逆向（Model Inversion）等都要注意防範。

雖然台灣的AI基本法尚未進入立法院做實質討論，但已經有立委提出管制高風險AI的法規構想。例如要求主管機關召集AI、風險管理、法律或相關領域之專家學者及所評估產業之產業代表，組成「風險評估諮詢會議」，其中產業代表不得少於三分之一。

國科會的相關報告提到，AI技術已應用在關鍵基礎設施、金融系統、醫療健康、智慧交通、國防安全到大型語言模型（LLM）與自動化決策系統。如果AI系統成為間諜活動、惡意攻擊、系統破壞或運行風險的目標，就有可能影響國家安全、社會穩定與企業營運。

目前國際上最常見的AI安全威脅裡，「資料下毒」是指攻擊者竄改特定模型所用之樣本，有意影響訓練資料以操控模型預測結果，AI模型要透過網際網路找新資料學習，就會有這個風險；「模型迴避」是指攻擊者在模型輸入值回傳的過程中，對輸入值加入細微雜訊，以大幅改變模型的預測結果；「模型逆向」就是利用機器學習系統提供的一些API來獲取模型的初步資訊，並藉這些初步資訊對模型進行逆向分析，獲取模型內部的隱私資料。

相關研究認為，AI的應用是為輔助人類決策，不應導致脅迫、欺騙、操縱人類甚至取代人類，因此AI的開發及應用應循「以人為本」的原則，作為強化或補充人類認知、社會或文化技能，確保人類與AI系統交流的過程中，仍保有作出有意義的選擇權，並能保持充分而有效的自主性與控制權。

至於政府監督機制，應該要能確保AI系統不會侵害人類自主性或是引發其他負面效果，尤其不可因AI系統錯誤，而對人類生命、身體、健康、財產造成損害。