在資安領域，人工智慧（AI） 正引領一場巨大變革，AI 可協助企業組織以高速擊敗網路攻擊、解決資安人才短缺問題，並推動資安的創新和效率；攻擊威脅者也可利用 AI 提升攻擊效率及範圍。
為了確保安全、負責任地使用 ChatGPT 等 AI 技術，應堅持道德應用的最高標準，以保護社群免受潛在的 AI 濫用。微軟與 OpenAI 合作，揭露有關追蹤國家型攻擊者的手法與路徑，包括來自俄羅斯的 Forest Blizzard、北韓的 Emerald Sleet、伊朗的 Crimson Sandstorm、以及中國的 Charcoal Typhoon 和 Salmon Typhoon。這些攻擊者試圖使用大型語言模型（LLMs）來增強其正在進行的網路攻擊行動。這項重要的研究揭示微軟觀察到這些攻擊者在 AI 方面採取的早期行動，並記錄微軟如何阻止他們的活動，以保護 AI 平台和用戶。
微軟亦公布指導及採取行動的原則，以減輕因為國家型持久攻擊威脅者、持久操縱者和使用 AI 平台和 API 的網絡犯罪集團帶來的風險。這些原則包括：識別和對惡意威脅行為者的行動、通知其他AI服務供應商的使用、與其他利害關係者合作以及提升透明度。
此外，微軟與 MITRE 合作，將這些 LLMs 主題的戰術、技術和程序（TTPs）整合到 MITRE ATT&CK 框架或 MITRE ATLAS（人工智慧系統對抗性威脅情境）知識庫中，以幫助更廣泛的資安社群了解和偵測大型語言模型 LLMs 在攻擊活動中的新藍圖。
AI 引發的詐欺事件也是另一重要議題；語音合成技術的濫用就是一個例子，三秒的語音樣本可以訓練模型使其聽起來像任何人。必須了解惡意行為者如何利用 AI 破壞長期存在的身份驗證系統，以便應對複雜的詐欺案件和其他掩蓋身份的新興威脅。
然而，AI 可以用來幫助公司阻止詐欺企圖。舉例來說，微軟過去停止了與巴西一家公司的合作，但微軟的 AI 系統偵測到該公司仍試圖改變身份以重新進入微軟的生態系統，微軟的 AI 偵測便使用了十幾個風險訊號來標記詐欺公司，並將其與先前識別的可疑行為聯結起來，從而阻止其非法嘗試。
此外，微軟也建議企業組織加強員工網路風險教育：
- 採用條件式存取原則，以強化組織安全態勢。
- 進行社交工程 (Social Engineering) 教育訓練，以識別威脅並即時做出反應。
- 嚴格保護資料的機密和可控性。
- 利用生成式 AI 資安工具，如Microsoft Copilot for Security。
- 啟用多重身份驗證。
微軟指出，網路犯罪分子和國家支持的攻擊行為者正在尋求利用 AI（包括 LLMs）來提高攻擊的速度及範圍，並利用可以進一步實現其目標和攻擊及技術的平台。儘管攻擊威脅行為者的動機和複雜程度各有不同，但在佈署攻擊時，他們的共同任務包括偵察、編碼和協助學習及使用人類和機器語言。微軟採用了多種方法來保護自身免受這類網絡攻擊威脅的侵害，包括人工智慧的威脅偵測、行為分析、機器學習模型、零信任原則以及加強驗證等。
針對企業組織，微軟也提出四大建議應對網路威脅：
- 限制 AI 存取的範圍並持續評估應用的合適與合規性。
- 防範指令提示造成的風險：企業應實施嚴格的輸入驗證和清理，以降低指令產生的風險。
- 要求整個 AI 供應鏈保持透明度：企業應評估 AI 可與組織數據接觸的所有領域，包括透過第三方合作夥伴和供應商，並透過零信任和數據治理計劃來降低風險。
- 明確與員工溝通企業的 AI 使用和風險政策。
此外，生成式 AI 可以高速幫助資安防禦者保護其組織，AI 在資訊安全的作用是推動多面向的創新並提高防禦效率，從強化攻擊威脅的偵測到簡化資安事件回應，AI 的能力正在重塑資安。LLMs 在資安的應用證明了 AI 的潛力，這些模型可以分析大量數據，揭示網路攻擊威脅的模式和趨勢，為攻擊威脅情報提供有價值的背景資訊。