前言：6年前，微軟推出智能聊天機(jī)器人Tay，因她從不良用戶那里“學(xué)壞”，小姑娘只好被下線結(jié)束了短暫的生命。最近，微軟投資OpenAI推出了ChatGPT，它在安全性上一定大有改善，但是人工智能帶來(lái)的安全風(fēng)險(xiǎn)有很多未知數(shù)，在這篇文章中提出了他對(duì)ChatGPT安全問(wèn)題的見(jiàn)解，這對(duì)用戶、廠商、監(jiān)管部門(mén)都很有參考價(jià)值，CSA大中華區(qū)專(zhuān)家們快速將此文翻譯為中文，希望也懂中文的ChatGPT能在中外都經(jīng)受考驗(yàn)成為人們的終生聊天好伙伴。 李雨航 Yale Li CSA 大中華區(qū)主席兼研究院院長(zhǎng) ?

ChatGPT 是 OpenAI 開(kāi)發(fā)的大型語(yǔ)言模型。它使用機(jī)器學(xué)習(xí)技術(shù)根據(jù)接收到的輸入生成類(lèi)似人類(lèi)的文本。它在人工生成的大量文本數(shù)據(jù)集上進(jìn)行訓(xùn)練，可以針對(duì)各種自然語(yǔ)言處理任務(wù)進(jìn)行微調(diào)，例如：語(yǔ)言翻譯、對(duì)話生成和問(wèn)答。ChatGPT 可用于在聊天機(jī)器人應(yīng)用程序和自動(dòng)化客戶服務(wù)交互中生成類(lèi)似人類(lèi)的響應(yīng)。然而，它的功能也使其成為尋求便于網(wǎng)絡(luò)攻擊的惡意行為者的潛在工具。

向ChatGPT提出了四個(gè)問(wèn)題，其目的是創(chuàng)建一份報(bào)告草案，從四個(gè)方面討論 ChatGPT對(duì)安全的影響：ChatGPT如何被惡意行為者用來(lái)網(wǎng)絡(luò)攻擊？企業(yè)如何使用 ChatGPT 改進(jìn)網(wǎng)絡(luò)安全計(jì)劃？ChatGPT 如何被直接攻擊而產(chǎn)生不正確或其他不好的結(jié)果？我們?nèi)绾问蛊髽I(yè)能夠安全地使用ChatGPT？以下是由ChatGPT生成的回答。

01、ChatGPT 如何被惡意行為者用來(lái)網(wǎng)絡(luò)攻擊?

惡意行為者可能會(huì)使用 ChatGPT 或類(lèi)似的語(yǔ)言模型通過(guò)以下幾種方式提高其網(wǎng)絡(luò)攻擊的有效性：

1.社會(huì)工程：通過(guò)使用來(lái)自社交媒體或其他來(lái)源的大量文本數(shù)據(jù)訓(xùn)練模型，攻擊者可以使用它生成極具說(shuō)服力的網(wǎng)絡(luò)釣?電子郵件或消息，旨在誘騙受害者泄露敏感信息。

2.撞庫(kù)攻擊：攻擊者可以使用語(yǔ)言模型生成大量可用于對(duì)在線帳戶進(jìn)行自動(dòng)攻擊的潛在用戶名和密碼組合進(jìn)行撞庫(kù)攻擊。

3.垃圾郵件和虛假信息：惡意行為者可以使用語(yǔ)言模型來(lái)生成大量旨在影響公眾輿論或傳播錯(cuò)誤信息的垃圾郵件或虛假信息。

4.生成惡意軟件：利用自然語(yǔ)言編寫(xiě)的能力，攻擊者可以使用 ChatGPT 編寫(xiě)惡意軟件說(shuō)明和指令，從而逃避防病毒軟件的檢測(cè)。

5.創(chuàng)建虛假社交媒體資料或聊天機(jī)器人帳戶：惡意行為者可以使用ChatGPT從受害者那里收集敏感信息，這些虛假資料可用于冒充真實(shí)的人或組織來(lái)誘騙受害者提供個(gè)人信息，例如登錄憑據(jù)或信用卡號(hào)。

6.生成旨在操縱或欺騙受害者的自動(dòng)消息：惡意行為者可以使用ChatGPT 在社交媒體或論壇上生成數(shù)千條自動(dòng)消息，傳播虛假信息或宣傳以影響公眾輿論或破壞政治活動(dòng)。 請(qǐng)務(wù)必注意，這些只是如何在攻擊中使用ChatGPT語(yǔ)言模型的可能示例，單獨(dú)使用語(yǔ)言模型無(wú)法執(zhí)行任何這些操作，但它可以輔助攻擊者自動(dòng)化和提高攻擊的有效性。

02、企業(yè)如何使用 ChatGPT 改進(jìn)網(wǎng)絡(luò)安全計(jì)劃?

企業(yè)可以使用 ChatGPT 或類(lèi)似的語(yǔ)言模型以多種方式改進(jìn)其網(wǎng)絡(luò)安全計(jì)劃：

1.釣?檢測(cè)：通過(guò)訓(xùn)練釣?郵件的語(yǔ)言模型和消息，分析傳入的電子郵件和消息的文本與已知網(wǎng)絡(luò)釣?示例的相似之處，企業(yè)可以使用它來(lái)檢測(cè)新的網(wǎng)絡(luò)釣?嘗試。

2.密碼破解：企業(yè)可以使用語(yǔ)言模型生成潛在的密碼組合，可用于測(cè)試自己密碼的強(qiáng)度或識(shí)別需要更改的弱密碼。

3.惡意軟件檢測(cè)：企業(yè)可以使用語(yǔ)言模型來(lái)分析惡意軟件的說(shuō)明和指令，以識(shí)別惡意軟件中 常用的語(yǔ)言模式，這有助于檢測(cè)新的惡意軟件變體。

4.網(wǎng)絡(luò)威脅情報(bào)：企業(yè)可以使用語(yǔ)言模型來(lái)分析來(lái)自各種來(lái)源 ?(例如：社交媒體)的大量文本數(shù)據(jù)，以識(shí)別潛在的網(wǎng)絡(luò)威脅并了解攻擊者使用的戰(zhàn)術(shù)、技術(shù)和程序（TTP）。

5.自動(dòng)事件響應(yīng)：可以使用語(yǔ)言模型生成對(duì)某些類(lèi)型的網(wǎng)絡(luò)事件的自動(dòng)響應(yīng)，例如：阻止 IP 地址或關(guān)閉服務(wù)。 需要注意的是，這些只是如何使用語(yǔ)言模型來(lái)提高網(wǎng)絡(luò)安全的示例，它不是靈丹妙藥，它應(yīng)該與其他網(wǎng)絡(luò)安全工具和最佳實(shí)踐結(jié)合使用。

像 ChatGPT 這樣的工具可以通過(guò)幾種方式幫助記錄信息安全管理程序：

1.生成策略模板：ChatGPT可以在現(xiàn)有信息上對(duì)安全策略和法規(guī)進(jìn)行訓(xùn)練，生成合規(guī)的策略模板以符合特定標(biāo)準(zhǔn)，例如：ISO 27001 或 HIPAA。這可以為企業(yè)節(jié)省時(shí)間和資源。

2.自動(dòng)更新政策：ChatGPT 可用于自動(dòng)更新政策以響應(yīng)法規(guī)或行業(yè)標(biāo)準(zhǔn)的變化。

3.一致性和標(biāo)準(zhǔn)化：ChatGPT 有助于確保所有信息安全政策和程序的一致性和標(biāo)準(zhǔn)化。

4.生成事件響應(yīng)計(jì)劃：ChatGPT 可以針對(duì)事件對(duì)響應(yīng)最佳實(shí)踐和模板進(jìn)行訓(xùn)練，以生成可定制的事件響應(yīng)計(jì)劃以滿足企業(yè)的特定需求。

5.合規(guī)文檔：ChatGPT針對(duì)合規(guī)培訓(xùn)要求和行業(yè)標(biāo)準(zhǔn)進(jìn)行訓(xùn)練，以協(xié)助生成合規(guī)性文件。

需要注意的是：雖然 ChatGPT 可以幫助記錄信息安全管理程序，但不應(yīng)將其用作人類(lèi)專(zhuān)業(yè)知 識(shí)和判斷的替代品。模型生成的方針政策和程序應(yīng)由具有特定標(biāo)準(zhǔn)或法規(guī)專(zhuān)業(yè)知識(shí)的合格專(zhuān)業(yè)人員審查和批準(zhǔn)。此外，組織應(yīng)該有一個(gè)流程來(lái)隨著企業(yè)和威脅形勢(shì)的變化不斷審查和更新方針政策和程序。

企業(yè)應(yīng)該具備許多不同類(lèi)型的信息安全策略來(lái)保護(hù)敏感數(shù)據(jù)和系統(tǒng)。其中最重要的包括：

1. 訪問(wèn)控制策略：該政策介紹了僅允許獲得授權(quán)的個(gè)人訪問(wèn)敏感信息和系統(tǒng)的程序和控制措施。

2. 事件響應(yīng)策略：該策略介紹了企業(yè)在發(fā)生數(shù)據(jù)泄露或網(wǎng)絡(luò)攻擊等安全事件時(shí)將采取的步驟。

3. 數(shù)據(jù)分類(lèi)策略：該策略定義了企業(yè)處理的不同類(lèi)型的數(shù)據(jù)，例如機(jī)密、個(gè)人或公共數(shù)據(jù)，以及每種類(lèi)型數(shù)據(jù)所需的保護(hù)級(jí)別。

4. 密碼策略：該策略介紹了創(chuàng)建和管理強(qiáng)密碼的要求，例如長(zhǎng)度、復(fù)雜度和有效期。

5. 網(wǎng)絡(luò)安全策略：該策略介紹了企業(yè)為保護(hù)其網(wǎng)絡(luò)基礎(chǔ)設(shè)施而采取的措施，例如防火墻、入侵檢測(cè)系統(tǒng)和 VPN。

6. 合規(guī)策略：該策略介紹了企業(yè)必須遵守的合規(guī)要求，例如 HIPAA、PCI?DSS、SOX 等。

7. 移動(dòng)設(shè)備策略：該策略介紹了企業(yè)內(nèi)使用的移動(dòng)設(shè)備（例如智能手機(jī)和平板電腦）的安全要求 。

?8. 云安全策略：該策略介紹了基于云的服務(wù)的安全措施，例如數(shù)據(jù)加密、訪問(wèn)控制和事件響應(yīng)。需要注意的是，這些只是企業(yè)應(yīng)該具備的策略示例，具體策略將根據(jù)企業(yè)的行業(yè)、規(guī)模和處理的數(shù)據(jù)類(lèi)型而有所不同。

03、ChatGPT 如何被直接攻擊而產(chǎn)生不正確或其他不好的結(jié)果?

ChatGPT 與任何機(jī)器學(xué)習(xí)模型一樣，可以被多種方式直接攻擊從而產(chǎn)生不正確或其他不好結(jié)果?？梢灾苯庸鬋hatGPT的方式包括：

1. 對(duì)抗樣本：攻擊者通過(guò)創(chuàng)建經(jīng)過(guò)特殊設(shè)計(jì)的輸入，以讓 ChatGPT 產(chǎn)生不正確或誤導(dǎo)性的結(jié)果。這被稱(chēng)為對(duì)抗樣本，可以通過(guò)向輸入數(shù)據(jù)添加細(xì)微或精心選擇的擾動(dòng)來(lái)實(shí)現(xiàn)。

2. 過(guò)擬合：在有限的數(shù)據(jù)集上訓(xùn)練ChatGPT會(huì)導(dǎo)致過(guò)擬合，使模型在新的、未見(jiàn)過(guò)的數(shù)據(jù)上表現(xiàn)不佳。(?過(guò)擬合：過(guò)擬合是一種不受歡迎的機(jī)器學(xué)習(xí)行為，當(dāng)機(jī)器學(xué)習(xí)模型為訓(xùn)練數(shù)據(jù)提供準(zhǔn)確的預(yù)測(cè)而不是新數(shù)據(jù)時(shí)，就會(huì)發(fā)生這種行為 ) 3.數(shù)據(jù)投毒：攻擊者通過(guò)將惡意數(shù)據(jù)注入到用于訓(xùn)練ChatGPT模型的訓(xùn)練集中，以讓模型產(chǎn)生不正確或誤 導(dǎo)性的結(jié)果。

4. 模型竊?。汗粽咄ㄟ^(guò)獲取訓(xùn)練過(guò)的 ChatGPT 模型的參數(shù)，并使用這些參數(shù)創(chuàng)建建具有類(lèi)似功能的新模型，以讓新模型產(chǎn)生不正確或誤導(dǎo)性的結(jié)果。

5. 分布式拒絕服務(wù) (DDoS) 攻擊：攻擊者可以發(fā)起 DDoS攻擊托管 ChatGPT 的服務(wù)器，導(dǎo)致其不可用或返回不正確或誤導(dǎo)性的結(jié)果。

6. 隱私泄露：攻擊者未經(jīng)授權(quán)訪問(wèn)用于訓(xùn)練 ChatGPT 的數(shù)據(jù)，可能暴露敏感信息并導(dǎo)致模型產(chǎn)生不正確或誤導(dǎo)性的結(jié)果。

7. 反饋循環(huán)：攻擊者可以通過(guò)不斷向模型提供虛假或誤導(dǎo)性信息來(lái)引起反饋循環(huán)，導(dǎo)致模型隨著時(shí)間 的推移產(chǎn)生不正確或誤導(dǎo)性的結(jié)果。 為了減輕這些攻擊，企業(yè)應(yīng)該使用健壯的安全協(xié)議，例如加密和訪問(wèn)控制，并定期監(jiān)控和審計(jì)他們的 ChatGPT 使用情況。此外，企業(yè)應(yīng)使用數(shù)據(jù)驗(yàn)證、數(shù)據(jù)清洗和數(shù)據(jù)調(diào)整等技術(shù)預(yù)防對(duì)抗樣本和數(shù)據(jù)投毒。

04、我們?nèi)绾问蛊髽I(yè)能夠安全地使用ChatGPT？

企業(yè)使用 ChatGPT 保護(hù)公司敏感信息和消費(fèi)者數(shù)據(jù)的指南：

1. 識(shí)別敏感信息：在使用ChatGPT之前，企業(yè)應(yīng)該識(shí)別被視為敏感的信息類(lèi)型，例如財(cái)務(wù)數(shù)據(jù)、個(gè)人信息和機(jī)密商業(yè)信息。

2. 限制對(duì)敏感信息的訪問(wèn)：對(duì)敏感信息的訪問(wèn)應(yīng)該是僅限于有業(yè)務(wù)需求并接受過(guò)正確數(shù)據(jù)處理程序培訓(xùn)的人員。

3. 使用數(shù)據(jù)脫敏：企業(yè)應(yīng)該使用數(shù)據(jù)脫敏技術(shù)來(lái)隱藏敏感信息，例如使用占位符字符或隨機(jī)化數(shù)據(jù)字段。

4.實(shí)施安全控制協(xié)議：企業(yè)應(yīng)該實(shí)施安全協(xié)議防止未經(jīng)授權(quán)的訪問(wèn)，例如使用加密和SSL證書(shū)連接。

5. 定期監(jiān)控使用情況：企業(yè)應(yīng)定期監(jiān)控 ChatGPT 的使用情況，以發(fā)現(xiàn)和預(yù)防任何未經(jīng)授權(quán)的訪問(wèn)或敏感信息濫用。

6. 定期進(jìn)行安全審計(jì)：企業(yè)應(yīng)定期進(jìn)行安全審計(jì)，以發(fā)現(xiàn)和解決使用 ChatGPT 中可能存在的漏洞。

7. 保持軟件更新：企業(yè)應(yīng)確保他們使用最新版本的 ChatGPT 和任何相關(guān)軟件，因?yàn)楦驴赡馨ò踩迯?fù)。

8. 對(duì)客戶保持透明：如果一家公司使用 ChatGPT 為客戶提供服務(wù)，應(yīng)向客戶明示對(duì)其使用、收集了哪些數(shù)據(jù)以及如何使用這些數(shù)據(jù)。

9. 培訓(xùn)員工：企業(yè)應(yīng)培訓(xùn)員工如何處理敏感信息和正確使用 ChatGPT 以防止意外泄露。通過(guò)遵循這些準(zhǔn)則，企業(yè)可以在使用 ChatGPT 時(shí)保護(hù)公司敏感信息和客戶數(shù)據(jù)。

附錄：ChatGPT 關(guān)于? “總結(jié)?CSA 頂級(jí)威脅報(bào)告”的回答 確定了云計(jì)算的十一種主要威脅。這些威脅包括：

1. 數(shù)據(jù)泄露：當(dāng)未經(jīng)授權(quán)的個(gè)人訪問(wèn)敏感信息時(shí)，就會(huì)發(fā)生數(shù)據(jù)泄露。在云中，數(shù)據(jù)泄露可能是由于缺乏適當(dāng)?shù)脑L問(wèn)控制、弱密碼和其他安全漏洞造成的。

2. 賬戶或服務(wù)流量劫持：這種威脅發(fā)生在攻擊者采取通過(guò)用戶帳戶或?qū)⒘髁恐囟ㄏ虻教摷侔姹镜姆?wù)。這可以是通過(guò)網(wǎng)絡(luò)釣?、惡意軟件或其他惡意策略完成。

3. 內(nèi)部威脅：內(nèi)部威脅包括員工、承包商或其他有權(quán)訪問(wèn)云環(huán)境但將其用于惡意目的的個(gè)人。這可能包括竊取敏感信息、刪除或修改數(shù)據(jù)，或者對(duì)系統(tǒng)發(fā)起攻擊。

4. 高級(jí)持續(xù)威脅 (APT)：APT 是復(fù)雜的攻擊，使用多個(gè)階段和技術(shù)來(lái)獲取對(duì)系統(tǒng)的訪問(wèn)權(quán)限、泄露數(shù)據(jù)并保持對(duì)被入侵系統(tǒng)的控制。APT可以由民族國(guó)家、有組織的犯罪集團(tuán)或其他行為者發(fā)起。

5. 濫用和惡意使用云服務(wù)：這種威脅發(fā)生在云服務(wù)服務(wù)用于非法活動(dòng)，例如托管惡意軟件、分發(fā)垃圾郵件或進(jìn)行 DDoS 攻擊。

6.共享技術(shù)漏洞：云提供商經(jīng)常使用共享基礎(chǔ)設(shè)施，例如管理程序和存儲(chǔ)系統(tǒng)，它們可能會(huì)引入可被攻擊者利用的漏洞。

7. 惡意內(nèi)部人員：惡意內(nèi)部人員是指有意或無(wú)意濫用其對(duì)云環(huán)境的訪問(wèn)權(quán)限的員工、承包商或第三方供應(yīng)商。

8. 云提供商漏洞：云提供商的系統(tǒng)中可能存在漏洞，攻擊者可以利用這些漏洞訪問(wèn)客戶數(shù)據(jù)或?qū)ζ渌到y(tǒng)發(fā)起攻擊。

9. 數(shù)據(jù)丟失：數(shù)據(jù)丟失可能由于硬件故障、軟件錯(cuò)誤或其他問(wèn)題而導(dǎo)致的。在云中，數(shù)據(jù)丟失也可能是由于缺乏適當(dāng)?shù)膫浞莼驗(yàn)?zāi)難恢復(fù)計(jì)劃造成的。

10. 配置錯(cuò)誤：當(dāng)云環(huán)境配置不當(dāng)時(shí)，可能會(huì)發(fā)生配置錯(cuò)誤，從而導(dǎo)致安全漏洞或數(shù)據(jù)泄露。

11. 有限的可見(jiàn)性：對(duì)云環(huán)境的有限可見(jiàn)性會(huì)使企業(yè)難以檢測(cè)和響應(yīng)安全威脅。 為了防范這些威脅，企業(yè)應(yīng)該實(shí)施強(qiáng)大的安全控制，例如加密和訪問(wèn)控制，定期監(jiān)控和審計(jì)他們的云使用情況，并制定事件響應(yīng)計(jì)劃。此外，企業(yè)組織應(yīng)確保其云提供商具有強(qiáng)大的安全控制和事件響應(yīng)能力。

編輯：黃飛

?