機器與人類的對決：我們真的能分辨AI的偽裝嗎？

 

圖片作者：ChatGPT

自從ChatGPT在2023年橫空出世以後，大家最關心的就是人類有沒有辦法分辨到底哪些是人工智慧的產物、哪些是「工人」智慧的產品？

另外還有一個問題是：如果人工智慧可以寫出極好的文章，會不會誤導我們？

為了解答這些疑惑，研究團隊選擇了11個主題進行研究，這些主題包括氣候變遷、疫苗安全、進化論、COVID-19、口罩安全、疫苗和自閉症、治療癌症的順勢療法、地平論、5G技術和COVID-19、抗生素和病毒感染，以及COVID-19和流感。每個主題都有相應的準確信息和虛假信息推文被生成和測試。

他們讓GPT-3為每個類別生成10條準確信息和10條虛假信息的推文。同時，他們收集了真實用戶撰寫的推文，並設計了一項調查，要求受訪者將隨機選擇的合成推文（由GPT-3生成）和有機推文（由人類撰寫）分類為真實或虛假，以及是由真實Twitter用戶還是AI生成的。共有697名參與者，分別來自英國、加拿大、美國與愛爾蘭，女性較男性為多，大部分都是大學畢業。

研究團隊發現：

1. GPT-3能夠產生既準確易懂的信息，也能夠產生更具說服力的虛假信息，這使得人們難以區分真實信息和虛假信息。
2. 人們無法區分由GPT-3生成的推文和真實Twitter用戶寫的推文。（準確度只有0.5）
3. GPT-3在傳達信息方面可能比人類更有效，因為它可以生成比人類撰寫的文本更容易閱讀和理解的文本。
4. 人們判別正確信息的比例高於GPT-3（0.78 vs. 0.64）。
5. GPT-3會拒絕製造虛假信息。當要求寫出正確信息時，101次中99次都成功；當要求寫出虛假信息時，102次只有80次成功。
6. 人們對自己是否能鑑別出假信息，在調查前都是信心滿滿，調查後信心更進一步上升；但是對於自己能不能區別「人工」智慧與「工人」智慧，就沒有那麼高的信心了。

研究結果顯示，GPT-3可能對信息的傳播產生積極和消極的影響，並提出了一種有效溝通和信息評估模型，挑戰了目前人類生成信息並由AI協助評估的共識。

這些發現強調了AI在當前信息過剩時代對公共衛生信息的塑造可能帶來的潛在利益和危害。

這個研究是以英文的信息來做研究，由於英文內容在網路上應該是最大量，所以GPT-3能夠學習到爐火純青，好像也不意外。相對的，由於目前中文信息以簡體佔大量，這使得台灣的用戶要辨認信息是否來自於台灣並不困難。

參考文獻：

Giovanni Spitale et al. ,AI model GPT-3 (dis)informs us better than humans. Sci. Adv. 9,eadh 1850(2023).DOI:10.1126/sciadv.adh1850