人工智慧代理已來。接下來會怎樣？
引言
大型語言模型 (LLM) 能力的突然快速進步——例如流利地書寫句子和在基準測試中取得越來越高的分數——促使人工智慧開發者和企業都開始展望下一步：即將出現什麼樣的顛覆性技術？最近興起的一項技術是“人工智慧代理”，即能夠在數字世界中採取與部署者目標一致行動的系統。當今大多數人工智慧代理都是透過將大型語言模型 (LLM) 整合到可以執行多種功能的更大系統中而構建的。這一波新技術的根本思想是，計算機程式不再需要作為人類控制的工具，侷限於專門任務：它們現在可以在沒有人為干預的情況下組合多項任務。
這種轉變標誌著系統能夠在一個不確定環境中建立特定情境計劃的根本性轉變。許多現代人工智慧代理不僅僅執行預定義的操作，而是被設計用於分析新情況、制定相關目標並採取以前未定義的操作來實現目標。
在本文中，我們將簡要概述人工智慧代理是什麼，並詳細闡述其中涉及的倫理價值，記錄人工智慧代理的收益與風險之間的權衡。然後，我們提出了未來的發展路徑，以期實現人工智慧代理儘可能造福社會的未來。有關代理的技術方面介紹，請參閱我們最近的開發者部落格文章。有關現代生成式人工智慧之前編寫的代理介紹（大部分仍然適用），請參閱Wooldridge 和 Jennings，1995。
我們的分析表明，對人的風險隨著系統的自主性水平而增加：使用者放棄的控制越多，系統產生的風險就越大。尤其令人擔憂的是，人工智慧代理開發所帶來的好處（例如讓開發者不必預測系統可能採取的所有行動）也會導致個人**安全**風險。更復雜的問題是，一些安全危害會為其他型別的危害（例如隱私和安全危害）開啟大門，並且對不安全系統不當信任會引發更多危害的連鎖反應。因此，我們建議不開發完全自主的人工智慧代理。例如，可以編寫和執行自己程式碼（超出開發者控制的受限程式碼選項）的人工智慧代理將擁有凌駕於所有人類控制之上的能力。相比之下，半自主人工智慧代理可能具有利大於弊的優點，具體取決於自主性水平、系統可執行的任務以及個人對其控制的性質。現在我們深入探討這些主題。
什麼是人工智慧代理？
概述
對於什麼是“人工智慧代理”目前沒有明確共識，但最近推出的人工智慧代理的共同點是它們具有“代理性”，即它們具有一定程度的**自主性**：在給定目標規範的情況下，它們可以將其分解為子任務，並在無需人工直接干預的情況下執行每個子任務。例如，一個理想的人工智慧代理可以響應“幫我寫更好的部落格文章”這樣的高階請求，透過獨立地將此任務分解為：從網路上檢索與您以前的部落格主題相似的文章；建立包含新部落格文章大綱的文件；並提供每篇文章的初步內容。人工智慧代理的最新工作使得軟體能夠比過去實現更廣泛的功能和更靈活的使用方式，最近部署的系統涵蓋了從組織會議（示例1、示例2、示例3、示例4）到建立個性化社交媒體帖子（示例）等各種功能，而無需明確的執行指令。
我們為本通訊調查的所有近期推出的人工智慧代理都建立在機器學習模型之上，並且大多數都專門使用**大型語言模型**（LLM）來驅動其行動，這是一種計算機軟體的新穎方法。除了建立在機器學習之上，當今的人工智慧代理與過去的代理也有相似之處，在某些情況下，它們實現了以前對代理可能是什麼樣子的理論構想：自主行動、展示（感知到的）社交能力，以及恰當地平衡反應性和主動性行動。
這些特性有不同的程度：不同的人工智慧代理具有不同級別的能力，並且可以單獨工作或與其他代理協同工作以實現目標。因此，人工智慧代理可以被稱為或多或少自主（或*代理性*），並且某物作為代理的程度可以被視為一個連續的譜系。這種人工智慧代理的流動性概念導致了最近關於人工智慧代理是什麼的混淆和誤解，我們希望在此澄清。下表詳細說明了人工智慧代理的不同級別。
| 代理級別 | 描述 | 誰在控制 | 名稱 | 程式碼示例 |
|---|---|---|---|---|
| ☆☆☆☆ | 模型對程式流無影響 | 👤 開發者控制系統可執行的所有可能功能以及執行時間。 | 簡單處理器 | print_llm_output(llm_response) |
| ★☆☆☆ | 模型決定基本控制流 | 👤 開發者控制系統可執行的所有可能功能；系統控制何時執行每個功能。 | 路由器 | if llm_decision(): path_a() else: path_b() |
| ★★☆☆ | 模型決定函式如何執行 | 👤 💻 開發者控制系統可執行的所有可能功能以及執行時間；系統控制它們如何執行。 | 工具呼叫 | run_function(llm_chosen_tool, llm_chosen_args) |
| ★★★☆ | 模型控制迭代和程式延續 | 💻 👤 開發者控制系統可執行的高階功能；系統控制要執行哪些、何時執行以及如何執行。 | 多步驟代理 | while llm_should_continue(): execute_next_step() |
| ★★★★ | 模型編寫並執行新程式碼 | 💻 開發者定義系統可執行的高階功能；系統控制所有可能的功能以及執行時間。 | 完全自主代理 | create_and_run_code(user_request) |
表1. 使用機器學習模型（例如LLM）的系統如何或多或少地具有代理性的一個示例。系統還可以組合成“多代理系統”，其中一個代理工作流觸發另一個代理，或多個代理協同工作以實現一個目標。
改編自smolagent 部落格文章，並針對此部落格文章進行了修改。
從倫理角度來看，理解自主性連續統一體在人類如何將控制權讓渡給機器方面也很有用。系統越自主，我們讓渡的人類控制權就越多。
在本文中，我們使用了一些擬人化的語言來描述人工智慧代理，這與當前描述它們所使用的語言一致。正如歷史文獻中也指出的那樣，使用通常用於人類的心理語言來描述人工智慧代理——例如具有知識、信念和意圖——可能會導致無法適當地告知使用者系統能力的問題。無論是好是壞，這種語言都充當了一種抽象工具，以掩蓋技術的更精確細節。在處理這些系統是什麼以及它們可能在人們生活中扮演的角色時，理解這一點至關重要：使用心理語言描述人工智慧代理並不意味著這些系統擁有心智。
人工智慧代理的範圍
人工智慧代理在許多相互關聯的維度上有所不同
- 自主性：最近的“代理”至少可以在沒有使用者輸入的情況下執行一步。“代理”一詞目前被用來描述從單步提示和響應系統（引用）到多步客戶支援系統（示例）的所有事物。
- 主動性：與自主性相關的是主動性，它指的是系統在使用者不直接指定目標的情況下可以採取的目標導向行為的數量（引用）。一個特別“主動”的人工智慧代理的例子是監控你的冰箱以確定你缺少什麼食物，然後在你不知情的情況下為你購買所需的物品。 智慧恆溫器是主動的人工智慧代理，它們在人們的家中越來越多地被採用，根據環境變化和它們學習到的使用者行為模式自動調整溫度（示例）。
- 擬人化：人工智慧代理可以被設計得或多或少像特定的人或人群。這方面最近的工作（示例1，示例2，示例3）集中於根據大五人格特質（開放性、盡責性、外向性、宜人性和神經質）來設計系統，將其作為人工智慧的“心理框架”（引用）。這個譜系的另一端是“數字孿生”（示例：非代理數字孿生）。我們目前還沒有了解到代理數字孿生。關於建立代理數字孿生為何特別 problematic，最近已由Salesforce 的倫理團隊以及其他機構（示例）討論過。
- 個性化：人工智慧代理可以使用符合使用者個人需求的語言或執行操作，例如，根據當前市場模式和使用者過去的投資，提供投資建議。
- 工具：人工智慧代理還可以訪問不同數量的額外資源和工具。例如，最初的人工智慧代理浪潮訪問搜尋引擎來回答查詢，此後又增加了更多工具，使其能夠操作其他技術產品，如文件和電子表格（示例1，示例2）。
- 多功能性：與上述內容相關的是代理可執行操作的多樣性。這取決於
- 適應性：與多功能性類似的是系統根據新資訊或上下文變化更新其行動序列的程度。這也被描述為“動態”和“上下文感知”。
- 行動介面：代理可以執行操作的地方。傳統聊天機器人僅限於聊天介面；基於聊天的代理還可以瀏覽網頁並訪問電子表格和文件（示例），甚至可以透過控制計算機圖形介面上的專案（例如透過移動滑鼠）來執行此類任務（示例1，示例2，示例2）。也有實際應用，例如嵌入機器人中的早期代理（示例）。
- 請求格式：人工智慧代理的一個共同主題是，使用者應該能夠輸入任務請求，而無需指定實現任務的詳細資訊。這可以透過低程式碼解決方案（示例）、文字中的人類語言或語音人類語言（示例）來實現。可以以人類語言提供請求的人工智慧代理是基於LLM的聊天機器人近期成功的自然發展：基於聊天的“人工智慧代理”比聊天機器人更進一步，因為它可以脫離聊天應用程式執行。
- 響應性：此特性是指人工智慧代理完成其行動序列所需的時間：僅僅幾秒鐘，還是更長的時間。這種效果的前兆可以在現代聊天機器人中看到。例如，ChatGPT 在幾毫秒內做出響應，而 Qwen QwQ 則需要幾分鐘，透過標記為“推理”的不同步驟進行迭代。
- 數量：系統可以是單一代理或多代理，透過協同工作、按順序工作或並行工作來滿足使用者的需求。
風險、收益和用途：基於價值的分析
為了從倫理角度審視人工智慧代理，我們根據最近人工智慧代理研究和營銷中所倡導的不同價值，對其風險和收益進行了分類。這些並非詳盡無遺，並且是人工智慧代理所基於的技術（例如LLM）已記錄的風險、危害和收益的補充。我們希望本節能有助於理解如何開發人工智慧代理，提供有關不同開發優先順序中的收益和風險的資訊。這些價值也可能為評估協議（例如紅隊演練）提供資訊。
價值：準確性
- 🙂 潛在收益：透過以可信資料為基礎，代理可以比單純依賴模型輸出時更準確。這可以透過基於規則的方法或機器學習方法（如RAG）來實現，現在正是確保準確性的新貢獻的成熟時機。
- 😟 風險：現代人工智慧代理的支柱是生成式人工智慧，它不區分真實與不真實、事實與虛構。例如，大型語言模型旨在構建流暢的文字——這意味著它們經常產生聽起來正確但非常錯誤的內容。在人工智慧代理中應用時，LLM輸出可能導致不正確的社交媒體帖子、投資決策、會議摘要等。
價值：輔助性
- 🙂 潛在收益：代理對於使用者需求而言是理想的輔助工具，它補充（而非取代）人類。理想情況下，它們可以幫助使用者提高完成任務的速度以及同時完成多項任務的效率。輔助代理還可以增強能力以最大程度地減少負面結果，例如幫助盲人使用者導航繁忙樓梯的人工智慧代理。經過良好開發以提供輔助功能的人工智慧代理可以為使用者提供更多自由和機會，幫助他們在組織中發揮積極作用，或幫助使用者在公共平臺上擴大影響力。
- 😟 風險：當代理取代人類時——例如，當人工智慧代理被用於工作場所而非人類時——這可能導致失業和經濟影響，從而進一步加劇技術創造者和為技術提供資料（通常未經同意）的人之間 Divide。此外，設計不當的輔助功能可能導致過度依賴或不適當的信任造成的危害。
價值：一致性
人工智慧代理的一個想法是它們可以幫助實現一致性，因為它們受周圍環境的影響比人類小。這可能是好事，也可能是壞事。我們不瞭解關於人工智慧代理一致性本質的嚴格工作，儘管相關工作表明許多人工智慧代理所基於的LLM高度不一致（引用1，引用2）。衡量人工智慧代理的一致性將需要開發新的評估協議，特別是在敏感領域。
- 🙂 潛在收益：人工智慧代理不會像人類那樣受到世界的影響，它們不會因情緒、飢餓、睡眠水平或對人的感知偏差而產生不一致（儘管人工智慧代理會根據訓練時使用的內容延續偏差）。多家公司已將一致性視為人工智慧代理的關鍵優勢（示例1，示例2）。
- 😟 風險：許多人工智慧代理的生成元件引入了結果的固有可變性，即使在類似情況下也是如此。這可能會影響速度和效率，因為人們必須發現並解決人工智慧代理不適當的不一致性。未被注意到的不一致性可能會造成安全問題。一致性也可能並非總是可取的，因為它可能與公平產生衝突。在不同的部署和行動鏈中保持一致性可能需要人工智慧代理記錄和比較其不同的互動——這帶來了監視和隱私風險。
價值：效率
- 🙂 潛在收益：人工智慧代理的一個賣點是它們可以幫助人們提高效率——例如，它們會為你整理文件，這樣你就可以專注於花更多時間陪伴家人或從事你認為有意義的工作。
- 😟 風險：一個潛在的缺點是，它們可能會降低人們的效率，因為試圖識別和修復代理引入的錯誤——這可能由於代理執行多個連續步驟的能力而導致複雜的連鎖問題——可能既耗時又困難，而且壓力很大。
價值：公平
人工智慧代理可能會影響情況的公平、公正和包容程度。
- 🙂 潛在收益：人工智慧代理有可能幫助“拉平競爭環境”。例如，會議助手可能會顯示每個人發言了多少時間。這可以用來促進更平等的參與或突出性別或地點之間的不平衡（示例）。
- 😟 風險：現代人工智慧代理所依賴的機器學習模型是基於人類資料訓練的；人類資料可能是不公平、不公正、排斥性的，甚至更糟。由於資料收集中的樣本偏差（例如，某些國家代表過多），也可能出現不公平的系統結果。
價值：類人性
- 🙂 潛在收益：能夠生成類人行為的系統提供了進行模擬的機會，以瞭解不同亞群如何對不同刺激做出反應。這在直接人體實驗可能造成傷害或大量模擬有助於更好地解決實驗問題的情況下特別有用。例如，合成人類行為可用於預測約會相容性，或預測經濟變化和政治變動。目前正在研究的另一個潛在好處是，類人性對於溝通便利甚至陪伴可能有用（示例）。
- 😟 風險：這種好處可能是一把雙刃劍：類人性可能導致使用者**擬人化**系統，這可能產生負面心理影響，例如過度依賴（引用）、不當信任、依賴和情感糾葛，導致反社會行為或自殘（示例）。有人擔心人工智慧代理的社互動動可能導致孤獨，但請參閱引用1，引用2以瞭解可能從社交媒體使用中獲取的細微差別。恐怖谷現象增加了另一層複雜性——隨著代理變得更像人類，但未能完美模擬人類，它們可能在使使用者中引發不安、反感或認知失調的感覺。
價值：互操作性
- 🙂 潛在收益：能夠與其他系統協同操作的系統可以為人機代理提供更大的靈活性和更多選擇。
- 😟 風險：然而，這可能會損害安全和安保，因為代理能夠影響和受其更有限的測試環境之外的系統影響的程度越大，惡意程式碼和意外問題操作的風險就越大。例如，連線到銀行賬戶以便能夠輕鬆地代表某人購買物品的代理將處於可能耗盡銀行賬戶的位置。由於這一擔憂，科技公司一直避免釋出可以自主進行購買的人工智慧代理（引用）。
價值：隱私
- 🙂 潛在收益：人工智慧代理可能會在保持交易和任務完全保密方面提供一定的隱私，除了人工智慧代理提供商可以監控的資訊之外。
- 😟 風險：為了使代理按使用者預期工作，使用者可能需要提供詳細的個人資訊，例如他們要去哪裡、與誰會面以及他們在做什麼。為了使代理能夠以個性化的方式代表使用者行事，它可能還需要訪問可用於提取更多私人資訊的應用程式和資訊源（例如，來自聯絡人列表、日曆等）。使用者可以輕易放棄對其資料的控制——以及關於其他人的私人資訊——以實現效率（如果對代理有信任，甚至更多）；如果發生隱私洩露，人工智慧代理帶來的不同內容之間的互聯互通可能會使事情變得更糟。例如，一個可以訪問電話對話和社交媒體帖子的AI代理可以將高度私密的資訊分享給全世界。
價值：相關性
- 🙂 潛在收益：建立個性化系統的動機之一是幫助確保其輸出對使用者特別相關且連貫。
- 😟 風險：然而，這種個性化可能會放大現有偏見併產生新的偏見：隨著系統適應個體使用者，它們可能會強化和加深現有偏見，透過選擇性資訊檢索建立確認偏見，並建立迴音室以固化有問題觀點。使代理對使用者更具相關性的機制——它們學習和適應使用者偏好的能力——可能會無意中延續和強化社會偏見，使得平衡個性化與負責任的人工智慧開發變得尤為困難。
價值：安全
- 🙂 潛在收益：機器人人工智慧代理可能有助於保護人類免受身體傷害，例如能夠拆除炸彈、清除毒物或在對人類有害的製造或工業環境中操作的代理。
- 😟 風險：代理行為的不可預測性意味著看似安全的單個操作可能會以潛在有害的方式組合，從而產生難以預防的新風險。（這類似於工具性收斂和回形針最大化問題。）此外，尚不清楚人工智慧代理是否會設計一個覆蓋給定防護欄的流程，或者防護欄的指定方式是否無意中製造了更多問題。因此，透過更廣泛的系統訪問、更復雜的行動鏈和減少人為監督來使代理更具能力和效率的驅動力與安全考慮相沖突。此外，訪問廣泛的介面（例如，如上文“行動介面”中所述的GUI）和類人行為使代理能夠執行與具有相同控制級別的人類使用者相似的操作，而不會觸發任何警告系統——例如操作或刪除檔案、冒充社交媒體使用者，或使用儲存的信用卡資訊為彈出的任何廣告進行購買。人工智慧代理能夠與多個系統互動以及其設計的缺乏人工監督每個行動的能力，進一步帶來了安全風險。人工智慧代理可能會共同造成不安全的結果。
價值：科學進步
目前，關於人工智慧代理究竟是人工智慧發展的根本性進步，還是我們已經擁有的技術（深度學習、啟發式和管道系統）的“重新品牌”，存在爭議。重新引入“代理”一詞作為現代人工智慧系統的總稱，這些系統具有以最少使用者輸入執行操作的共同特徵，是一種簡潔地指代近期人工智慧應用的方法。然而，該術語帶有自由和能動性的內涵，暗示人工智慧技術發生了更根本的變化。
本節列出的所有價值都與科學進步相關；其中大多數都提供了潛在收益和風險的詳細資訊。
價值：安全性
- 🙂 潛在收益：潛在收益與隱私類似。
- 😟 風險：人工智慧代理由於其處理通常敏感資料（客戶和使用者資訊）的方式，以及其安全風險（例如與多個系統互動的能力以及其設計上缺乏對每個操作的人為監督），帶來了嚴重的安全挑戰。它們可能會共享機密資訊，即使其目標是由善意使用者設定的。惡意行為者也可能劫持或操縱代理，以未經授權訪問連線的系統，竊取敏感資訊，或大規模進行自動化攻擊。例如，一個可以訪問電子郵件系統的代理可能被利用來共享機密資料，或者一個與家庭自動化整合的代理可能被入侵以破壞物理安全。
價值：速度
- 關於使用者速度
- 🙂 潛在收益：人工智慧代理可以幫助使用者更快地完成更多工，充當必須完成任務的額外助手。
- 😟 風險：然而，由於其行動中的問題（參見效率），它們也可能導致更多的工作。
- 關於系統速度
- 與大多數系統一樣，快速獲得結果可能會以犧牲其他理想特性（例如準確性、質量、低成本等）為代價。如果歷史能為接下來會發生什麼提供啟示，那麼未來可能會出現整體結果更好的慢速系統。
價值：可持續性
- 🙂 潛在收益：人工智慧代理理論上可能有助於解決與氣候變化相關的問題，例如預測野火或城市洪水的增長，同時分析交通模式，然後即時建議最佳路線和交通方式。未來的自動駕駛人工智慧代理可以直接做出此類路線決策，並可以與其他系統協調以獲取相關更新。
- 😟 風險：目前，人工智慧代理所基於的機器學習模型帶來了負面環境影響，例如碳排放（引用）和飲用水消耗（引用）。越大並非總是越好（示例），而高效的硬體和低碳資料中心可以幫助減少這種情況。
價值：信任
- 🙂 潛在收益：我們沒有發現與信任相關的人工智慧代理的任何收益。系統應該被構建為值得我們信任的，這意味著它們被證明是安全、可靠、一致的，等等。
- 😟 風險：不當信任導致人們被操縱，以及效率、類人性和真實性中詳述的其他風險。另一個風險源於LLM產生虛假資訊（稱為“幻覺”或“虛構”）的傾向：一個大部分時間都正確的系統在出錯時更容易被不當信任。
價值：真實性
- 🙂 潛在收益：我們沒有發現與真實性相關的人工智慧代理的任何收益。
- 😟 風險：人工智慧代理所基於的深度學習技術眾所周知是虛假資訊的來源（引用），例如深度偽造或錯誤資訊。人工智慧代理可以用於進一步固化此類虛假資訊，例如透過收集最新資訊並在多個平臺上釋出。這意味著人工智慧代理可以被用來提供關於真實與虛假的錯誤認知，操縱人們的信念，並擴大未經同意的私密內容的影響。人工智慧代理傳播的虛假資訊，為特定人群個性化定製，也可以被用來詐騙他們。
HF 的人工智慧代理
在 Hugging Face，我們已經開始引入人們以多種方式構建和使用人工智慧代理的能力，並以上述價值為基礎。這包括
- 我們最近釋出的 smolagents，它提供了工具、教程、導覽和概念指南；
- AI 食譜，其中包含許多型別代理的“食譜”
- 我們的 Gradio 代理使用者介面，為您構建的代理提供前端；
- 我們的gradio 程式碼編寫代理，它允許您在編碼遊樂場中即時嘗試程式碼想法。
- Jupyter Agent，一個用於在Jupyter Notebook中編寫和執行程式碼的代理。
建議與展望
當前人工智慧“代理”的技術水平在幾個明確的方向上指明瞭前進道路
- 必須設計嚴格的代理評估協議。自動基準測試可以參考上述人工智慧代理的不同維度。社會技術評估可以參考價值。
- 必須更好地理解人工智慧代理的影響。應跟蹤和分析人工智慧代理的個體、組織、經濟和環境影響，以便為它們如何進一步發展（或不發展）提供資訊。這應包括分析人工智慧代理對福祉、社會凝聚力、就業機會、資源獲取以及對氣候變化的貢獻的影響。
- 連鎖反應必須得到更好的理解。當一個使用者部署的代理與其他使用者部署的代理互動，並且它們根據彼此的輸出執行操作時，目前尚不清楚它們滿足使用者目標的能力將如何受到影響。
- 透明度和披露必須得到改善。為了實現上述價值觀的積極影響，並將負面影響降至最低，人們需要清楚地知道他們何時與代理進行互動以及該代理的自主程度。清晰地披露人工智慧代理的互動需要不僅僅是簡單的通知——它需要一種結合技術、設計和心理考慮的方法。即使當用戶明確知道他們正在與人工智慧代理互動時，他們仍然可能經歷擬人化或產生不必要的信任。這一挑戰要求透明機制在多個層面運作：在整個互動過程中持續存在的清晰的視覺和介面提示，精心設計的對話模式，定期強化代理的人工性質，以及誠實地披露代理的能力和侷限性。
- 開源可以帶來積極的變化。開源運動可以制衡人工智慧代理開發集中在少數強大組織手中的趨勢。與關於開放價值的更廣泛討論一致，透過民主化代理架構和評估協議的訪問，開放倡議可以促進更廣泛的參與，以塑造這些系統的開發和部署方式。這種協作方法不僅透過集體改進加速了科學進步，還有助於建立社群驅動的安全和信任標準。當代理開發以開放方式進行時，任何單個實體都更難為了商業利益而損害相關的重要價值觀，例如隱私和真實性。開放開發固有的透明度也創造了自然的問責制，因為社群可以驗證代理行為並確保開發與公共利益保持一致，而不是狹隘的企業目標。這種開放性在代理變得更加複雜且其社會影響越來越大時尤為重要。
- 開發者可能會建立更具代理性的“基礎模型”。根據當前的趨勢和研究模式，這是顯而易見的，並非我們提供的倫理相關建議。當前的代理技術利用了計算機科學中一系列近期和較舊的技術——近期未來的研究可能會嘗試將代理模型訓練成一個單一的通用模型，一種多模態模型++：訓練其執行操作，同時學習建模文字、影像等。
致謝
我們感謝布魯納·特雷維林（Bruna Trevelin）、奧賴恩·彭納（Orion Penner）和艾梅利克·魯謝（Aymeric Roucher）為本文做出的貢獻。
