🦸🏻#1: 開放性與人工智慧代理——從生成式人工智慧到創造性人工智慧的道路？
這個非傳統的關於人工智慧代理和代理工作流的系列文章，我們將從開放性的介紹和討論開始，將其作為一種進化的創造方法。
引言
人工智慧代理。代理工作流。自主代理。智慧代理。數字代理。任務型代理。智慧代理。副駕駛。人工智慧角色。人工智慧助手。具身代理等。
代理這個話題現在非常熱門，以至於沒有人知道它們的正確術語是什麼。更重要的是，在機器學習中，代理的概念最初的含義與今天人工智慧中的含義不同。在這個關於代理系統和工作流的系列文章中，我們將澄清這些術語並正本清源。圍繞這個話題確實有很多困惑和問題。從理論框架到實際應用，從當前創新到未來潛力，再到政策和路線圖，我們將涵蓋所有內容。
我們不知道通用人工智慧（AGI）是否在這一旅程的終點，但我們會對它保持開放態度。為了強調這一點，我們將以開放性來開始我們的系列文章；）這是我們讀者在這裡建議的主題之一。
在今天的章節中：
- 為什麼開放性在人工智慧代理的背景下很重要？
- 歷史背景：人工智慧開放性的顯著里程碑
- 我們今天所說的開放性是什麼意思
- 開放性可以解決當前人工智慧的哪些侷限
- 開放性的承諾：從生成到創造
- 跨領域的影響
- 實現開放式人工智慧的挑戰
- 結論
- 額外福利：資源（真正的寶藏）
如果您想直接在收件箱中收到我們的文章，請在此訂閱
為什麼開放性在人工智慧代理的背景下很重要？
簡單來說，開放式系統沒有明確的邊界，這意味著它們有潛力生成超出原先程式設計或預期的全新想法和解決方案。這種缺乏固定限制的特點允許系統內部進行持續的探索、發現，甚至策略和行為的演化。在人工智慧領域，開放性對於推動創造力、創新和問題解決的極限至關重要——隨著人工智慧系統處理更復雜的現實世界挑戰，這些特質的價值也日益凸顯。
開放式系統透過避免有限的結果集或目標，與傳統模型區別開來。相反，它們隨著新資料或場景的出現而演變和適應，有可能發現透過傳統方法無法獲得的解決方案。這種探索未知和重新定義可能性的能力與代理系統等領域的關鍵突破相符。
透過擁抱開放性，我們可以挖掘人工智慧不可預測的潛力——從而使系統不僅能適應，還能以革新設計、藝術、科學和工程等行業的方式進行自我創新。
最近的一些研究，例如Google DeepMind團隊的《開放性對於人工超人智慧至關重要》以及Chris Lu等人撰寫的《AI科學家：邁向全自動開放式科學發現》，提出了幾個令人信服的觀點，並論證了開放性對AI代理的實用性。
歷史背景：人工智慧開放性的重要里程碑（不完全列舉）
可以說，開放式人工智慧的旅程始於諾伯特·維納。在20世紀40年代末，他關於控制論的開創性工作引入了自調節系統的概念。透過關注反饋迴圈——能夠透過與環境互動而進化的系統——他為我們現在認為的開放式人工智慧奠定了基礎。具有諷刺意味的是，維納本人對人工智慧持懷疑態度。正如我們在“LLM歷史”系列中提到的，考慮到語言的模糊性質及其情感內涵，他懷疑機械翻譯的可行性。
大約在同一時期及之後，約翰·馮·諾伊曼和艾倫·圖靈也探索了超越預定義任務的機器能力。馮·諾伊曼的自我複製自動機和圖靈的理論通用機器暗示，透過正確的程式設計，機器可以以非顯式編碼的方式進化和適應。需要注意的是，他們主要關注的並非我們今天所理解的開放式人工智慧。他們的貢獻更多是關於機器的理論能力，而非複雜自適應系統中的演化行為。但諾伊曼是第一個考慮自我複製自動機的人，圖靈是第一個提出機器能否思考的人。兩者現在都是開放性討論的一部分。
到1960年代中期，約翰·霍蘭德的遺傳演算法將進化原理引入計算領域，模擬自然選擇以在多代中進化解決方案。這些演算法展示了持續改進——這是開放式系統的關鍵特徵。
在20世紀80年代和90年代，人工智慧生命（ALife）運動進一步推進了這些思想。克里斯托弗·蘭頓和托馬斯·雷等研究人員開發了數字環境，虛擬生物可以在其中獨立進化。雷的Tierra模擬，其中數字實體相互競爭和進化，成為計算環境中展示開放性的里程碑。
Ian Goodfellow於2014年引入的生成對抗網路（GANs）為開放系統增添了新的維度。GANs使用兩個神經網路——一個生成器和一個判別器——它們相互競爭以建立越來越真實的資料，這說明了人工智慧如何在廣闊的開放空間中探索和生成新穎的結果。
最後，DeepMind 的 AlphaGo 在 2016 年通過出人意料的策略擊敗了世界級圍棋選手，徹底改變了該領域。AlphaGo 將強化學習與深度學習相結合，不僅掌握了圍棋遊戲，還開發出前所未見的策略。其在沒有明確程式設計的情況下解決複雜問題的創新能力，凸顯了人工智慧系統中開放式探索的力量。
我們今天所說的開放性是什麼意思
人工智慧中的開放性指的是系統在沒有預設限制的情況下，持續生成新穎和不可預測行為、解決方案或結果的能力。有人認為，如果沒有這種能力，實現和超越人類水平的智慧——無論是通用人工智慧（AGI）、超人工智慧（ASI）還是其他形式——都將遙不可及。
與在固定規則內運作的傳統人工智慧不同，開放式系統會演變和適應，以其創造者都無法預期的方式探索可能性。這推動人工智慧超越靜態任務，進入動態、演變的情景，這與人類學習非常相似。
在他們的研究中，Google DeepMind 團隊認為開放性是觀察者依賴的，這意味著一個系統要被認為是開放的，它需要從觀察者的角度產生既新穎又可學習的工件。
“觀察者”時刻很重要，否則衡量或定義開放性將變得極具挑戰性，因為其解釋在大多數情況下都帶有一定的主觀性。人們對創新的價值判斷（創新是開放性的關鍵）可能因個人觀點或情境而異（例如，如果人類能夠飛行，飛機就不會那麼受青睞）。
開放性可以解決當前人工智慧的哪些侷限
- 傳統人工智慧系統通常旨在解決特定問題。
- 它們通常能快速收斂到最優解決方案，然後停止產生進一步的新穎性或複雜性。
- 這種以目標為導向的方法限制了它們持續創造的潛力。
開放性的承諾：從生成到創造（從生成式人工智慧到創造性人工智慧）
開放性有望透過促進持續創造力來超越這些限制，從單純的生成（生成式人工智慧）過渡到真正的創造性人工智慧。2023年末，英偉達的 Voyager（Minecraft 中的一個基於 LLM 的代理）就是一個顯著的例子。Voyager 展示了開放式能力，無需人工輸入即可探索、獲取技能和進行發現。它使用 GPT-4 迭代生成可執行程式碼，透過試錯來完善其技能。Voyager 的表現優於之前的基準，收集了多出 3.3 倍的獨特物品，移動了多出 2.3 倍的距離，並以高達 15.3 倍的速度解鎖了關鍵里程碑。
Sakana AI 和其他人工智慧實驗室的最新研究，在《人工智慧科學家：邁向全自動開放式科學發現》中展示了將開放性融入代理工作流的價值。他們將開放式演算法應用於現實世界的問題：科學研究，超越了理論範疇。
AI科學家是一個開創性的框架，旨在實現科學研究的端到端自動化。它的獨特之處在於能夠以開放式的方式探索研究——生成新想法，對其進行測試，並在此基礎上構建先前的發現，而無需人工干預。本質上，它模仿了整個科學過程：生成研究想法，編寫實驗程式碼，進行這些實驗，分析結果，並將所有內容記錄在報告中。
該系統最令人印象深刻的方面之一是它能夠跨不同機器學習領域操作，例如擴散模型和語言模型。AI科學家的開放性使其能夠持續完善和改進其想法，從而可能加速科學突破。
儘管有些人批評“AI科學家”生成的論文質量低下，但這些評論家忽略了重點。正如Luigi Acerbi所觀察到的
人工智慧科學家代表著建立能夠處理複雜、多步驟任務的人工智慧代理的第一步。它有可能透過降低成本和人力勞動，同時使研究更易於獲取，從而極大地加速科學進步。人工智慧自主探索新科學思想的潛力開啟了無限的可能性，徹底改變了我們跨各個領域進行發現的方式。
跨領域的影響
開放性還能在哪些方面發揮作用？簡單來說：任何需要想象力的地方。以下是一些我希望看到進展的領域：
新穎設計與工程： 開放式人工智慧可以自主生成產品、建築和技術的創新設計。想象一下，如果自動駕駛汽車也能為自身設計以實現最佳效能，它們收集的龐大資料中，人類肯定會遺漏一些東西。
科學： 人工智慧驅動的突破，例如為生物學和健康研究生成新型蛋白質的 AlphaProteo，已經改變了該領域。面對氣候變化等尚未解決的挑戰，人工智慧可能是開發新解決方案的完美工具。
教育和學習： 進步的速度如此之快，以至於學校課程很快就會過時。開放式人工智慧可以透過提供更個性化的學習體驗來改變教育。它可以將基礎知識與即時更新相結合，根據個體學生調整課程，並協助教師識別學生 struggling 的領域，最終創造一個更具支援性和響應性的學習環境。
代理工作流： 如果沒有開放性，每個代理都只是一個高階自動化工具。真正的開放性允許代理超越簡單的自動化，突破界限，探索新的可能性。
實現開放式人工智慧的挑戰
定義開放性所需的條件很複雜，需要重新思考傳統的進化和人工智慧正規化。開放式系統旨在生成新穎的、創造性的解決方案，而沒有預設目標，但當人工智慧模型僅僅透過蠻力——依靠大量的嘗試而非真正的洞察或推理——產生最優結果時，一個關鍵問題就出現了。
OpenAI O1 模型的一位貢獻者描述的一項實驗突出了這個問題，該模型旨在在回答之前“思考”。儘管其推理能力有所提高，但該模型在複雜的任務（如競技程式設計）中表現不佳，CodeForces 評分為 1800。然而，透過對每個問題執行模型 10,000 次並篩選出最佳嘗試，它偶爾會透過偶然解決這些問題，達到與 IOI 金牌級競爭者相當的結果。這凸顯了核心問題：AI 可以達到成功的解決方案，但通常透過試錯，這在計算上昂貴且耗時。
因此，挑戰是雙重的。首先，如何設計人工智慧模型，使其能夠探索無限的可能性，而不僅僅依賴蠻力？其次，如何改進這些系統，使其能夠更快地識別並優先選擇高質量的解決方案，而無需試錯法的低效率？這些問題突顯了使人工智慧不僅具有創造性，而且高效的技術障礙。推動模型改進推理和決策能力，同時保持其開放式探索的能力，是解決這一問題的關鍵。
結論
自然進化緩慢，人類亦是如此。然而，如果我們將真正的開放性嵌入到我們的機器中，並賦予它們巨大的計算資源，我們就能以遠超我們自身速度的規模，徹底提升創造力。
但我們真的需要這種加速嗎？考慮到自然和人類進步的平衡和深思熟慮的速度，這是一個公平的問題。透過擺脫針對特定問題的最佳化，人工智慧系統——特別是代理工作流中的代理——可以開始模仿自然進化中無限的創造力。這將涉及重新思考我們如何設計這些代理，超越基於任務的自動化，轉向開放式探索，其中持續學習和自我創新是關鍵。
將開放性融入人工智慧代理意味著在其工作流中擁抱持續的新穎性和不可預測性。這些代理將不再侷限於預定義的 goals，而是主動尋求新的挑戰和解決方案。
額外福利：資源
- 開放性對於人工超人智慧至關重要 (論文) (2024)
- 人工智慧科學家：邁向全自動開放式科學發現 (論文) (2024)
- OMNI: 透過人類有趣性概念模型實現開放性 (論文) (2024)
- OMNI-EPIC: 藉助人類有趣性概念模型和程式碼程式設計環境實現開放性 (論文) (2024)
- Voyager：一個具有大型語言模型的開放式具身代理 (論文) (2023)
- 開放式學習帶來通用型代理 (論文) (2021)
- AI2 具身人工智慧系列講座 (影片) (2022)
- 開放性：人工智慧的一個新的巨大挑戰 (影片) (2019)
- 開放性：你從未聽說過的最後一個重大挑戰 (部落格) (2017)
- 生成對抗網路 作者：伊恩·古德費洛 (論文) (2014)
- 托馬斯·雷的出版物 (精選)
- 克里斯托弗·蘭頓的細胞自動機人工生命研究 (文章) (1986)
- 約翰·霍蘭德的遺傳演算法 (論文) (1960年代中期)
- 約翰·馮·諾伊曼的自複製自動機理論 (1966年死後出版的著作)
- 計算機器與智慧 作者：艾倫·圖靈 (著作) (1950)
- 控制論：或動物與機器中的控制與通訊 作者：諾伯特·維納 (著作) (1948)
*最初發表於 Turing Post。您可以在此處訂閱我們的時事通訊。
