新智元報道
(資料圖片僅供參考)
近幾年，多模態(tài)生成模型進步很快。一句指令就能生成圖片、視頻、音頻、網(wǎng)頁、UI、分鏡，甚至整套演示文稿。只看成品，創(chuàng)作門檻似乎已經(jīng)大幅降低。
真正的創(chuàng)作卻很少是「一句話換一個結(jié)果」。一支短片要經(jīng)歷故事梗概、角色設(shè)定、鏡頭規(guī)劃、參考圖、候選畫面、視頻片段、配音和音樂等環(huán)節(jié)；一個網(wǎng)站離不開視覺參考、頁面結(jié)構(gòu)、交互邏輯、代碼實現(xiàn)、預(yù)覽檢查和多輪修改；一套PPT也要兼顧內(nèi)容篩選、敘事組織、版式設(shè)計、圖示生成與跨頁風(fēng)格統(tǒng)一。
這些中間材料不是可以隨手丟棄的副產(chǎn)品。它們共同構(gòu)成持續(xù)變化的項目狀態(tài)：哪些素材已經(jīng)采用，哪些版本被否決，某張圖來自哪組參考，某個鏡頭是否完成，以及用戶剛提出的反饋會影響哪個局部。Agent要繼續(xù)推進項目，就必須讀懂并維護這套狀態(tài)。
現(xiàn)有系統(tǒng)的三點局限
1、Prompt-to-Output工具：擅長快速產(chǎn)出單個素材，但中間嘗試、失敗版本和依賴關(guān)系往往被隱藏或丟棄。到了下一輪，創(chuàng)作者常常只能重新交代上下文。
2、聊天式Agent：能夠連續(xù)對話和調(diào)用工具，但主要上下文仍是一條線性的聊天記錄。素材一多，空間布局、版本分支和引用關(guān)系便很難在對話中說清楚。
3、節(jié)點式工作流：執(zhí)行步驟清晰可見，卻通常需要人工預(yù)先搭建固定流程。節(jié)點描述的是「怎樣運行」，未必能承載一個供Agent持續(xù)讀取、修改和擴展的創(chuàng)作項目。
現(xiàn)有創(chuàng)作系統(tǒng)與JarvisHub的對比。從孤立工具與固定流程，走向可持續(xù)維護的共享項目狀態(tài)。
真正難的問題已不只是「怎樣接入更強的模型」，而是怎樣給Agent一個可以長期讀寫、供用戶隨時檢查，并能在失敗后恢復(fù)的工作空間。
國內(nèi)外多所頂尖高校聯(lián)合推出的JarvisHub正是為這個問題而設(shè)計，一句需求只是創(chuàng)作的起點。
項目鏈接：https://www.jarvishub.site/
演示鏈接：https://youtu.be/rHUQ5YgjGLw
論文鏈接：https://github.com/LYL1015/JarvisHub/blob/main/docs/paper/jarvishub_paper.pdf
代碼鏈接：https://github.com/LYL1015/JarvisHub
在JarvisHub中，Agent會圍繞同一個項目整理參考、生成候選、維護版本、檢查結(jié)果，逐步完成圖片、視頻、網(wǎng)頁和演示文稿等多模態(tài)交付物。
JarvisHub的代表性創(chuàng)作案例。從敘事媒體、交互式網(wǎng)站到完整演示文稿，Agent在同一張Canvas上持續(xù)規(guī)劃、生成、檢查與修改。
上圖對應(yīng)三類典型場景：JarvisHub不是用完即走的內(nèi)容生成工具，而是一套幫助Agent持續(xù)推進并完成項目的開放式創(chuàng)作工作臺。
它是一套面向長程多模態(tài)創(chuàng)作的Canvas-Native Creative Agent Harness。畫布在這里不只是展示最終素材的界面，也是用戶與Agent共享的項目狀態(tài)。
在JarvisHub中，提示詞、參考圖片、候選結(jié)果、版本關(guān)系、編輯記錄、依賴鏈路和用戶反饋都會以可尋址的Canvas節(jié)點與連接保存下來。
Agent可以讀取當(dāng)前畫布，判斷接下來要做什么，調(diào)用合適的工具，再把結(jié)果寫回同一張畫布。用戶看到的，正是Agent正在操作的項目狀態(tài)。
畫布不只是界面，也是Agent的外部記憶、行動空間和共享工作臺。
技術(shù)核心亮點
1. Canvas-Native Project State：把整個創(chuàng)作項目顯式保存下來
JarvisHub將創(chuàng)作項目表示為一個可編輯的多模態(tài)資產(chǎn)圖。每個提示詞、參考圖、視頻片段、網(wǎng)頁預(yù)覽或PPT頁面，都是具有穩(wěn)定ID的節(jié)點；素材之間的引用、版本繼承、生成依賴、分組關(guān)系和流程延續(xù)，則由不同類型的邊連接起來。
有了這套表示，Agent可以準(zhǔn)確指向具體素材，不必依賴「剛才那張圖」之類的模糊描述；中間結(jié)果也能在后續(xù)階段繼續(xù)作為輸入。節(jié)點之間的依賴同樣可供檢查，用戶可以追溯某個結(jié)果用了哪些參考、經(jīng)過了哪些操作。
2. Protocol Bridge：讓每一次畫布修改都可控、可驗證、可恢復(fù)
在長程任務(wù)中，如果Agent可以隨意修改項目狀態(tài)，就可能覆蓋有效版本、誤刪依賴，或在證據(jù)不足時貿(mào)然繼續(xù)。為此，JarvisHub在Agent與Canvas之間設(shè)置了Protocol Bridge。
每輪開始時，Bridge會告訴Agent當(dāng)前項目允許使用的節(jié)點類型、操作、工具和素材句柄，并據(jù)此生成本輪的Execution Grant。一個動作只有與當(dāng)前任務(wù)相關(guān)、存在于能力清單、獲得本輪授權(quán)且能通過協(xié)議提交，才會執(zhí)行。
換言之，Agent的動作不會隱藏在語言生成中。它創(chuàng)建了什么節(jié)點、更新了哪個字段、連接了哪些依賴、工具返回了什么證據(jù)，都會成為可檢查的狀態(tài)變更。
3. Agent Runtime：統(tǒng)一調(diào)度工具、技能、記憶和子Agent
JarvisHub的Runtime把用戶目標(biāo)轉(zhuǎn)化為具體動作。它先觀察畫布狀態(tài)，根據(jù)當(dāng)前權(quán)限選擇下一步，再調(diào)用相應(yīng)能力，并將結(jié)果提交回畫布。
工具家族：覆蓋Canvas操作，圖像、視頻和音頻生成，本地瀏覽器、文件與代碼處理，驗證與修復(fù)，以及遵循同一協(xié)議的MCP擴展。
Skills：封裝分鏡設(shè)計、參考圖生成、Design-to-Web、視頻提示詞編寫和演示文稿構(gòu)建等可復(fù)用流程。
Memory：保留用戶偏好、已經(jīng)確認(rèn)的決定和過程經(jīng)驗，減少長任務(wù)中的前后風(fēng)格漂移。
Subagents：分別探索可以并行處理的獨立子任務(wù)，再由主Agent選擇結(jié)果并合并。
4. Feedback & Trajectory：讓反饋真正改變下一步行動
在JarvisHub中，反饋不只是最終評分。用戶的選擇、拒絕和局部修改，以及評估器發(fā)現(xiàn)的缺陷，都會影響Agent的下一步：沿用已有結(jié)果、局部修復(fù)失敗節(jié)點、請求澄清，或在證據(jù)不足時停止。
系統(tǒng)同時記錄完整軌跡，包括用戶請求、執(zhí)行前的Canvas狀態(tài)、能力清單、授權(quán)范圍、Agent動作、工具觀察、反饋信號、修復(fù)決策和更新后的狀態(tài)。這樣一來，可供分析的不只有最終作品，還有作品形成的過程。
方法詳解
1. 三層核心架構(gòu)：Canvas State、Protocol Bridge與Agent Runtime
JarvisHub的整體架構(gòu)分為三層。Canvas State保存多模態(tài)資產(chǎn)、依賴關(guān)系、版本選擇和用戶決策；Protocol Bridge管理身份與項目上下文、能力清單、執(zhí)行授權(quán)和狀態(tài)變更驗證；Agent Runtime負(fù)責(zé)觀察、推理、技能路由、工具編排和結(jié)果合并。
JarvisHub總體架構(gòu)。三層核心組件下方統(tǒng)一記錄軌跡、評估信號、人工編輯與檢查點。
三層組件圍繞同一張Canvas形成閉環(huán)：Canvas向Agent提供當(dāng)前項目狀態(tài)，Bridge限制并驗證可執(zhí)行動作，Runtime完成工具調(diào)用，新生成的素材與狀態(tài)隨后返回Canvas。
2. 畫布如何表示一個持續(xù)演化的創(chuàng)作項目
在形式化定義中，JarvisHub將第t輪的項目狀態(tài)寫成Ct = (Gt, Xt, Mt, Ut, Lt)。其中Gt是有類型的資產(chǎn)圖；Xt保存可編輯內(nèi)容和素材本體；Mt保存來源、執(zhí)行元數(shù)據(jù)和運行狀態(tài)；Ut記錄用戶的選擇、修改和反饋；Lt則保存節(jié)點位置與分組布局。
每個Canvas節(jié)點不僅包含輸入和輸出，還保留穩(wěn)定標(biāo)識、節(jié)點類型、位置、來源信息和運行狀態(tài)。因此，系統(tǒng)可以區(qū)分「計劃中」「運行中」「已完成」「已選中」「失敗」或「尚未驗證」的素材，并據(jù)此決定后續(xù)流程。
3. 一輪Agent執(zhí)行是如何完成的
如圖4所示，一輪執(zhí)行從用戶請求開始。Runtime先觀察共享Canvas，在當(dāng)前Capability Manifest與Execution Grant的約束下選擇動作，再調(diào)用Skills、Memory、Tools或Subagents完成任務(wù)。工具結(jié)果經(jīng)Protocol Bridge驗證后，提交到共享Canvas。
Agent Runtime Loop。觀察Canvas—選擇動作—調(diào)用能力—返回觀察—協(xié)議校驗—提交更新。
用戶可以直接檢查畫布上的新結(jié)果，選擇候選、調(diào)整局部內(nèi)容或提出新反饋。下一輪Agent讀取的不再是一段壓縮后的聊天摘要，而是已經(jīng)更新的項目狀態(tài)，因而能夠沿著現(xiàn)有進度繼續(xù)工作。
4. 從全局重做轉(zhuǎn)向局部恢復(fù)
復(fù)雜創(chuàng)作中的局部失敗，并不意味著整個項目都要推倒重來。JarvisHub會顯式保存狀態(tài)與依賴，系統(tǒng)因而可以定位具體的失敗節(jié)點，并按反饋進行局部修復(fù)。
例如，某個視頻鏡頭生成失敗時，Agent可以保留已經(jīng)確認(rèn)的角色參考、場景設(shè)計和其他鏡頭，只重新生成出錯的片段；網(wǎng)頁交互出現(xiàn)問題時，也可以沿用視覺方向與已有頁面，僅修改對應(yīng)的代碼和預(yù)覽節(jié)點。這種基于項目狀態(tài)的局部恢復(fù)，能明顯減少長程創(chuàng)作中的重復(fù)工作。
實驗結(jié)果
三個長程創(chuàng)作案例
論文選取了三個具有代表性的任務(wù)來檢驗JarvisHub的長程創(chuàng)作能力：敘事媒體生成、交互式網(wǎng)頁開發(fā)和演示文稿生成。它們分別考驗跨鏡頭一致性、設(shè)計與代碼協(xié)同，以及跨頁面的內(nèi)容與視覺統(tǒng)一。
1. 敘事媒體生成：從一句故事設(shè)定到連續(xù)鏡頭
第一個案例要求系統(tǒng)圍繞「牛仔機器人僵尸拾荒者」制作一段短劇。Canvas同時保存任務(wù)描述、故事規(guī)劃、視覺參考、鏡頭候選、依賴關(guān)系和生成進度。Agent可以沿用已經(jīng)確定的角色與場景繼續(xù)制作后續(xù)鏡頭，不必每次重新描述人物外觀。
敘事媒體生成案例。上方為Canvas工作軌跡，下方為連續(xù)關(guān)鍵幀結(jié)果。
最終關(guān)鍵幀中的角色、環(huán)境和動作線索在多個鏡頭之間保持了較好的連續(xù)性。鏡頭背后的規(guī)劃和素材關(guān)系也被完整保留，用戶可以隨時回到中間節(jié)點調(diào)整。
2. 交互式網(wǎng)頁開發(fā)：讓設(shè)計參考、代碼與預(yù)覽處在同一項目中
第二個案例是創(chuàng)建一個輕盈、具有Awwwards風(fēng)格和豐富動畫的個人攝影網(wǎng)站。傳統(tǒng)聊天式Agent常把參考圖、代碼和預(yù)覽分散在不同消息或工具頁面中；JarvisHub則把視覺參考、布局草稿、實現(xiàn)文件、渲染預(yù)覽和修改狀態(tài)放在同一張Canvas上管理。
交互式網(wǎng)頁開發(fā)案例。Canvas同步管理視覺方向、實現(xiàn)過程與最終頁面預(yù)覽。
最終頁面在字體、圖片排布、頁面結(jié)構(gòu)和整體視覺方向上保持一致。Agent不只生成代碼，還能檢查渲染結(jié)果，并根據(jù)預(yù)覽繼續(xù)修改。
3. 演示文稿生成：跨頁敘事與視覺風(fēng)格的一致維護
第三個案例要求圍繞機器學(xué)習(xí)中的決策樹，制作一套具有Stanford課程風(fēng)格的演示文稿。任務(wù)從內(nèi)容結(jié)構(gòu)規(guī)劃開始，隨后生成圖示、組織頁面、制作PPT，并檢查多頁預(yù)覽。
演示文稿生成案例。Canvas記錄內(nèi)容規(guī)劃、圖示、頁面草稿、依賴關(guān)系與最終PPT預(yù)覽。
最終生成的多頁交付物在版式、圖示風(fēng)格、強調(diào)色和內(nèi)容層級上保持一致。相比單獨生成某一頁，JarvisHub更關(guān)注整套演示文稿如何逐步形成。
為什么JarvisHub值得關(guān)注
1. 從「最終結(jié)果評測」走向「項目過程評測」
對創(chuàng)作任務(wù)來說，只看最終結(jié)果不足以判斷Agent的能力。一個看起來不錯的成品，背后的過程可能脆弱且無法復(fù)現(xiàn)；一個尚不完美的結(jié)果，也可能保留了大量可復(fù)用的中間資產(chǎn)和正確決策。
有了完整軌跡，研究者可以進一步評估上下文保持、工具選擇、依賴正確性、反饋遵循和修復(fù)成功率。未來的Creative Agent Benchmark也不必局限于一個Prompt和目標(biāo)答案，而可以同時給出初始Canvas、參考材料、約束、反饋事件與檢查點。
2. 為Creative Agent提供可積累的數(shù)據(jù)飛輪
每次運行都會留下結(jié)構(gòu)化的Canvas狀態(tài)、Agent動作、工具觀察、反饋和修復(fù)決策。經(jīng)過用戶授權(quán)、匿名化、版權(quán)過濾和質(zhì)量控制后，這些軌跡有望成為訓(xùn)練未來Creative Agent的重要數(shù)據(jù)來源。
模型不僅可以學(xué)習(xí)「最后應(yīng)該生成什么」，還可以學(xué)習(xí)如何規(guī)劃、何時調(diào)用工具、怎樣維護多模態(tài)狀態(tài)、何時局部修復(fù)，以及如何根據(jù)人類反饋繼續(xù)推進項目。
3. 一個開放的研究Harness，而不是新的封閉創(chuàng)作產(chǎn)品
近期商業(yè)產(chǎn)品已顯露出Agent輔助創(chuàng)作的趨勢，但封閉架構(gòu)使研究者難以了解其內(nèi)部如何表示項目狀態(tài)、檢查動作、調(diào)度工具和恢復(fù)失敗。JarvisHub的目標(biāo)不是再做一個只展示結(jié)果的封閉產(chǎn)品，而是開放這些關(guān)鍵機制，為長程創(chuàng)作Agent研究提供基礎(chǔ)設(shè)施。
結(jié)語與展望
JarvisHub把創(chuàng)作畫布從靜態(tài)界面變成Agent的共享項目狀態(tài)。Canvas State、Protocol Bridge和Agent Runtime將多模態(tài)素材、版本依賴、工具調(diào)用、反饋與恢復(fù)納入同一工作空間，使Creative Agent能夠持續(xù)推進任務(wù)，并讓過程可檢查、可干預(yù)。
核心貢獻包括：
Canvas-Native狀態(tài)表示：將提示詞、參考、素材、版本、依賴和反饋組織成可編輯的多模態(tài)資產(chǎn)圖。
協(xié)議約束的Agent執(zhí)行：通過能力清單、執(zhí)行授權(quán)和狀態(tài)驗證，使每次畫布修改都顯式、可追蹤、可恢復(fù)。
面向長程創(chuàng)作的Runtime：統(tǒng)一編排Canvas、生成、本地執(zhí)行、修復(fù)和MCP工具，并結(jié)合Skills、Memory與Subagents推進復(fù)雜項目。
過程級軌跡記錄：為后續(xù)的Agent Benchmark、過程評估和軌跡訓(xùn)練提供結(jié)構(gòu)化數(shù)據(jù)。
JarvisHub后續(xù)仍需補充更系統(tǒng)的量化評測，并繼續(xù)研究創(chuàng)作決策的語義正確性、跨模型工具協(xié)作和軌跡數(shù)據(jù)治理。它所指向的問題已經(jīng)十分明確：生成模型越來越強之后，Creative Agent不僅要會生成內(nèi)容，還要能在共享、可編輯、可恢復(fù)的項目狀態(tài)中持續(xù)工作。
參考資料：
https://www.jarvishub.site/
編輯：LRST