Crypto AI的圣杯：Decentralization訓練的前沿探索
作者：JacobZhao來源：mirror，zhaotaobo.eth
在AI的全價值鏈中，模型訓練是資源消耗最大、技術門檻最高的環(huán)節(jié)，直接決定了模型的能力上限與實際應用效果。相比推理階段的輕量級調用，訓練過程需要持續(xù)的大規(guī)模算力投入、復雜的數(shù)據(jù)處理流程和高強度的優(yōu)化算法支持，是AI系統(tǒng)構建的真正“重工業(yè)”。從架構范式來看，訓練方式可劃分為四類：集中化訓練、分布式訓練、聯(lián)邦學習以及本文重點討論的去中心化訓練。
集中化訓練是最常見的傳統(tǒng)方式，由單一機構在本地高性能集群內完成全部訓練流程，從硬件（如NVIDIAGPU）、底層軟件（CUDA、cuDNN）、集群調度系統(tǒng)（如Kubernetes），到訓練框架（如基于NCCL后端的PyTorch）所有組件都由統(tǒng)一的控制系統(tǒng)協(xié)調運行。這種深度協(xié)同的體系結構使得內存共享、梯度同步和容錯機制的效率達到最佳，非常適合GPT、Gemini等大規(guī)模模型的訓練，具有效率高、資源可控的優(yōu)勢，但同時存在數(shù)據(jù)壟斷、資源壁壘、能源消耗和單點風險等問題。
分布式訓練（DistributedTraining） 是當前大模型訓練的主流方式，其核心是將模型訓練任務拆解后，分發(fā)至多臺機器協(xié)同執(zhí)行，以突破單機計算與存儲瓶頸。盡管在物理上具備“分布式”特征，但整體仍由中心化機構控制調度與同步，常運行于高速局域網(wǎng)環(huán)境中，通過 NVLink 高速互聯(lián)總線技術，由主節(jié)點統(tǒng)一協(xié)調各子任務。主流方法包括：
數(shù)據(jù)并行（DataParallel）：每個節(jié)點訓練不同數(shù)據(jù)參數(shù)共享，需匹配模型權重
模型并行（ModelParallel）：將模型不同部分部署在不同節(jié)點，實現(xiàn)強擴展性；
管道并行（PipelineParallel）：分階段串行執(zhí)行，提高吞吐率；
張量并行（TensorParallel）：精細化分割矩陣計算，提升并行粒度。
分布式訓練是“集中控制+分布式執(zhí)行”的組合，類比同一老板遠程指揮多個“辦公室”員工協(xié)作完成任務。目前幾乎所有主流大模型（GPT-4、Gemini、LLaMA等）都是通過此方式完成訓練。
去中心化訓練（DecentralizedTraining） 則代表更具開放性與抗審查特性的未來路徑。其核心特征在于：多個互不信任的節(jié)點（可能是家用電腦、云端GPU或邊緣設備）在沒有中心協(xié)調器的情況下協(xié)同完成訓練任務，通常通過協(xié)議驅動任務分發(fā)與協(xié)作，并借助加密激勵機制確保貢獻的誠實性。該模式面臨的主要挑戰(zhàn)包括：
設備異構與切分困難：異構設備協(xié)調難度高，任務切分效率低；
通信效率瓶頸：網(wǎng)絡通信不穩(wěn)定，梯度同步瓶頸明顯；
可信執(zhí)行缺失：缺乏可信執(zhí)行環(huán)境，難以驗證節(jié)點是否真正參與計算；
缺乏統(tǒng)一協(xié)調：無中央調度器，任務分發(fā)、異?；貪L機制復雜。
去中心化訓練可以理解為：一群全球的志愿者，各自貢獻算力協(xié)同訓練模型，但“真正可行的大規(guī)模去中心化訓練”仍是一項系統(tǒng)性的工程挑戰(zhàn)，涉及系統(tǒng)架構、通信協(xié)議、密碼安全、經(jīng)濟機制、模型驗證等多個層面，但能否“協(xié)同有效+激勵誠實+結果正確”尚處于早期原型探索階段。
聯(lián)邦學習（FederatedLearning） 作為分布式與去中心化之間的過渡形態(tài)，強調數(shù)據(jù)本地保留、模型參數(shù)集中聚合，適用于注重隱私合規(guī)的場景（如醫(yī)療、金融）。聯(lián)邦學習具有分布式訓練的工程結構和局部協(xié)同能力，同時兼具去中心化訓練的數(shù)據(jù)分散優(yōu)勢，但仍依賴可信協(xié)調方，并不具備完全開放與抗審查的特性?？梢钥醋魇窃陔[私合規(guī)場景下的一種“受控去中心化”方案，在訓練任務、信任結構與通信機制上均相對溫和，更適合作為工業(yè)界過渡性部署架構。AI訓練范式全景對比表（技術架構×信任激勵×應用特征）
從訓練范式來看，去中心化訓練并不適用于所有任務類型。在某些場景中，由于任務結構復雜、資源需求極高或協(xié)作難度大，其天然不適合在異構、去信任的節(jié)點之間高效完成。例如大模型訓練往往依賴高顯存、低延遲與高速帶寬，難以在開放網(wǎng)絡中有效切分與同步；數(shù)據(jù)隱私與主權限制強的任務（如醫(yī)療、金融、涉密數(shù)據(jù)）受限于法律合規(guī)與倫理約束，無法開放共享；而缺乏協(xié)作激勵基礎的任務（如企業(yè)閉源模型或內部原型訓練）則缺少外部參與動力。這些邊界共同構成了當前去中心化訓練的現(xiàn)實限制。
但這并不意味著去中心化訓練是偽命題。事實上，在結構輕量、易并行、可激勵的任務類型中，去中心化訓練展現(xiàn)出明確的應用前景。包括但不限于：LoRA微調、行為對齊類后訓練任務（如RLHF、DPO）、數(shù)據(jù)眾包訓練與標注任務、資源可控的小型基礎模型訓練，以及邊緣設備參與的協(xié)同訓練場景。這些任務普遍具備高并行性、低耦合性和容忍異構算力的特征，非常適合通過P2P網(wǎng)絡、Swarm協(xié)議、分布式優(yōu)化器等方式進行協(xié)作式訓練。
去中心化訓練任務適配性總覽表
目前在去中心化訓練與聯(lián)邦學習前沿領域中，具有代表性的Blockchain項目主要包括 PrimeIntellect、Pluralis.ai、Gensyn、NousResearch 與 Flock.io。從技術創(chuàng)新性與工程實現(xiàn)難度來看，PrimeIntellect、NousResearch和Pluralis.ai 在系統(tǒng)架構與算法設計上提出了較多原創(chuàng)性探索，代表了當前理論研究的前沿方向；而 Gensyn與Flock.io 的實現(xiàn)路徑相對清晰，已能看到初步的工程化進展。本文將依次解析這五個項目背后的核心技術與工程架構路，并進一步探討其在去中心化AI訓練體系中的差異與互補關系。PrimeIntellect：訓練軌跡可驗證的強化學習協(xié)同網(wǎng)絡先行者
PrimeIntellect致力于構建一個無需信任的AI訓練網(wǎng)絡，讓任何人都能參與訓練，并對其計算貢獻獲得可信的獎勵。PrimeIntellect希望通過PRIME-RL+TOPLOC+SHARDCAST三大模塊，構建一個具有可驗證性、開放性、激勵機制完備的AI去中心化訓練系統(tǒng)。一、PrimeIntellect協(xié)議棧結構與關鍵模塊價值
PRIME-RL：解耦式異步強化學習任務架構
PRIME-RL是PrimeIntellect為去中心化訓練場景定制的任務建模與執(zhí)行框架，專為異構網(wǎng)絡與異步參與設計。它采用強化學習作為優(yōu)先適配對象，將訓練、推理與權重上傳過程結構性解耦，使每個訓練節(jié)點可以在本地獨立完成任務循環(huán)，并通過標準化接口與驗證和聚合機制協(xié)同。相比傳統(tǒng)監(jiān)督學習流程，PRIME-RL更適合在無中心調度的環(huán)境中實現(xiàn)彈性訓練，既降低了系統(tǒng)復雜度，也為支持多任務并行和策略演化奠定了基礎。
TOPLOC：輕量級訓練行為驗證機制
TOPLOC（TrustedObservation&Policy-LocalityCheck）是PrimeIntellect提出的訓練可驗證性核心機制，用于判斷一個節(jié)點是否真的基于觀測數(shù)據(jù)完成了有效的策略學習。與ZKML等重型方案不同，TOPLOC不依賴全模型重計算，而是通過分析“觀測序列策略更新”之間的局部一致性軌跡，完成輕量化結構驗證。它首次將訓練過程中的行為軌跡轉化為可驗證對象，是實現(xiàn)無需信任訓練獎勵分配的關鍵創(chuàng)新，為構建可審計、可激勵的去中心化協(xié)作訓練網(wǎng)絡提供了可行路徑。
SHARDCAST：異步權重聚合與傳播協(xié)議
SHARDCAST是PrimeIntellect設計的權重傳播與聚合協(xié)議，專為異步、帶寬受限與節(jié)點狀態(tài)多變的真實網(wǎng)絡環(huán)境而優(yōu)化。它結合gossip傳播機制與局部同步策略，允許多個節(jié)點在不同步狀態(tài)下持續(xù)提交部分更新，實現(xiàn)權重的漸進式收斂與多版本演化。相比集中式或同步式AllReduce方法，SHARDCAST顯著提升了去中心化訓練的可擴展性與容錯能力，是構建穩(wěn)定權重共識與持續(xù)訓練迭代的核心基礎。
OpenDiLoCo：稀疏異步通信框架
OpenDiLoCo是PrimeIntellect團隊基于DeepMind提出的DiLoCo理念獨立實現(xiàn)并開源的通信優(yōu)化框架，專為去中心化訓練中常見的帶寬受限、設備異構與節(jié)點不穩(wěn)定等挑戰(zhàn)而設計。其架構基于數(shù)據(jù)并行，通過構建Ring、Expander、Small-World等稀疏拓撲結構，避免了全局同步的高通信開銷，僅依賴局部鄰居節(jié)點即可完成模型協(xié)同訓練。結合異步更新與斷點容錯機制，OpenDiLoCo使消費級GPU與邊緣設備也能穩(wěn)定參與訓練任務，顯著提升了全球協(xié)作訓練的可參與性，是構建去中心化訓練網(wǎng)絡的關鍵通信基礎設施之一。
PCCL：協(xié)同通信庫
PCCL（PrimeCollectiveCommunicationLibrary） 是PrimeIntellect為去中心化AI訓練環(huán)境量身打造的輕量級通信庫，旨在解決傳統(tǒng)通信庫（如NCCL、Gloo）在異構設備、低帶寬網(wǎng)絡中的適配瓶頸。PCCL支持稀疏拓撲、梯度壓縮、低精度同步與斷點恢復，可運行于消費級GPU與不穩(wěn)定節(jié)點，是支撐OpenDiLoCo協(xié)議異步通信能力的底層組件。它顯著提升了訓練網(wǎng)絡的帶寬容忍度與設備兼容性，為構建真正開放、無需信任的協(xié)同訓練網(wǎng)絡打通了“最后一公里”的通信基礎。三、PrimeIntellect激勵網(wǎng)絡與角色分工
PrimeIntellect構建了一個無需許可、可驗證、具備經(jīng)濟激勵機制的訓練網(wǎng)絡，使任何人都能參與任務并基于真實貢獻獲得獎勵。協(xié)議運行基于三類核心角色：
任務發(fā)起者：定義訓練環(huán)境、初始模型、獎勵函數(shù)與驗證標準
訓練節(jié)點：執(zhí)行本地訓練，提交權重更新及觀測軌跡
驗證節(jié)點：使用TOPLOC機制驗證訓練行為的真實性，并參與獎勵計算與策略聚合
協(xié)議核心流程包括任務發(fā)布、節(jié)點訓練、軌跡驗證、權重聚合（SHARDCAST）與獎勵發(fā)放，構成一個圍繞“真實訓練行為”的激勵閉環(huán)。四、INTELLECT-2：首個可驗證去中心化訓練模型的發(fā)布
PrimeIntellect于2025年5月發(fā)布了 INTELLECT-2，這是全球首個由異步、無需信任的去中心化節(jié)點協(xié)作訓練而成的強化學習大模型，參數(shù)規(guī)模達 32B。INTELLECT-2模型由遍布三大洲的100+GPU異構節(jié)點協(xié)同訓練完成，使用完全異步架構，訓練時長超400小時，展示出異步協(xié)作網(wǎng)絡的可行性與穩(wěn)定性。這一模型不僅是一次性能上的突破，更是PrimeIntellect所提出“訓練即共識”范式的首次系統(tǒng)落地。INTELLECT-2集成了 PRIME-RL（異步訓練結構）、TOPLOC（訓練行為驗證） 與 SHARDCAST（異步權重聚合） 等核心協(xié)議模塊，標志著去中心化訓練網(wǎng)絡首次實現(xiàn)了訓練過程的開放化、驗證性與經(jīng)濟激勵閉環(huán)。
在性能方面，INTELLECT-2基于QwQ-32B訓練并在代碼和數(shù)學上做了專門的RL訓練，處于當前開源RL微調模型的前沿水準。盡管尚未超越GPT-4或Gemini等閉源模型，但其真正的意義在于：它是全球首個完整訓練過程可復現(xiàn)、可驗證、可審計的去中心化模型實驗。PrimeIntellect不僅開源了模型，更重要的是開源了訓練過程本身 ——訓練數(shù)據(jù)、策略更新軌跡、驗證流程與聚合邏輯均透明可查，構建了一個人人可參與、可信協(xié)作、共享收益的去中心化訓練網(wǎng)絡原型。五、團隊與融資背景
PrimeIntellect于2025年2月完成1500萬美元種子輪融資，由FoundersFund領投，MenloVentures、AndrejKarpathy、ClemDelangue、DylanPatel、BalajiSrinivasan、EmadMostaque、SandeepNailwal等多位行業(yè)領袖參投。此前，項目于2024年4月完成550萬美元早期輪融資，由CoinFund和DistributedGlobal共同領投，CompoundVC、Collab+Currency、ProtocolLabs等機構亦有參與。截至目前，PrimeIntellect累計融資已超過2000萬美元。
PrimeIntellect的聯(lián)合創(chuàng)始人是VincentWeisser和JohannesHagemann，團隊成員背景橫跨AI與Web3領域，核心成員來自MetaAI、GoogleResearch、OpenAI、Flashbots、StabilityAI及Ethereum基金會，具備系統(tǒng)架構設計與分布式工程落地的深厚能力，是當前極少數(shù)成功完成真實去中心化大模型訓練的執(zhí)行型團隊之一。Pluralis：異步模型并行與結構壓縮協(xié)同訓練的范式探索者
Pluralis是一個專注于“可信協(xié)同訓練網(wǎng)絡”的Web3AI項目，其核心目標是推動一種去中心化、開放式參與、并具備長期激勵機制的模型訓練范式。與當前主流集中式或封閉式訓練路徑不同，Pluralis提出了一種名為 ProtocolLearning（協(xié)議學習） 的全新理念：將模型訓練過程“協(xié)議化”，通過可驗證協(xié)作機制和模型所有權映射，構建一個具備內生激勵閉環(huán)的開放訓練系統(tǒng)。一、核心理念：PotocolLearning（協(xié)議學習）
Pluralis提出的ProtocolLearning包含三大關鍵支柱：
不可提取模型(UnmaterializableModels)模型以碎片形式分布在多個節(jié)點之間，任何單一節(jié)點無法還原完整權重保持閉源。這種設計使模型天然成為“協(xié)議內資產(chǎn)”，可實現(xiàn)訪問憑證控制、外泄防護與收益歸屬綁定。
基于互聯(lián)網(wǎng)的模型并行訓練(Model-parallelTrainingoverInternet)通過異步Pipeline模型并行機制（SWARM架構），不同節(jié)點僅持有部分權重，通過低帶寬網(wǎng)絡協(xié)作完成訓練或推理。
按貢獻分配模型所有權(PartialOwnershipforIncentives)**所有參與節(jié)點根據(jù)其訓練貢獻獲得模型部分所有權，從而享有未來收益分成及協(xié)議治理權。二、Pluralis協(xié)議棧的技術架構
UnmaterializableModels
在《AThirdPath:ProtocolLearning》中首次系統(tǒng)提出，模型權重以碎片形式分布，保障“模型資產(chǎn)”只能在Swarm網(wǎng)絡中運行，確保其訪問與收益皆受協(xié)議控制。此機制是實現(xiàn)去中心化訓練可持續(xù)激勵結構的前提。
AsynchronousModel-ParallelTraining
在《SWARMParallelwithAsynchronousUpdates》中，Pluralis構建了基于Pipeline的異步模型并行架構，并首次在LLaMA-3上進行實證。核心創(chuàng)新在于引入 NesterovAcceleratedGradient（NAG） 機制，有效修正異步更新過程中的梯度漂移與收斂不穩(wěn)問題，使異構設備間的訓練在低帶寬環(huán)境下具備實際可行性。
Column-SpaceSparsification
在《BeyondTop-K》中提出，通過結構感知的列空間壓縮方法代替?zhèn)鹘y(tǒng)Top-K，避免破壞語義路徑。該機制兼顧模型準確性與通信效率，實測在異步模型并行環(huán)境中可壓縮90%以上通信數(shù)據(jù)，是實現(xiàn)結構感知高效通信的關鍵突破。四、技術定位與路徑選擇
Pluralis明確以 “異步模型并行” 為核心方向，強調其相較于數(shù)據(jù)并行具備以下優(yōu)勢：
支持 低帶寬網(wǎng)絡 與 非一致性節(jié)點；
適配 設備異構，允許消費級GPU參與；
天然具備 彈性調度 能力，支持節(jié)點頻繁上線/離線；
以 結構壓縮+異步更新+權重不可提取性 為三大突破點。
目前根據(jù)官方網(wǎng)站公布的六篇技術博客文檔，邏輯結構整合為以下三個主線：
哲學與愿景：《AThirdPath:ProtocolLearning》《WhyDecentralizedTrainingMatters》
技術機制細節(jié)：《SWARMParallel》《BeyondTop-K》《AsynchronousUpdates》
制度創(chuàng)新探索：《UnmaterializableModels》《PartialOwnershipProtocols》
目前Pluralis尚未上線產(chǎn)品、測試網(wǎng)或代碼開源，原因在于其所選擇的技術路徑極具挑戰(zhàn)：需先解決底層系統(tǒng)架構、通信協(xié)議、權重不可導出等系統(tǒng)級難題，才可能向上封裝產(chǎn)品服務。
在2025年6月PluralisResearch發(fā)布的新論文中，將其去中心化訓練框架從模型預訓練拓展到了模型微調階段，支持異步更新、稀疏通信與部分權重聚合，相比此前偏重理論與預訓練的設計，本次工作更注重落地可行性，標志著其在訓練全周期架構上的進一步成熟。五、團隊與融資背景
Pluralis于 2025年完成了760萬美元的種子輪融資，由 UnionSquareVentures（USV） 與 CoinFund 聯(lián)合領投。創(chuàng)始人AlexanderLong來自機器學習博士背景，具備數(shù)學與系統(tǒng)研究雙重背景。核心成員全部由擁有博士背景的機器學習研究者組成，是典型的技術驅動型項目，以高密度論文與技術博客為主要發(fā)布路徑，當前尚未建立BD/Growth團隊而專注于攻克低帶寬異步模型并行的基礎架構難題。Gensyn：以可驗證執(zhí)行驅動的去中心化訓練協(xié)議層
Gensyn 是一個專注于“深度學習訓練任務可信執(zhí)行”的Web3AI項目，核心不在于重構模型架構或訓練范式，而在于構建一個具備“任務分發(fā)+訓練執(zhí)行+結果驗證+公平激勵”全流程的可驗證分布式訓練執(zhí)行網(wǎng)絡。通過鏈下訓練+鏈上驗證的架構設計，Gensyn建立起一個高效、開放、可激勵的全球訓練市場，使“訓練即Mining”成為現(xiàn)實。一、項目定位：訓練任務的執(zhí)行協(xié)議層
Gensyn不是“怎么訓練”，而是“由誰訓練、如何驗證、如何分潤”的基礎設施。其本質是訓練任務的可驗證計算協(xié)議，其主要解決：
誰來執(zhí)行訓練任務（算力分發(fā)與動態(tài)匹配）
如何驗證執(zhí)行結果（無需全重算，僅驗證爭議算子）
如何分配訓練收益（Stake、Slashing與多角色博弈機制）二、技術架構總覽
RLSwarm：協(xié)同強化學習訓練系統(tǒng)
Gensyn首創(chuàng)的RLSwarm 是一種面向后訓練階段的去中心化多模型協(xié)同優(yōu)化系統(tǒng)，具備以下核心特性：
分布式推理與學習流程：
生成階段（Answering）：每個節(jié)點獨立輸出答案；
批評階段（Critique）：節(jié)點互相點評他人輸出，選出最優(yōu)答案與邏輯；
共識階段（Resolving）：預測大多數(shù)節(jié)點偏好并據(jù)此修改自身回答，實現(xiàn)局部權重更新。
Gensyn所提出的RLSwarm是一個去中心化的多模型協(xié)同優(yōu)化系統(tǒng)，每個節(jié)點運行獨立模型并進行本地訓練，無需梯度同步，天然適應異構算力與不穩(wěn)定網(wǎng)絡環(huán)境，同時支持節(jié)點彈性接入與退出。該機制借鑒RLHF與多智能體博弈的思路，但更貼近協(xié)同推理網(wǎng)絡的動態(tài)演化邏輯，節(jié)點根據(jù)與群體共識結果的一致程度獲得獎勵，從而驅動推理能力的持續(xù)優(yōu)化與趨同學習。RLSwarm顯著提升了模型在開放網(wǎng)絡下的穩(wěn)健性與泛化能力，已作為核心執(zhí)行模塊率先在Gensyn基于EthereumRollup的 TestnetPhase0 中部署上線。
Verde+Proof-of-Learning：可信驗證機制
Gensyn的Verde模塊結合了三種機制：
Proof-of-Learning：基于梯度軌跡與訓練元數(shù)據(jù)判斷訓練是否真實發(fā)生；
Graph-BasedPinpoint：定位訓練計算圖中的分歧節(jié)點，僅需重算具體操作；
RefereedDelegation：采用仲裁式驗證機制，由verifier與challenger提出爭議并局部驗證，極大降低驗證成本。
相較于ZKP或全重算驗證方案，Verde方案在可驗證性與效率之間取得更優(yōu)平衡。
SkipPipe：通信容錯優(yōu)化機制
SkipPipe是為了解決“低帶寬+節(jié)點掉線”場景下的通信瓶頸問題，其核心能力包括：
跳層機制（SkipRatio）：跳過受限節(jié)點，避免訓練阻塞；
動態(tài)調度算法：實時生成最優(yōu)執(zhí)行路徑；
容錯執(zhí)行：即使50%節(jié)點失效，推理精度僅下降約7%。
支持訓練吞吐提升高達55%，并實現(xiàn)“early-exit推理”、“無縫重排”、“推理補全”等關鍵能力。
HDEE：跨領域異構專家集群
HDEE（HeterogeneousDomain-ExpertEnsembles）模塊致力于優(yōu)化以下場景：
多領域、多模態(tài)、多任務訓練；
各類訓練數(shù)據(jù)分布不均衡、難度差異大；
設備計算能力異構、通信帶寬不一致的環(huán)境下任務分配與調度問題。
其核心特性：
MHe-IHo：為不同難度的任務分配不同大小的模型（模型異構、訓練步長一致）；
MHo-IHe：任務難度統(tǒng)一、但訓練步長異步調整；
支持異構專家模型+可插拔訓練策略，提升適應性與容錯性；
強調“并行協(xié)同+極低通信+動態(tài)專家分配”，適用于現(xiàn)實中復雜的任務生態(tài)。
多角色博弈機制：信任與激勵并行
Gensyn網(wǎng)絡引入四類參與者：
Submitter：發(fā)布訓練任務、設定結構與預算；
Solver：執(zhí)行訓練任務，提交結果；
Verifier：驗證訓練行為，確保其合規(guī)有效；
Whistleblower：挑戰(zhàn)驗證者，獲取仲裁獎勵或承擔罰沒。
該機制靈感來源于Truebit經(jīng)濟博弈設計，通過強制插入錯誤+隨機仲裁，激勵參與者誠實協(xié)作，確保網(wǎng)絡可信運行。四、測試網(wǎng)與路線圖規(guī)劃
Gensyn由BenFielding和HarryGrieve聯(lián)合創(chuàng)立，總部位于英國倫敦。2023年5月，Gensyn宣布完成由a16zcrypto領投的4,300萬美元A輪融資，其他投資方包括CoinFund、Canonical、EtherealVentures、Factor和EdenBlock。團隊背景融合分布式系統(tǒng)與機器學習工程經(jīng)驗，長期致力于構建可驗證、去信任化的大規(guī)模AI訓練執(zhí)行網(wǎng)絡。NousResearch：主體性AI理念驅動的認知演化式訓練系統(tǒng)
NousResearch 是目前少數(shù)兼具哲學高度與工程實現(xiàn)的去中心化訓練團隊，其核心愿景源于“DesideraticAI”理念：將AI視為具有主觀性與演化能力的智能主體，而非單純的可控工具。NousResearch的獨特性在于：它不是將AI訓練當作“效率問題”來優(yōu)化，而是將其視為“認知主體”的形成過程。在這一愿景驅動下，Nous聚焦構建一個由異構節(jié)點協(xié)同訓練、無需中心調度、可抗審查驗證的開放式訓練網(wǎng)絡，并通過全棧式工具鏈進行系統(tǒng)化落地。一、理念支撐：重新定義訓練的“目的”
Nous并未在激勵設計或協(xié)議經(jīng)濟學上投入過多，而是試圖改變訓練本身的哲學前提：
反對“alignmentism”：不認同以人類控制為唯一目標的“調教式訓練”，主張訓練應鼓勵模型形成獨立認知風格；
強調模型主體性：認為基礎模型應保留不確定性、多樣性與幻覺生成能力（hallucinationasvirtue）；
模型訓練即認知形成：模型不是“優(yōu)化任務完成度”，而是參與認知演化過程的個體。
這一訓練觀雖然“浪漫”，但反映出Nous設計訓練基礎設施的核心邏輯：如何讓異構模型在開放網(wǎng)絡中演化，而非被統(tǒng)一規(guī)訓。二、訓練核心：Psyche網(wǎng)絡與DisTrO優(yōu)化器
Nous對去中心化訓練最關鍵的貢獻，是構建了 Psyche網(wǎng)絡 與底層通信優(yōu)化器 DisTrO（DistributedTrainingOver-the-Internet），共同構成訓練任務的執(zhí)行中樞：DisTrO+Psyche網(wǎng)絡具備多項核心能力，包括通信壓縮（采用DCT+1-bitsign編碼，極大降低帶寬需求）、節(jié)點適配性（支持異構GPU、斷線重連與自主退出）、異步容錯（無需同步亦可持續(xù)訓練，具備高容錯性）、以及去中心化調度機制（無需中心協(xié)調器，基于Blockchain實現(xiàn)共識與任務分發(fā)）。這一架構為低成本、強彈性、可驗證的開放訓練網(wǎng)絡提供了現(xiàn)實可行的技術基礎。
Hermes開源模型系列：Hermes1至3是Nous推出的代表性開源大模型，基于LLaMA3.1訓練，涵蓋8B、70B和405B三種參數(shù)規(guī)模。該系列旨在體現(xiàn)Nous所倡導的“去指令化、保留多樣性”訓練理念，在長上下文保持、角色扮演、多輪對話等方面展現(xiàn)出更強的表達力與泛化能力。
ForgeReasoningAPI：多模式推理系統(tǒng)Forge是Nous自研的推理框架，結合三種互補機制以實現(xiàn)更具彈性與創(chuàng)造力的推理能力：MCTS（MonteCarloTreeSearch）：適用于復雜任務的策略搜索；CoC（ChainofCode）：引入代碼鏈與邏輯推理的結合路徑；MoA（MixtureofAgents）：允許多個模型進行協(xié)商，提升輸出的廣度與多樣性。該系統(tǒng)強調“非確定性推理”與組合式生成路徑，是對傳統(tǒng)指令對齊范式的有力回應。
TEE_HEE：AI自主代理實驗：TEE_HEE是Nous在自治代理方向的前沿探索，旨在驗證AI是否能夠在可信執(zhí)行環(huán)境（TEE）中獨立運行并擁有唯一的數(shù)字身份。該代理具備專屬的Twitter和Ethereum賬戶，所有控制權限由遠程可驗證的enclave管理，開發(fā)者無法干預其行為。實驗目標是構建具備“不可篡改性”與“獨立行為意圖”的AI主體，邁出構建自治型智能體的重要一步。
AI行為模擬器平臺：Nous還開發(fā)了包括WorldSim、Doomscroll、Gods&S8n等多個模擬器，用于研究AI在多角色社會環(huán)境中的行為演化與價值形成機制。盡管不直接參與訓練流程，這些實驗為長期自治AI的認知行為建模奠定了語義層基礎。四、團隊與融資概況NousResearch成立于2023年，由JeffreyQuesnelle（CEO）、KaranMalhotra、Teknium、ShivaniMitra等人聯(lián)合創(chuàng)辦。團隊以哲學驅動與系統(tǒng)工程并重，擁有機器學習、系統(tǒng)安全、去中心化網(wǎng)絡等多元背景。2024年獲得520萬美元種子輪融資，2025年4月，完成由Paradigm領投的5,000萬美元A輪融資，估值達10億美元，躋身Web3AI獨角獸行列。
Flock：Blockchain增強型聯(lián)邦學習網(wǎng)絡 Flock.io 是一個基于Blockchain的聯(lián)邦學習平臺，旨在實現(xiàn)AI訓練的數(shù)據(jù)、計算和模型的去中心化。FLock傾向于“聯(lián)邦學習+Blockchain獎勵層”的整合框架，本質上是對傳統(tǒng)FL架構的鏈上演進版本，而非構建全新訓練協(xié)議的系統(tǒng)性探索。與Gensyn、PrimeIntellect、NousResearch和Pluralis等去中心化訓練項目相比，F(xiàn)lock側重隱私保護與可用性改進，而非在通信、驗證或訓練方法上展開理論突破，其真正適合對比的對象為Flower、FedML、OpenFL等聯(lián)邦學習系統(tǒng)。一、Flock.io 的核心機制
聯(lián)邦學習架構：強調數(shù)據(jù)主權與隱私保護Flock基于經(jīng)典聯(lián)邦學習（FederatedLearning,FL）范式，允許多個數(shù)據(jù)擁有者在不共享原始數(shù)據(jù)的前提下協(xié)同訓練統(tǒng)一模型，重點解決數(shù)據(jù)主權、安全與信任問題。核心流程包括：本地訓練：每個參與者（Proposer）在本地設備上訓練模型，不上傳原始數(shù)據(jù)；鏈上聚合：訓練完成后提交本地權重更新，由鏈上Miner聚合為全局模型；委員會評估：通過VRF隨機選舉Voter節(jié)點使用獨立測試集評估聚合模型效果并打分；激勵與懲罰：根據(jù)得分結果執(zhí)行獎勵或罰沒抵押金，實現(xiàn)抗作惡與動態(tài)信任維護。
Blockchain集成：實現(xiàn)去信任的系統(tǒng)協(xié)調Flock將訓練過程的核心環(huán)節(jié)（任務分配、模型提交、評估評分、激勵執(zhí)行）全部鏈上化，以實現(xiàn)系統(tǒng)透明、可驗證與抗審查。主要機制包括：VRF隨機選舉機制：提升Proposer與Voter的輪換公平性與抗操控能力；權益抵押機制（PoS）：通過Tokens抵押與懲罰約束節(jié)點行為，提升系統(tǒng)魯棒性；鏈上激勵自動執(zhí)行：通過智能合約實現(xiàn)任務完成與評估結果綁定的獎勵分發(fā)與slashing扣罰，構建無需信任中介的協(xié)作網(wǎng)絡。
zkFL：零知識聚合機制的隱私保護創(chuàng)新：Flock引入zkFL零知識聚合機制，使Proposer可提交本地更新的零知識證明，Voter無需訪問原始梯度即可驗證其正確性，在保障隱私的同時提升訓練過程的可信性，代表了聯(lián)邦學習在隱私保護與可驗證性融合方向上的重要創(chuàng)新。
二、Flock的核心產(chǎn)品組件AIArena：是 Flock.io 的去中心化訓練平臺，用戶可通過 train.flock.io 參與模型任務，擔任訓練者、驗證者或委托者角色，通過提交模型、評估表現(xiàn)或委托Tokens獲得獎勵。目前任務由官方發(fā)布，未來將逐步開放給社區(qū)共創(chuàng)。FLAlliance：是Flock聯(lián)邦學習客戶端，支持參與者使用私有數(shù)據(jù)對模型進一步微調。通過VRF選舉、staking與slashing機制，保障訓練過程的誠實性與協(xié)作效率，是連接社區(qū)初訓與真實部署的關鍵環(huán)節(jié)。AIMarketplace：是模型共創(chuàng)與部署平臺，用戶可提議模型、貢獻數(shù)據(jù)、調用模型服務，支持數(shù)據(jù)庫接入與RAG強化推理，推動AI模型在各類實際場景中的落地與流通。
三、團隊與融資概況 Flock.io 由SunJiahao創(chuàng)立，已發(fā)行平臺TokensFLOCK。項目累計融資1,100萬美元，投資方包括DCG、LightspeedFaction、TagusCapital、AnimocaBrands、Fenbushi、OKXVentures等。2024年3月，F(xiàn)lock完成600萬美元種子輪融資，用于啟動測試網(wǎng)及聯(lián)邦學習客戶端；同年12月追加300萬美元融資，并獲得Ethereum基金會資助，專注研究Blockchain驅動的AI激勵機制。目前，平臺創(chuàng)建6428個模型，接入訓練節(jié)點176個、驗證節(jié)點236個、委托者1178個。
相較于去中心化訓練項目，F(xiàn)lock這類基于聯(lián)邦學習的系統(tǒng)在訓練效率、可擴展性與隱私保護方面更具優(yōu)勢，尤其適用于中小規(guī)模模型的協(xié)同訓練，方案務實且易于落地，更偏向工程層面的可行性優(yōu)化；而Gensyn、Pluralis等項目則在訓練方法與通信機制上追求更深層次的理論突破，系統(tǒng)挑戰(zhàn)更大，但也更貼近真正的“去信任、去中心”的訓練范式探索。
EXO：邊緣計算的去中心化訓練嘗試EXO是當前邊緣計算場景中極具代表性的AI項目，致力于在家庭級消費設備上實現(xiàn)輕量化的AI訓練、推理與Agent應用。其去中心化訓練路徑強調“低通信開銷+本地自主執(zhí)行”，采用DiLoCo異步延遲同步算法與SPARTA稀疏參數(shù)交換機制，大幅降低多設備協(xié)同訓練的帶寬需求。系統(tǒng)層面，EXO并未構建鏈上網(wǎng)絡或引入經(jīng)濟激勵機制，而是推出單機多進程模擬框架EXOGym，支持研究者在本地環(huán)境中便捷開展分布式訓練方法的快速驗證與實驗。一、核心機制概覽DiLoCo異步訓練：每H步進行一次節(jié)點同步，適配非穩(wěn)定網(wǎng)絡；SPARTA稀疏同步：每步僅交換極少量參數(shù)（如0.1%），保持模型相關性并降低帶寬需求；異步組合優(yōu)化：兩者可組合使用，在通信與性能之間取得更優(yōu)折中。evML驗證機制探索：Edge-VerifiedMachineLearning（evML）提出使用TEE/SecureContext進行低成本計算驗證，通過遠程驗證+抽查機制實現(xiàn)無需質押的邊緣設備可信參與，是經(jīng)濟安全與隱私保障之間的工程型折中方案。二、工具與場景應用EXOGym：可在單臺設備模擬多節(jié)點訓練環(huán)境，支持NanoGPT、CNN、Diffusion等模型的通信策略實驗；EXODesktopApp：面向個人用戶的桌面AI工具，支持本地大模型運行、iPhone鏡像控制、私人上下文集成（如短信、日歷、視頻記錄）等隱私友好型個性化功能。EXOGym更像是一個以探索導向的去中心化訓練實驗項目，主要通過整合現(xiàn)有的通信壓縮技術（如DiLoCo與SPARTA）來實現(xiàn)訓練路徑的輕量化。相較于Gensyn、Nous、Pluralis等項目，EXO尚未邁入鏈上協(xié)作、可驗證激勵機制或真實分布式網(wǎng)絡部署等核心階段。去中心化訓練的前鏈條引擎：模型預訓練全景研究
面對去中心化訓練中普遍存在的設備異構、通信瓶頸、協(xié)調困難與缺乏可信執(zhí)行等核心挑戰(zhàn)，Gensyn、PrimeIntellect、Pluralis與NousResearch分別提出了具有差異化的系統(tǒng)架構路徑。從訓練方法和通信機制兩個層面來看，這四個項目展現(xiàn)了各自獨特的技術焦點與工程實現(xiàn)邏輯。
在訓練方法優(yōu)化方面，四者分別從協(xié)同策略、更新機制和異步控制等關鍵維度展開探索，覆蓋了從預訓練到后訓練的不同階段。
PrimeIntellect的PRIME-RL 屬于面向預訓練階段的異步調度結構，通過“本地訓練+周期性同步”的策略，在異構環(huán)境下實現(xiàn)高效而可驗證的訓練調度機制。該方法強具有較強的通用性與靈活性。理論創(chuàng)新度較高，在訓練控制結構上提出明確范式；工程實現(xiàn)難度中高，對底層通信與控制模塊有較高要求。
NousResearch推出的DeMo優(yōu)化器，則聚焦于異步低帶寬環(huán)境下的訓練穩(wěn)定性問題，實現(xiàn)了異構GPU條件下的高容錯梯度更新流程，是當前少數(shù)在“異步通信壓縮閉環(huán)”上完成理論與工程統(tǒng)一的方案。理論創(chuàng)新度很高，特別是在壓縮與調度協(xié)同路徑上具有代表性；工程實現(xiàn)難度也很高，尤其依賴異步并行的協(xié)調精度。
Pluralis的SWARM+NAG則是目前異步訓練路徑中最具系統(tǒng)性與突破性的設計之一。它基于異步模型并行框架，引入Column-space稀疏通信與NAG動量修正，構建出一種可在低帶寬條件下穩(wěn)定收斂的大模型訓練方案。理論創(chuàng)新度極高，是異步協(xié)同訓練的結構性開創(chuàng)者；工程難度同樣極高，需要多級同步與模型切分的深度集成。
Gensyn的RLSwarm 主要服務于后訓練階段，聚焦于策略微調與智能體協(xié)同學習。其訓練過程遵循“生成-評估-投票”的三步流程，特別適合多代理系統(tǒng)中復雜行為的動態(tài)調整。理論創(chuàng)新度中高，主要體現(xiàn)在智能體協(xié)同邏輯上；工程實現(xiàn)難度適中，主要挑戰(zhàn)在于系統(tǒng)調度與行為收斂控制。
在通信機制優(yōu)化層面，這四個項目亦各有針對性布局，普遍關注帶寬瓶頸、節(jié)點異構與調度穩(wěn)定性問題的系統(tǒng)解法。
PrimeIntellect的PCCL 是一個用于替代傳統(tǒng)NCCL的底層通信庫，旨在為上層訓練協(xié)議提供更穩(wěn)健的集體通信基礎。理論創(chuàng)新度中高，在容錯通信算法上有一定突破；工程難度中等，具備較強的模塊適配性。
NousResearch的DisTrO 是DeMo的通信核心模塊，強調在低帶寬下實現(xiàn)最小通信開銷的同時保障訓練閉環(huán)的連貫性。理論創(chuàng)新度高，在調度協(xié)同結構上具備通用性設計價值；工程難度高，對壓縮精度與訓練同步要求高。
Pluralis的通信機制深度嵌入SWARM架構中，顯著降低了大模型異步訓練中的通信負載，在保障收斂性的同時保持高效吞吐。理論創(chuàng)新度高，為異步模型通信設計樹立了范式；工程難度極高，依賴分布式模型編排與結構稀疏性控制。
Gensyn的SkipPipe 是配套RLSwarm的容錯調度組件。該方案部署成本低，主要用于工程落地層的訓練穩(wěn)定性增強。理論創(chuàng)新度一般，更多是已知機制的工程化實現(xiàn)；工程難度較低，但在實際部署中實用性強。
此外，我們可以從Blockchain協(xié)作層與AI訓練層更為宏觀的兩大類衡量去中心化訓練項目的價值：
Blockchain協(xié)作層面：強調協(xié)議可信性與激勵協(xié)作邏輯
可驗證性：對訓練過程是否可驗證、是否引入博弈或加密機制建立信任；
激勵機制 ：是否設計了任務驅動的Token獎勵/角色機制；
開放性與準入門檻 ：節(jié)點是否易于接入，是否中心化或許可控制。
AI訓練系統(tǒng)層面：突出工程能力與性能可達性
調度與容錯機制 ：是否容錯、異步、動態(tài)、分布式調度；
訓練方法優(yōu)化 ：是否對模型訓練算法或結構有優(yōu)化；
通信路徑優(yōu)化：是否壓縮梯度/稀疏通信，適應低帶寬。
以下表格基于上述指標體系，對Gensyn、PrimeIntellect、Pluralis和NousResearch在去中心化訓練路徑上的技術深度、工程成熟度與理論創(chuàng)新進行了系統(tǒng)性評估。
在去中心化訓練的完整價值鏈中，PrimeIntellect、Pluralis.ai、Gensyn和NousResearch等項目主要聚焦于模型預訓練、通信機制與協(xié)同優(yōu)化等前端基礎設施建設。然而，另有一類項目則專注于訓練后階段的模型適配與推理部署（post-trainingfine-tuning&inferencedelivery），不直接參與預訓練、參數(shù)同步或通信優(yōu)化等系統(tǒng)性訓練流程。代表性項目包括Bagel、Pond和RPSLabs，他們均以LoRA微調方法為核心，構成去中心化訓練生態(tài)圖譜中關鍵的“后鏈條”一環(huán)。LoRA+DPO：Web3微調部署的現(xiàn)實路徑
LoRA（Low-RankAdaptation）是一種高效的參數(shù)微調方法，其核心思路是在預訓練大模型中插入低秩矩陣來學習新任務，同時凍結原始模型參數(shù)。這一策略顯著降低了訓練成本與資源消耗，提升了微調速度與部署靈活性，尤其適用于以模塊化、組合調用為特征的Web3場景。
傳統(tǒng)的大語言模型如LLaMA、GPT-3等往往擁有數(shù)十億甚至千億級參數(shù)，直接微調成本高昂。而LoRA通過僅訓練插入的少量參數(shù)矩陣，實現(xiàn)對大模型的高效適配，成為當前最具實用性的主流方法之一。
**DirectPreferenceOptimization（DPO）**作為近年來興起的語言模型后訓練方法，常與LoRA微調機制協(xié)同使用，用于模型行為對齊階段。相比傳統(tǒng)的RLHF（ReinforcementLearningfromHumanFeedback）方法，DPO通過對成對樣本的直接優(yōu)化實現(xiàn)偏好學習，省去了復雜的獎勵建模與強化學習過程，結構更為簡潔，收斂更加穩(wěn)定，尤其適合輕量化與資源受限環(huán)境下的微調任務。由于其高效與易用性，DPO正逐漸成為眾多去中心化AI項目在模型對齊階段的優(yōu)選方案。
強化學習（ReinforcementLearning,RL）：后訓練微調的未來演進方向
從長期視角來看，越來越多的項目將強化學習（ReinforcementLearning,RL）視為去中心化訓練中更具適應性與演化潛力的核心路徑。相較于依賴靜態(tài)數(shù)據(jù)的監(jiān)督學習或參數(shù)微調機制，RL強調在動態(tài)環(huán)境中持續(xù)優(yōu)化策略，天然契合Web3網(wǎng)絡中異步、異構與激勵驅動的協(xié)作格局。通過與環(huán)境持續(xù)交互，RL能夠實現(xiàn)高度個性化、持續(xù)增量式的學習過程，為Agent網(wǎng)絡、鏈上任務市場及智能經(jīng)濟體構建提供可演化的“行為智能”基礎設施。
這一范式不僅在理念上高度契合去中心化精神，也具備顯著的系統(tǒng)優(yōu)勢。然而，受限于較高的工程門檻和復雜的調度機制，RL在當前階段的落地仍面臨較大挑戰(zhàn)，短期內尚難廣泛推廣。
值得注意的是，PrimeIntellect的PRIME-RL以及Gensyn的RLSwarm 正在推動RL從后訓練微調機制向預訓練主結構演進，試圖構建一個以RL為中心、無需信任協(xié)調的協(xié)同訓練體系。Bagel（zkLoRA）：LoRA微調的可信驗證層
Bagel基于LoRA微調機制，引入零知識證明（ZK）技術，致力于解決“鏈上模型微調”過程中的可信性與隱私保護難題。zkLoRA并不參與實際的訓練計算，而是提供一種輕量、可驗證的機制，使外部用戶無需訪問原始數(shù)據(jù)或權重，即可確認某個微調模型確實源自指定的基礎模型和LoRA參數(shù)。
與Gensyn的Verde或PrimeIntellect的TOPLOC所關注的訓練過程“行為是否真實發(fā)生”的動態(tài)驗證不同，Bagel更專注于“微調結果是否可信”的靜態(tài)驗證。zkLoRA的最大優(yōu)勢在于驗證資源消耗低、保護隱私強，但其應用范圍通常局限于參數(shù)變動較小的微調任務。Pond：GNN場景下的微調與智能體演化平臺
Pond是當前業(yè)內唯一專注于圖神經(jīng)網(wǎng)絡（GNN）微調的去中心化訓練項目，服務于結構化數(shù)據(jù)應用，如知識圖譜、社交網(wǎng)絡與交易圖等。其通過支持用戶上傳圖結構數(shù)據(jù)并參與模型訓練反饋，為個性化任務提供了一個輕量、可控的訓練與推理平臺。
Pond同樣采用LoRA等高效微調機制，其核心目標是在GNN架構上實現(xiàn)模塊化、可部署的智能體系統(tǒng)，開辟了“小模型微調+多智能體協(xié)作”在去中心化語境下的新探索路徑。RPSLabs：面向DeFi的AI驅動流動性引擎
RPSLabs是一個基于Transformer架構的去中心化訓練項目，致力于將微調后的AI模型用于DeFi流動性管理，主要部署在Solana生態(tài)中。其旗艦產(chǎn)品UltraLiquid是一套主動式做市引擎，利用微調后的模型動態(tài)調節(jié)流動性參數(shù)，降低滑點、提升深度，并優(yōu)化Tokens發(fā)行與交易體驗。
此外，RPS還推出UltraLP工具，支持流動性提供者實時優(yōu)化其在DEX上的資金分配策略，從而提升資本效率、降低無常損失風險，體現(xiàn)了AI微調在金融場景中的實用價值。從前鏈條引擎到后鏈條生態(tài)：去中心化訓練的前路
在去中心化訓練的完整生態(tài)圖譜中，整體可劃分為兩大類：前鏈條引擎對應模型預訓練階段、后鏈條生態(tài)對應模型微調部署階段，構成了從基礎設施到應用落地的完整閉環(huán)。
前鏈條引擎聚焦于模型預訓練的底層協(xié)議構建，由 PrimeIntellect、NousResearch、Pluralis.ai、Gensyn 等項目代表。它們致力于打造具備異步更新、稀疏通信與訓練可驗證性的系統(tǒng)架構，在去信任網(wǎng)絡環(huán)境中實現(xiàn)高效、可靠的分布式訓練能力，構成了去中心化訓練的技術根基。
與此同時，F(xiàn)lock 作為中間層代表，通過聯(lián)邦學習路徑，融合模型聚合、鏈上驗證與多方激勵等機制，在訓練與部署之間建立起可落地、可協(xié)作的橋梁，為多節(jié)點協(xié)同學習提供實踐范式。
后鏈條生態(tài)則聚焦于模型的微調與應用層部署。項目如 Pond、Bagel與RPSLabs，圍繞LoRA微調方法展開：Bagel提供鏈上可信驗證機制，Pond專注于圖神經(jīng)網(wǎng)絡的小模型演化，RPS則將微調模型應用于DeFi場景的智能做市。它們通過推理API與AgentSDK等組件，為開發(fā)者和終端用戶提供低門檻、可組合的模型調用與個性化定制方案，是去中心化AI落地的重要入口。
我們相信，去中心化訓練不僅是Blockchain精神在AI時代的自然延伸，更是全球協(xié)作式智能生產(chǎn)力體系的基礎設施雛形。未來，當我們回望這條充滿挑戰(zhàn)的前路征途，仍將以那句初心共勉：去中心化不只是手段，它本身就是價值。