散户组团挑战算力霸权40B 模型 + 20 万亿 token 刷新

　　Psyche 网络利用区块链技术，汇聚全球计算资源，成功启动了 40B 参数大语言模型 Consilience 的预训练任务，总计

　　大语言模型 Consilience 采用 DeepSeek V3 的多头潜在注意力（MLA）架构，相较于 Llama 使用的 GQA 架构更具表达力，同时通过优化 QKV 投影矩阵减少计算开销。

　　Psyche 利用全球闲置的计算资源（如 4090、A100 和 H100 等消费级 GPU），大幅降低训练成本。

　　通过并行实验，Psyche 鼓励开源社区提出新的模型架构和训练方法，未来可能催生更多创新。

　　过去，人们总觉得「AI 模型的去中心化训练」不过是一种幻想，尤其在那些超越了爱好者规模的语言模型面前更是如此。

　　但几项关键技术突破 —— 尤其是并行化和强化学习 —— 正在逐渐打破这种局限，让除了 OpenAI、Anthropic 这类大公司之外的小型团队也开始进入这个赛道。

　　现在看来，聪明的算法可以弥补基础设施的不足，而像 Nous Research 这样的去中心化参与者正希望抓住这个机会。

　　训练一个前沿模型需要数千个高性能 GPU 和超高带宽的集群，这使得普通研究者或小型团队几乎无法参与。

　　这种集中化趋势不仅限制了创新，还可能导致少数科技去投垄断甚至控制 AI 模型。

　　从成本上看其实并不离谱 —— 目前租用 8 块 H100 的计算节点每小时大约在 16 到 24 美元之间，因此一次完整训练的开销大约在5,000 美元左右。

　　如果我们不再依赖已有的模型，而是从零开始构建自己的基础模型，那我们就需要更庞大的“船”了。

　　要以更大规模、低成本地实现类似的训练成果，确实面临不少挑战，尤其是当训练从集中化的 GPU 集群转向基于互联网的去中心化网络时。

　　Nous Research 提出了 Psyche 网络的解决方案：通过去中心化的方式，让全球的计算资源参与 AI 模型训练，降低进入门槛，推动 AI 发展的民主化。

　　Nous Research 的 Psyche 网络成功实现了去中心化的 AI 训练，开创了一个全新的模式。

　　Consilience 模型的预训练只是起点，未来 Psyche 网络有望成为 AI 民主化的重要基石，为开源社区和小型团队提供与科技巨头抗衡的机会。

　　在传统的数据中心里，GPU 之间通过极高带宽的连接（如 NVLink 或 InfiniBand）相连，带宽可达每秒几百 Gb（千兆位）。

　　而相比之下，互联网上的志愿者节点，往往只有几十甚至几百 Mb（兆位）每秒的带宽。

　　质疑者认为，这种高达 100 倍甚至 1,000 倍的带宽差距，会让跨互联网的 AI 训练变得无比缓慢、几乎不可能。

　　毕竟，传统的训练方式需要 GPU 之间持续地交换更新信息，而如果试图用普通家用网络来完成这些通信，很可能会陷入「灾难级」的训练体验。

　　2024 年 12 月，Nous 与多位合作伙伴一起，在封闭测试网中，训练了一个150 亿参数的基础模型，并成功验证了多项理论设想：

　　在硅谷的一些圈子里，「加密」这个词几乎成了贬义词，而 Nous 一直努力保持与 AI 开发者之间的开放交流桥梁不被切断。

　　也正因如此，他们这次将 Psyche 搭建在区块链上，是一个值得关注的重要转变。

　　Psyche 将成为 Nous 用于预训练、微调和部署下一代模型的平台。

　　通过将技术栈迁移到Solana区块链，Nous 希望释放区块链的以下三大优势：

　　将这一协议向整个市场开放，意味着任何人都能拥有其中的一部分。而其潜在的扩展性之大，显然已经让不少极客兴奋不已。

　　Nous 的初期目标是先上线一个封闭测试网（Phase 0），验证是否能在 Solana 上运行一个更大规模、分布式、具备容错能力的 DisTrO 系统。后续阶段会逐步引入更高级的功能。

　　在 Phase 0 阶段，贡献者可以携带自己的 GPU 加入进来（明确提到支持4090、A100 和 H100等型号），并开始获得奖励。此阶段会对参与者进行筛选，以防止恶意行为者加入。

　　一旦系统稳定运行，权限将逐步开放，允许不同类型的计算资源（无论是专业的还是消费级的）自由接入网络，协助训练 Llama、Diffusion 等不同类型的模型架构。

　　强化学习（Reinforcement Learning，RL）不依赖于预先准备好的数据集，而是通过模型与环境直接互动来学习。

　　每个节点如果做出有助于模型进化的行为，就会获得正反馈，反之则获得负反馈。

　　这极大缓解了传统训练中常见的「同步难题」，特别是在硬件能力和网络延迟差异大的情况下。

　　通过 RL，Psyche 上的预训练模型可以进一步学会推理能力和领域知识。

　　而每个 Psyche 节点在训练过程中的表现都将影响它的奖励：计算能力更强或使用了更先进训练方法的节点，可能会获得更多代币激励。

　　在常常被斥为「过度炒作又频频令人失望」的区块链生态中，能看到真正的创新成果，确实令人欣慰 —— 简直让人「冷漠的灵魂也重新燃起了热情」。

　　Nous 并不是一开始就拥抱区块链技术的，相反，他们几乎是被「拖着、踢着、喊着」走上了这条路 ——

　　他们需要一种方式，不论对方来自哪里，都能吸引计算资源与人才并进行公平支付；区块链，在这一点上表现得无比出色。

　　他们需要一种手段，能够协调并扩展大规模训练任务；而协调与扩展，正是区块链技术的「第二天性」。

　　他们还需要一种不受停电、封禁、宕机等影响的托管机制，能让项目「打不死」、无法被关闭；在这方面，区块链（这次不再是讽刺）也的确提供了最可靠的保障。

　　而最值得欣慰的是：这一次，人们选择区块链，不是出于投机炒作，而是出于对实际问题的认真思考与真实需求的回应。

　　如果 Psyche 成功了，它不仅将证明去中心化训练是切实可行的，更是回归初心：为取代的集中化计算，提供了强有力的工具。

　　本文来自微信公众号：新智元（ID：AI_era），原标题《刷新世界记录！40B 模型 + 20 万亿 token，散户组团挑战算力霸权》

　　广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。

　　北京最大单体智算集群亮相：规模突破 10000P，算力可顶 500 万台高性能笔记本

　　韩国加码 AI 竞争，拟为国家计算中心采购 10000 个高性能 GPU

　　全球 AI 算力报告出炉：LLM 最爱 A100，谷歌坐拥超 100 万 H100 等效算力

　　字节跳动回应 120 亿美元投资 AI 基础设施：相关预算与规划并不正确

　　2024 年全国数据市场交易规模预计超 1600 亿元，同比增长 30％以上