Meta也不想开源了？Llama 4 Behemoth项目或被放弃。 根据《纽约时报》的最新爆料，Meta已考虑放弃Llama 4 Behemoth项目，在新成立的超级智能实验室中，部分高级员工正转向开发闭源模型。 Behemoth原本是Meta今年一个重磅的AI计划，号称是Meta迄今为止“最大、功能最强大”的AI模型，它原本计划在今年晚些时候发布。 然而相关消息显示，尽管Meta已完成对Behemoth模型的训练，但模型因“内部性能表现不佳”而推迟发布。 事实上，自上月Meta宣布成立超级智能实验室后，相关团队已停止对该模型进行测试。 Behemoth到底出了什么问题？研究机构SemiAnalysis在其最新报告中分析了部分原因： 分块注意力技术可能是个决策失误 为了提升运行效率，Behemoth用了“分块注意力”技术。简单说，就是把输入信息按区块切开，每个部分只看自己那一块。 听起来挺省资源的，但问题也很明显：“分块注意力机制会产生认知盲区——尤其在区块边界处尤为明显。” 每个分割区块只能访问自身区块内的标记，无法获取前一区块内容。逻辑一旦跨区块，模型就跟不上，长链推理变得很难搞。 路由机制临时改，专家网络晕了 Behemoth模型与主流大模型一样，采用混合专家架构。但Meta在训练中期突然切换了路由机制，打乱专家网络的专业化进程，导致整个系统变得不稳定，性能也没法最大化。 训练数据瓶颈 此前Meta一直使用Common Crawl等公开数据，却在训练中途改用自建网络爬虫系统。虽然理论上更优，但新数据流的清洗去重遇到了困难，整个流程也未经大规模压力测试。 与OpenAI、Deepseek等所有其他顶尖AI实验室不同，Meta并未利用YouTube数据。缺乏这类数据可能导致该公司在多模态模型的研发上举步维艰。 研究实验扩展遭遇挑战 Llama 4团队的研究方向相互掣肘，缺乏统一决策导致模型发展路径不明。部分模型架构选择未经充分消融实验便仓促投入应用，最终造成扩展路径管理失控的局面。 总的来说，Behemoth的表现没达到Meta的期望，加上团队内部策略调整、数据和架构的问题，现在它很可能被放弃了。 不过，如果Meta真的转而开发闭源模型，这也将标志着他们彻底背离了长期秉持的开源AI战略传统。
