AIHere

Reflection发布Beam:5010亿参数开源模型,采用Apache 2.0许可

美国新锐实验室Reflection于2026年10月16日在Hugging Face发布首个模型Beam,这是一款面向编程与智能体任务的5010亿参数开源模型。

AIHere 新闻编辑部· 1 分钟阅读🇺🇸 美国

总部位于美国的人工智能实验室Reflection于2026年10月16日在Hugging Face发布了首个模型Beam。该混合专家模型总参数量为5010亿,每个token约激活230亿参数。模型采用Apache 2.0许可证,允许商业使用。

Beam仅支持文本输入,上下文窗口达100万个token。Reflection将其定位于软件工程和智能体工作负载,面向希望在自有硬件或云端运行并定制前沿规模模型的团队。此次发布还包括一个专用的开源运行框架(harness),由Rust编写,该公司称其能让模型发挥最佳性能。

架构与硬件

该模型共52层。除前三层外,其余各层均采用混合专家模块,包含256个专家,每个token路由至其中8个。路由方式沿用DeepSeek-V3提出的分组受限方案,不过Beam取消了共享专家。43层采用滑动窗口注意力,仅关注前512个token;其余9层关注完整上下文。这使得缓存增长约为每个token 36 KiB,约为全局注意力设计所需的六分之一。

由于所有专家都需驻留在内存中,部署Beam需要5010亿参数模型的内存占用,而运行速度则接近230亿参数模型。BF16检查点约为1 TB。Reflection还提供适用于Hopper和Ampere芯片的FP8权重,以及面向NVIDIA Blackwell GPU的NVFP4版本,后者将大部分参数以4位精度存储。发布时即已支持transformers、vLLM和SGLang,并提供监督微调与强化学习的配方。

基准测试

据Reflection提供的数据,BF16版本在SWEBench Verified上得分81.6%,在Terminal Bench v2.1上得分80.1%,在SWE Bench Pro v1上得分66.1%。该公司的数据显示,完整精度与降低精度检查点之间的差异很小。这些结果来自开发者本身,尚未经过独立验证。

Reflection还将向基于Beam构建的最佳社区项目提供10,000美元的Hugging Face Hub额度,项目形式涵盖演示、量化版本以及基准研究。此次发布为寻求可在自有基础设施上部署的编程专用模型的机构,又增添了一个大型开放权重选项。

#Reflection#Beam#开放权重模型#编程AI#混合专家

评论

请保持尊重。评论会自动审核;垃圾信息、侮辱性言论和个人数据将被删除。问题可能由 AI 作答。

暂无评论。发起讨论或提出问题吧。

相关