Reflection、Apache 2.0で公開のオープンモデル「Beam」を発表 総パラメータ501B

米国拠点の新興AIラボReflectionは、2026年10月16日に初のモデル「Beam」をHugging Face上で公開しました。このMixture-of-Experts（MoE）モデルの総パラメータ数は5,010億で、トークンごとに約230億パラメータが稼働します。ライセンスはApache 2.0で、商用利用も認められています。

Beamはテキスト入力のみに対応し、100万トークンのコンテキストウィンドウを備えています。Reflectionはソフトウェアエンジニアリングやエージェント型のワークロードを主な用途として位置づけており、自社のハードウェアやクラウド上で実行・カスタマイズできる、フロンティア級の規模のモデルを求めるチームを想定しています。今回の公開には、Rustで書かれた専用のオープンソース・ハーネスも含まれており、同社によれば、このハーネスを使うとモデルの性能を最大限に引き出せるとのことです。

アーキテクチャとハードウェア

モデルは52層で構成されています。最初の3層を除く全層がMoEブロックを採用し、256のエキスパートを備えています。トークンごとにそのうち8つがルーティングされます。ルーティングはDeepSeek-V3で導入されたグループ制限方式に従っていますが、Beamは共有エキスパートを省いています。43層は直前の512トークンを対象とするスライディングウィンドウ注意機構を使用し、残りの9層は全コンテキストを参照します。これにより、キャッシュの増加はトークンあたり約36 KiBに抑えられ、全層でグローバル注意を用いる設計に比べて約6分の1で済みます。

すべてのエキスパートがメモリ上に保持されるため、Beamの推論には501Bモデル相当のメモリが必要ですが、速度は230億パラメータモデルに近い水準で動作します。BF16版のチェックポイントはおよそ1TBです。Reflectionは、HopperおよらAmpereチップ向けに適したFP8版の重みも提供しており、NVIDIA Blackwell GPU向けには、大部分のパラメータを4ビット精度で格納するNVFP4版も用意しています。transformers、vLLM、SGLangへの対応は公開時点から提供されており、教師ありファインチューニングと強化学習のレシピも用意されています。

ベンチマーク

Reflectionが提供した数値によると、BF16版はSWEBench Verifiedで81.6%、Terminal Bench v2.1で80.1%、SWE Bench Pro v1で66.1%のスコアを記録しています。同社の数値では、フル精度版と精度を下げた版のチェックポイントの間に生じる差はわずかです。これらの結果は開発元によるもので、まだ第三者による検証は受けていません。

Reflectionはまた、Beamをベースに構築された優れたコミュニティプロジェクトに対して、Hugging Face Hubのクレジット1万ドル分を提供すると発表しています。対象はデモから量子化、ベンチマーク研究まで幅広く含まれます。今回の公開により、自社管理のインフラにデプロイできる、コーディングに特化した大規模オープンウェイトモデルの選択肢がもう一つ加わりました。