AIHere

StepFun、6000億パラメータのMoEモデル「Step 5 Preview」をオープンウェイトで公開

中国のAI企業StepFunが、総パラメータ6000億・アクティブパラメータ270億、コンテキスト長100万トークンのスパースモデル「Step 5 Preview」のオープンウェイトを公開した。

AIHere ニュースデスク· 1 分で読めます🇨🇳 中国

中国のAIスタートアップStepFunは、言語モデル「Step 5 Preview」をオープンウェイトとして公開した。2026年10月17日時点で、FP8とBF16の両精度のチェックポイントがHugging FaceとModelScopeからダウンロードできる。

このモデルはスパースなMixture-of-Experts(MoE)設計を採用している。総パラメータは6000億だが、どのトークンに対しても活性化されるのは270億のみだ。また、Step 5 Previewは100万トークンのコンテキストウィンドウに対応している。

長期的なタスクを担うエージェント向けに設計

StepFunは、このモデルを長期的なエージェント型の作業に特化したものと説明している。こうしたタスクでは、AIシステムがツールを呼び出し、中間結果を管理し、長い多段階のワークフロー全体で一貫性を保つ必要がある。大きなコンテキストウィンドウにより、膨大な文書や長い対話履歴を一度に把握できることを目指しているという。

MoEアーキテクチャでは、入力ごとに専門化されたサブネットワークのうち一部だけが動作する。これにより、総容量が非常に大きいモデルでも、推論時の計算量ははるかに小規模な密モデルに近づけることができる。また、BF16と並んでFP8のチェックポイントを提供することで、提供に必要なメモリも削減される。

オープンモデル競争のもう一つの参入者

「Preview」という表記は、これが最終版ではないことを示している。現時点で入手可能な情報には、正式版の公開時期や詳細なベンチマーク比較は含まれていないため、競合モデルとの比較については独立した評価が必要になるだろう。

上海に拠点を置くStepFunは、大規模言語モデルを開発している中国のスタートアップの一つだ。フロンティア級のモデルをオープンウェイトで公開することは中国のAI開発企業の間で一般的な戦略となっており、研究者や企業はホスト型APIだけに頼らず、自前のインフラでモデルを動かし、調整できる選択肢を得ている。

#StepFun#オープンウェイト#Mixture-of-Experts#AIエージェント#中国

コメント

相手を尊重してください。コメントは自動で確認され、スパム、誹謗中傷、個人情報は削除されます。質問にはAIが回答する場合があります。

まだコメントはありません。議論を始めるか、質問してください。

関連