StepFun publie Step 5 Preview, un modèle MoE de 600 milliards de paramètres à poids ouverts

StepFun, une start-up chinoise spécialisée dans l'intelligence artificielle, a publié les poids ouverts de son modèle de langage Step 5 Preview. Depuis le 17 octobre 2026, les points de contrôle en précision FP8 et BF16 sont téléchargeables sur Hugging Face et ModelScope.

Le modèle repose sur une architecture épars de type Mixture-of-Experts (MoE). Il compte 600 milliards de paramètres au total, mais seuls 27 milliards sont activés pour chaque token. Step 5 Preview prend également en charge une fenêtre de contexte de 1 million de tokens.

Conçu pour les agents à long horizon

StepFun présente ce modèle comme spécialement conçu pour les tâches agentiques à long horizon. Ces tâches exigent d'un système d'IA qu'il appelle des outils, conserve la trace des résultats intermédiaires et reste cohérent au fil de workflows longs et composés de nombreuses étapes. La grande fenêtre de contexte doit permettre au modèle de garder simultanément à l'esprit de volumineux documents ou de longs historiques d'interactions.

Dans une architecture MoE, seul un sous-ensemble de sous-réseaux spécialisés s'exécute pour chaque entrée. Cela permet à un modèle à très grande capacité totale de limiter le calcul d'inférence à un niveau proche de celui d'un modèle dense bien plus petit. La livraison d'un point de contrôle FP8 aux côtés du BF16 réduit aussi la mémoire nécessaire à sa mise en service.

Une nouvelle pièce dans la course aux modèles ouverts

La mention « Preview » indique qu'il ne s'agit pas d'une version finale. Les informations disponibles ne précisent ni calendrier pour une version complète, ni comparaisons de benchmarks détaillées ; les affirmations sur les performances du modèle face à ses concurrents devront donc faire l'objet d'évaluations indépendantes.

Basée à Shanghai, StepFun fait partie de plusieurs start-up chinoises qui développent de grands modèles de langage. La publication de modèles de très grande taille en poids ouverts est devenue une stratégie courante chez les développeurs chinois d'IA, offrant aux chercheurs et aux entreprises la possibilité de faire tourner et d'adapter ces systèmes sur leur propre infrastructure, plutôt que de dépendre uniquement d'API hébergées.