Et si l’intelligence artificielle cessait de traiter le monde en fragments statiques pour adopter un raisonnement fluide, dynamique et évolutif, à l’image du cerveau humain ?
C’est le pari audacieux de Sakana AI avec ses Continual Thinking Machines (CTM), une nouvelle génération d’architectures neuronales inspirées de la neurobiologie et conçues pour dépasser les limites fondamentales des modèles de type Transformer.
Penser en flux continu : une révolution cognitive
À la différence des architectures classiques basées sur le traitement par lots (batch processing) — qui scindent l’information en blocs rigides — les CTM se basent sur une intégration continue des données, un paradigme plus proche des processus cognitifs naturels. Le cerveau humain n’attend pas que l’ensemble d’une séquence soit disponible pour produire une réponse : il analyse, interprète et ajuste sa compréhension au fil du temps, selon un mécanisme adaptatif. C’est précisément cette capacité de raisonnement incrémental, évolutif et contextuel que Sakana AI cherche à implémenter dans ses modèles.
Une inspiration puisée dans la biologie : les spiking neural networks
Le fondement biologique des CTM repose sur les réseaux de neurones à impulsions (Spiking Neural Networks – SNN). Contrairement aux neurones artificiels traditionnels, les neurones à impulsions ne fonctionnent pas sur une activation continue, mais sur des signaux discrets temporellement codés : des “spikes”. L’information est transmise non seulement par la fréquence, mais aussi par le timing précis de ces impulsions. Cette dimension temporelle riche permet un codage plus efficace et plus économe que les réseaux conventionnels.
Transformer vs CTM : vers une efficacité computationnelle accrue
Les Transformers, devenus l’architecture dominante de l’IA générative, traitent chaque séquence dans sa globalité, avec des calculs massifs d’attention sur tous les tokens. Cela devient rapidement coûteux et rigide, notamment dans les contextes de longue durée. Les CTM, à l’inverse, introduisent une plasticité computationnelle : les connexions neuronales peuvent évoluer en temps réel, s’adapter à la durée de traitement disponible, et moduler leur structure en fonction du flux d’informations entrantes.
Ce fonctionnement évoque celui de la mémoire de travail humaine : penser plus longtemps à une information importante, ou l’oublier progressivement si elle devient moins pertinente. En cela, les CTM pourraient ouvrir la voie à des modèles plus efficaces, réactifs et économes en ressources, capables de s’ajuster dynamiquement aux contextes d’usage.
Vers une IA délibérative et adaptative
En permettant à une machine de “penser en continu”, Sakana AI ne cherche pas simplement à imiter le fonctionnement du cerveau, mais à transformer la nature même de l’intelligence artificielle : passer d’un modèle de calcul statique à un modèle délibératif, capable d’ajuster la durée et l’intensité de son raisonnement en fonction des enjeux et de l’incertitude.
À terme, cette approche pourrait révolutionner de nombreux domaines :
agents conversationnels plus naturels, robots autonomes adaptatifs, systèmes de décision en environnement incertain, ou encore IA embarquée dans des dispositifs à faible consommation énergétique.
Avec les Continual Thinking Machines, Sakana AI amorce une rupture technologique majeure. En puisant dans la richesse temporelle du cerveau et en rompant avec la rigidité des modèles actuels, l’entreprise japonaise ouvre la voie à une nouvelle ère de l’intelligence artificielle, où la pensée artificielle pourrait enfin devenir aussi fluide, adaptative et contextuelle que celle des humains.
