Nos recherches
2026
Mamba-3 : une meilleure modélisation des séquences grâce aux principes des espaces d'état
Aakash Lahoti, Kevin Y. Li, Berlin Chen, Caitlin Wang, Aviv Bick, J. Zico Kolter, Tri Dao, Albert Gu
Distillation tenant compte de la récupération pour les hybrides Transformer-SSM
Aviv Bick, Eric P. Xing, Albert Gu
2025
Chimera : les modèles d'espace d'état au-delà des séquences
Aakash Lahoti, Tanya Marwah, Ratish Puduppully, Albert Gu
Découpage dynamique pour la modélisation hiérarchique de séquences de bout en bout
Sukjun Hwang, Brandon Wang, Albert Gu
Llamba : passage à l'échelle de modèles récurrents distillés pour un traitement efficace du langage
Aviv Bick, Tobias Katsch, Nimit Sohoni, Arjun Desai, Albert Gu
Réfléchir lentement, rapidement : augmenter le calcul d'inférence avec des modèles de raisonnement distillés
Daniele Paliotta, Junxiong Wang, Matteo Pagliardini, Kevin Y. Li, Aviv Bick, J. Zico Kolter, Albert Gu, François Fleuret, Tri Dao
Comprendre et améliorer la généralisation aux longues séquences dans les modèles récurrents
Ricardo Buitrago Ruiz, Albert Gu
2024
Based : des modèles de langage à attention linéaire simple équilibrent le compromis entre rappel et débit
Simran Arora, Sabri Eyuboglu, Michael Zhang, Aman Timalsina, Silas Alberti, Dylan Zinsley, James Zou, Atri Rudra, Christopher Ré
Les transformers sont des SSM : modèles généralisés et algorithmes efficaces grâce à la dualité des espaces d'état structurés
Albert Gu*, Tri Dao*
Zoology : mesurer et améliorer le rappel dans les modèles de langage efficaces
Simran Arora, Sabri Eyuboglu, Aman Timalsina, Isys Johnson, Michael Poli, James Zou, Atri Rudra, Christopher Ré
2023
2022
Domino : découvrir les erreurs systématiques grâce aux représentations multimodales
Sabri Eyuboglu, Maya Varma, Khaled Saab, Jean-Benoit Delbrouck, Christopher Lee-Messer, Jared Dunnmon, James Zou, Christopher Ré
Modéliser efficacement les longues séquences avec des espaces d'état structurés
Albert Gu, Karan Goel, Christopher Ré
Comment entraîner votre HiPPO : modèles d'espace d'état avec projections sur des bases orthogonales généralisées
Albert Gu, Isys Johnson, Aman Timalsina, Atri Rudra, Christopher Ré
À l'état brut ! Génération audio avec des modèles d'espace d'état
Karan Goel, Albert Gu, Chris Donahue, Christopher Ré
S4ND : modéliser les images et les vidéos comme des signaux multidimensionnels grâce aux espaces d'état
Eric Nguyen, Karan Goel, Albert Gu, Gordon W. Downs, Preey Shah, Tri Dao, Stephen A. Baccus, Christopher Ré