Nuestra investigación
2026
2025
Chimera: modelos de espacio de estados más allá de las secuencias
Aakash Lahoti, Tanya Marwah, Ratish Puduppully, Albert Gu
Fragmentación dinámica para el modelado jerárquico de secuencias de extremo a extremo
Sukjun Hwang, Brandon Wang, Albert Gu
Llamba: escalado de modelos recurrentes destilados para un procesamiento eficiente del lenguaje
Aviv Bick, Tobias Katsch, Nimit Sohoni, Arjun Desai, Albert Gu
Pensar despacio, rápido: escalado del cómputo de inferencia con razonadores destilados
Daniele Paliotta, Junxiong Wang, Matteo Pagliardini, Kevin Y. Li, Aviv Bick, J. Zico Kolter, Albert Gu, François Fleuret, Tri Dao
Comprender y mejorar la generalización de longitud en modelos recurrentes
Ricardo Buitrago Ruiz, Albert Gu
2024
Based: modelos de lenguaje con atención lineal simple equilibran la recuperación y el rendimiento
Simran Arora, Sabri Eyuboglu, Michael Zhang, Aman Timalsina, Silas Alberti, Dylan Zinsley, James Zou, Atri Rudra, Christopher Ré
Los transformers son SSM: modelos generalizados y algoritmos eficientes mediante la dualidad estructurada del espacio de estados
Albert Gu*, Tri Dao*
Zoology: medición y mejora de la recuperación en modelos de lenguaje eficientes
Simran Arora, Sabri Eyuboglu, Aman Timalsina, Isys Johnson, Michael Poli, James Zou, Atri Rudra, Christopher Ré
2023
2022
Domino: detección de errores sistemáticos con embeddings multimodales
Sabri Eyuboglu, Maya Varma, Khaled Saab, Jean-Benoit Delbrouck, Christopher Lee-Messer, Jared Dunnmon, James Zou, Christopher Ré
Modelado eficiente de secuencias largas con espacios de estados estructurados
Albert Gu, Karan Goel, Christopher Ré
Cómo entrenar tu HiPPO: modelos de espacio de estados con proyecciones de bases ortogonales generalizadas
Albert Gu, Isys Johnson, Aman Timalsina, Atri Rudra, Christopher Ré
It's Raw! Generación de audio con modelos de espacio de estados
Karan Goel, Albert Gu, Chris Donahue, Christopher Ré
S4ND: modelado de imágenes y vídeos como señales multidimensionales mediante espacios de estados
Eric Nguyen, Karan Goel, Albert Gu, Gordon W. Downs, Preey Shah, Tri Dao, Stephen A. Baccus, Christopher Ré