Nossa pesquisa
2026
2025
Chimera: modelos de espaço de estados além das sequências
Aakash Lahoti, Tanya Marwah, Ratish Puduppully, Albert Gu
Divisão dinâmica em blocos para modelagem hierárquica de sequências de ponta a ponta
Sukjun Hwang, Brandon Wang, Albert Gu
Llamba: ampliando modelos recorrentes destilados para processamento eficiente de linguagem
Aviv Bick, Tobias Katsch, Nimit Sohoni, Arjun Desai, Albert Gu
Thinking Slow, Fast: ampliando a computação de inferência com modelos de raciocínio destilados
Daniele Paliotta, Junxiong Wang, Matteo Pagliardini, Kevin Y. Li, Aviv Bick, J. Zico Kolter, Albert Gu, François Fleuret, Tri Dao
Compreensão e melhoria da generalização de comprimento em modelos recorrentes
Ricardo Buitrago Ruiz, Albert Gu
2024
Based: modelos de linguagem simples de atenção linear equilibram recuperação e capacidade de processamento
Simran Arora, Sabri Eyuboglu, Michael Zhang, Aman Timalsina, Silas Alberti, Dylan Zinsley, James Zou, Atri Rudra, Christopher Ré
Transformers são SSMs: modelos generalizados e algoritmos eficientes pela dualidade de espaços de estados estruturados
Albert Gu*, Tri Dao*
Zoology: medindo e melhorando a recuperação em modelos de linguagem eficientes
Simran Arora, Sabri Eyuboglu, Aman Timalsina, Isys Johnson, Michael Poli, James Zou, Atri Rudra, Christopher Ré
2023
2022
Domino: descoberta de erros sistemáticos com embeddings multimodais
Sabri Eyuboglu, Maya Varma, Khaled Saab, Jean-Benoit Delbrouck, Christopher Lee-Messer, Jared Dunnmon, James Zou, Christopher Ré
Modelagem eficiente de sequências longas com espaços de estados estruturados
Albert Gu, Karan Goel, Christopher Ré
Como treinar seu HiPPO: modelos de espaço de estados com projeções em bases ortogonais generalizadas
Albert Gu, Isys Johnson, Aman Timalsina, Atri Rudra, Christopher Ré
It's Raw! Geração de áudio com modelos de espaço de estados
Karan Goel, Albert Gu, Chris Donahue, Christopher Ré
S4ND: modelagem de imagens e vídeos como sinais multidimensionais usando espaços de estados
Eric Nguyen, Karan Goel, Albert Gu, Gordon W. Downs, Preey Shah, Tri Dao, Stephen A. Baccus, Christopher Ré