私たちの研究
2026
2025
Chimera：系列を超えた状態空間モデル
Aakash Lahoti, Tanya Marwah, Ratish Puduppully, Albert Gu
エンドツーエンドの階層型系列モデリングのための動的チャンク分割
Sukjun Hwang, Brandon Wang, Albert Gu
Llamba：効率的な言語処理に向けた蒸留再帰モデルのスケーリング
Aviv Bick, Tobias Katsch, Nimit Sohoni, Arjun Desai, Albert Gu
Thinking Slow, Fast：蒸留した推論モデルで推論時の計算量をスケールさせる
Daniele Paliotta, Junxiong Wang, Matteo Pagliardini, Kevin Y. Li, Aviv Bick, J. Zico Kolter, Albert Gu, François Fleuret, Tri Dao
再帰モデルにおける系列長への汎化能力の理解と改善
Ricardo Buitrago Ruiz, Albert Gu
2024
Based：シンプルな線形Attention言語モデルによる想起能力とスループットの両立
Simran Arora, Sabri Eyuboglu, Michael Zhang, Aman Timalsina, Silas Alberti, Dylan Zinsley, James Zou, Atri Rudra, Christopher Ré
Transformers are SSMs：構造化状態空間の双対性によるモデルの一般化と効率的なアルゴリズム
Albert Gu*, Tri Dao*
Zoology：効率的な言語モデルの想起能力を測定・改善する
Simran Arora, Sabri Eyuboglu, Aman Timalsina, Isys Johnson, Michael Poli, James Zou, Atri Rudra, Christopher Ré
2023
2022
Domino：クロスモーダル埋め込みによる系統的エラーの発見
Sabri Eyuboglu, Maya Varma, Khaled Saab, Jean-Benoit Delbrouck, Christopher Lee-Messer, Jared Dunnmon, James Zou, Christopher Ré
構造化状態空間による長い系列の効率的なモデリング
Albert Gu, Karan Goel, Christopher Ré
How to Train Your HiPPO：一般化直交基底射影による状態空間モデル
Albert Gu, Isys Johnson, Aman Timalsina, Atri Rudra, Christopher Ré
It's Raw! 状態空間モデルによる生の音声波形の生成
Karan Goel, Albert Gu, Chris Donahue, Christopher Ré
S4ND：状態空間を用いて画像と動画を多次元信号としてモデル化する
Eric Nguyen, Karan Goel, Albert Gu, Gordon W. Downs, Preey Shah, Tri Dao, Stephen A. Baccus, Christopher Ré