우리의 연구
2026
2025
Chimera: 시퀀스를 넘어선 상태 공간 모델
Aakash Lahoti, Tanya Marwah, Ratish Puduppully, Albert Gu
엔드투엔드 계층적 시퀀스 모델링을 위한 동적 청킹
Sukjun Hwang, Brandon Wang, Albert Gu
Llamba: 효율적인 언어 처리를 위한 증류 순환 모델의 확장
Aviv Bick, Tobias Katsch, Nimit Sohoni, Arjun Desai, Albert Gu
느리게, 빠르게 생각하기: 증류된 추론 모델로 추론 연산량 확장
Daniele Paliotta, Junxiong Wang, Matteo Pagliardini, Kevin Y. Li, Aviv Bick, J. Zico Kolter, Albert Gu, François Fleuret, Tri Dao
순환 모델의 길이 일반화 이해 및 개선
Ricardo Buitrago Ruiz, Albert Gu
2024
Based: 단순 선형 어텐션 언어 모델의 회상 성능과 처리량 간 균형
Simran Arora, Sabri Eyuboglu, Michael Zhang, Aman Timalsina, Silas Alberti, Dylan Zinsley, James Zou, Atri Rudra, Christopher Ré
트랜스포머는 SSM이다: 구조화된 상태 공간 쌍대성을 통한 일반화 모델과 효율적 알고리즘
Albert Gu*, Tri Dao*
Zoology: 효율적 언어 모델의 회상 성능 측정 및 개선
Simran Arora, Sabri Eyuboglu, Aman Timalsina, Isys Johnson, Michael Poli, James Zou, Atri Rudra, Christopher Ré
2023
2022
Domino: 교차 모달 임베딩으로 체계적 오류 발견하기
Sabri Eyuboglu, Maya Varma, Khaled Saab, Jean-Benoit Delbrouck, Christopher Lee-Messer, Jared Dunnmon, James Zou, Christopher Ré
구조화된 상태 공간을 이용한 긴 시퀀스의 효율적 모델링
Albert Gu, Karan Goel, Christopher Ré
HiPPO 학습 방법: 일반화된 직교 기저 투영을 활용한 상태 공간 모델
Albert Gu, Isys Johnson, Aman Timalsina, Atri Rudra, Christopher Ré
It's Raw! 상태 공간 모델을 활용한 오디오 생성
Karan Goel, Albert Gu, Chris Donahue, Christopher Ré
S4ND: 상태 공간으로 이미지와 동영상을 다차원 신호로 모델링
Eric Nguyen, Karan Goel, Albert Gu, Gordon W. Downs, Preey Shah, Tri Dao, Stephen A. Baccus, Christopher Ré