『#1-258 Mambaは「賢く忘れて」Transformerを超える』のカバーアート

#1-258 Mambaは「賢く忘れて」Transformerを超える

#1-258 Mambaは「賢く忘れて」Transformerを超える

無料で聴く

ポッドキャストの詳細を見る

概要

 Mambaは、従来のTransformerが持つ計算の非効率性を解消する新しい選択的状態空間モデル(Selective SSM)です。入力に応じたデータ選択機能ハードウェア最適化により、数百万トークンの長いシーケンスでも線形スケーリングで高速に処理します。

 言語やゲノミクス等の多領域で最高水準の精度を達成。Transformerと比較して、推論スループットは5倍向上し、モデルサイズが2倍の既存モデルに匹敵する性能を示します。現代の深層学習における強力な次世代バックボーン候補です。

まだレビューはありません