Movatterモバイル変換

rnnとrwkvに関するpetite_blueのブックマーク (2)

GitHub - BlinkDL/RWKV-LM: RWKV (pronounced RwaKuv) is an RNN with great LLM performance, which can also be directly trained like a GPT transformer (parallelizable). We are at RWKV-7 "Goose". So it's combining the best of RNN and transformer - great perfor
RWKV website: https://rwkv.com (with 90+ RWKV-related papers) RWKVtwitter: https://twitter.com/BlinkDL_AI (lastest news) RWKVdiscord: https://discord.gg/bDSBUMeFpc (9k+ members) RWKV-7 "Goose" is the strongestlinear-time & constant-space (no kv-cache) & attention-free & 100% RNN architecture on this planet at this moment, suitable for LLM and multimodal applications and more (see rwkv.com). IMP
petite_blue2023/03/27
rnn
lmm
rwkv
リンク
完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す｜shi3z
Transf ormerは分散できる代償として計算量が爆発的に多いという不利がある。一度みんなが忘れていたリカレントニューラルネットワーク(RNN)もボケーっとしている場合ではなかった。なんと、GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデルが公開されていた。そのなもRWKV(RuwaKuvと発音しろと書いてある。ルワクフ?) RWKVはRNNなのでGPUメモリをそれほど大量に必要としない。 3GBのVRAMでも動くという。時間がない方はビデオをご覧ください僕の失敗は、何も考えずにgit lfs installでディレクトリごとコピーしようとしたこと。このディレクトリには過去のモデルデータが全部あるので、ひとつ30GBのモデルデータを何十個もダウンロードしようとしていて終わらなかったのだ。モデルデータは一とつあれば十分なのでひとつだけにする。次に、chatのリポ
petite_blue2023/03/27
rnn
lmm
rwkv
リンク
1

Movatterモバイル変換

はてなブックマーク

タグ

関連タグで絞り込む (1)

rnnとrwkvに関するpetite_blueのブックマーク (2)

GitHub - BlinkDL/RWKV-LM: RWKV (pronounced RwaKuv) is an RNN with great LLM performance, which can also be directly trained like a GPT transformer (parallelizable). We are at RWKV-7 "Goose". So it's combining the best of RNN and transformer - great perfor

完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す｜shi3z

お知らせ

今週のはてなブックマーク数ランキング（2025年12月第2週）

今週のはてなブックマーク数ランキング（2025年12月第1週）

月間はてなブックマーク数ランキング（2025年11月）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス