テクノロジー
自宅で動くChatGPTと噂のFlexGenをDockerで手軽に動かす

気に入った記事をブックマーク

気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
記事を読んだ感想やメモを書き残せます
非公開でブックマークすることもできます

自宅で動くChatGPTと噂のFlexGenをDockerで手軽に動かす

テクノロジーカテゴリーの変更を依頼記事元:

zenn.dev/karaage0703

適切な情報に変更

エントリーの編集

エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。

このページのオーナーなので以下のアクションを実行できます

タイトル、本文などの情報を
再取得することができます

コメントを非表示にできますコメント表示の設定

ブックマークしました

ここにツイート内容が記載されますhttps://b.hatena.ne.jp/URLはspanで囲んでください

Twitterで共有

次回からTwitterへ自動リダイレクト

ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します

379usersがブックマークコメント

コメントするにはログインが必要ですブックマークを追加

ブックマークを追加

よく使うタグ

自宅で動くChatGPTと噂のFlexGenをDockerで手軽に動かす

379 users

zenn.dev/karaage0703

よく使うタグ

はてなブックマークで
関心をシェアしよう

みんなの興味と感想が集まることで
新しい発見や、深堀りがもっと楽しく

ユーザー登録

アカウントをお持ちの方はログインページへ

記事へのコメント31件

注目コメント
新着コメント

sasasin_net「ゲームやらん採掘やらん機械学習やらんGPUなんて映ればイんだよ」と思っていましたが、ちょっと強いGPU欲しいかも

2023/02/26リンク

その他

anigokaあやつり左近はともかく、一家に一台原発時代はやってこなかったけど（むしろ来なくて良かった）一家に1台、いや一人にAIアシ1台時代には着実に近づいてる（既にsiriとかも居るけど

2023/02/26リンク

その他

cartman0スペックデカすぎて試せんな/ここまでやってngramレベルの人工無能初期って悲しい

2023/02/26リンク

その他

rmatsuoka(いつの間にか「繰りオウム」が「操りオウム」に変わってる…)

2023/02/27リンク

その他

yarumato“RTX3060(12GB)で、Dockerを使うことで簡単に動かせました。日本語も使えますが一番小さいモデルだったので頭がよくない。<-本体メモリ256GBが必要なところ32GBしか使っていない。結果が悲惨なのは当然だ。”

2023/02/27リンク

その他

tyheDDR5が4枚挿しにするとクロック落ちてしまうので4枚挿しに対応したRyzen待ち……

2023/02/26リンク

その他

T-norfチャットにこだわらなければ、（日本語特化も含め）学習済みモデルは多数配布されてて、Huggingface Transformersというフレームワークで使える。ってとこまでは調べてた。要求スペックが下がるインパクト大きいよ

2023/02/27リンク

その他

puhu208nGPUスペックそのものも欲しいが、VRAM容量がとにかく欲しいよな。「RTX3060(48bit DDR3) 64GB」みたいなGPUカードは作れないんだろうか? NVLinkとDDRを翻訳するFPGAとかでなんとかならんのか?

2023/02/27リンク

その他

EzoWolf"一番小さいモデルだったので結構アホですが" ELIZA（イライザ）を讃えよ

2023/02/26リンク

その他

tpircsAIの日本語対話、これGPU無しのWindowsマシンで普通に動いた（https://github.com/nttcslab/japanese-dialog-transformers/blob/main/README-jp.md）。WSLでも直接でもどちらでも。そこそこ面白い感じだった。

2023/02/27リンク

その他

mkusunokふた昔前の人工無能と何が違うのか分からんけど

2023/02/28リンク

その他

urtz幼児もそうだが、言語習得の第一段階はオウム返しなのね。つまりシャドーイングは大事ということか🧐

2023/02/28リンク

その他

estragon“Stable Diffusionもそうですが、やはりローカルでも動くというのは「自分のものになった！」という妙な安心感があって良いですね”、”日本語も使えます（アホですが）”、”メモリ 32GB”

2023/02/28リンク

その他

razokuloverかわいい

2023/02/27リンク

その他

pwatermark日本語が完全にアホだけどモデルのせいだな、あとは要求VRAMを4GBくらいまで落とせたら、ユーザ数爆発するね

2023/02/27リンク

その他

ET777おうむ返しかわいい🦜

2023/02/27リンク

その他

misshiki“自宅PCでChatGPT的なAIチャットが動くのは驚きですね。 Stable Diffusionもそうですが、やはりローカルでも動くというのは「自分のものになった！」という妙な安心感があって良い”

2023/02/27リンク

その他

programmablekinokoGPUが安く手に入ったら考える…

2023/02/27リンク

その他

shodai人工無能っぽい

2023/02/27リンク

その他

2023/02/27リンク

その他

2023/02/27リンク

その他

natu3kanAI系は処理速度だけでなく潤沢にVRAMないと満足に動かないから、古いビデオカードだと動作が遅い、そもそもメモリ不足で動かないのあるよな。

2023/02/27リンク

その他

2023/02/27リンク

その他

hunglysheep1意外と早い。5〜10年たったら普通になりそう

2023/02/27リンク

その他

solidstatesocietyいよいよ親の原資に依存していくなぁ

2023/02/27リンク

その他

kei_1010うーーん、まだまだ微妙だなぁ。shi3z のマシン(メモリ256GB, VRAM48GB)でもBLOOMの175bはめちゃ遅そう。しかもBLOOMは日本語にだけ非対応という。。。まだしばらくはbing ai弄りながら静観しとこ。

2023/02/27リンク

その他

2023/02/27リンク

その他

youichirouRTX3060の12GBで5万円前後か。

2023/02/27リンク

その他

jintrick3060はつよつよGPUじゃないそうな。

2023/02/27リンク

その他

rmatsuoka(いつの間にか「繰りオウム」が「操りオウム」に変わってる…)

2023/02/27リンク

その他

pechiyon自宅で動かすことができるけれども、資源が遊休すぎると思うのよね。都会ど真ん中で車持つみたいな感じで、便利だけどコスパ悪いみたいな。その辺はクラウドでよしなにしちゃいたいよなと思うも、それはそれでね…

2023/02/27リンク

その他

kusigahamaメインメモリ128GB、いま7-8万も出せば積めるんだなぁ / AI生成、企業が表に出すときはかなり不自由に束縛しなきゃいけなくなっちゃってるので、ローカルで動かす理由は大きいのよね

2023/02/27リンク

その他

toaruR日本語苦手なのかー(ノ∀`)

2023/02/26リンク

その他

EzoWolf"一番小さいモデルだったので結構アホですが" ELIZA（イライザ）を讃えよ

2023/02/26リンク

その他

sasasin_net「ゲームやらん採掘やらん機械学習やらんGPUなんて映ればイんだよ」と思っていましたが、ちょっと強いGPU欲しいかも

2023/02/26リンク

その他

zgmf-x20a私もやってみよう。

2023/02/26リンク

その他

2023/02/26リンク

その他

tyheDDR5が4枚挿しにするとクロック落ちてしまうので4枚挿しに対応したRyzen待ち……

2023/02/26リンク

その他

buhoho私はエッチな絵とか文章をAI生成したいだけで、GPUとかPCが欲しいわけじゃないんよ

2023/02/26リンク

その他

kenzy_nなかなか先は長い

2023/02/26リンク

その他

コメントするにはログインが必要ですログインしてコメント

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

リンクを埋め込む

以下のコードをコピーしてサイトに埋め込むことができます

プレビュー

はてなブックマークボタンを作成して埋め込むこともできます

規約違反を報告

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

usersに達しました！

さんが1番目にブックマークした記事「自宅で動くChatGPT...」が注目されています。

気持ちをシェアしよう

ツイートする

自宅で動くChatGPTと噂のFlexGenをDockerで手軽に動かす

自宅で動くChatGPTと噂のFlexGenを試すshi3zさんが興奮して動かしていたFlexGen 関係する記事は以下ツ...自宅で動くChatGPTと噂のFlexGenを試すshi3zさんが興奮して動かしていたFlexGen 関係する記事は以下ツヨツヨGPUが無いと動かないと思っていたのですが、タイムラインでミクミンPさんが、RTX3060でFlexGenを動かしているツイートを発見。「RTX3060なら自分も持っている！」ということで、試してみることにしました。追記：私がこの記事で動かしているのは小さいモデルです。とりあえずお試しで動かしただけで、shi3zさんが動かしているモデルとは異なります。性能の参考にする記事ではないので、ご承知ください。より大きいサイズのモデルの使用に関しては、FlexGenの公式リポジトリを参照ください。私も今後試したら追記していきます（現状、私の環境では動かせてないです）。 FlexGenをDockerで動かす結果的には、Dockerを使うことで簡単に動かせました。