テクノロジー
最近ローカルLLMがアツいらしい

気に入った記事をブックマーク

気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
記事を読んだ感想やメモを書き残せます
非公開でブックマークすることもできます

最近ローカルLLMがアツいらしい

テクノロジーカテゴリーの変更を依頼記事元:

soysoftware.sakura.ne.jp

適切な情報に変更

エントリーの編集

エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。

このページのオーナーなので以下のアクションを実行できます

タイトル、本文などの情報を
再取得することができます

コメントを非表示にできますコメント表示の設定

ブックマークしました

ここにツイート内容が記載されますhttps://b.hatena.ne.jp/URLはspanで囲んでください

Twitterで共有

次回からTwitterへ自動リダイレクト

ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します

1067usersがブックマークコメント

コメントするにはログインが必要ですブックマークを追加

ブックマークを追加

よく使うタグ

最近ローカルLLMがアツいらしい

1067 users

soysoftware.sakura.ne.jp

よく使うタグ

はてなブックマークで
関心をシェアしよう

みんなの興味と感想が集まることで
新しい発見や、深堀りがもっと楽しく

ユーザー登録

アカウントをお持ちの方はログインページへ

記事へのコメント95件

注目コメント
新着コメント

yusuke-k100万円以上お金をかけてローカルLLMを動かす動機が「ChatGPTはエロチャできない」なのすごく人類の発展の歴史感ある

2024/05/20リンク

その他

degucho常時600Wは物理的に熱いな

2024/05/21リンク

その他

Imamura最近のLLMの動向がまとまっている。面白いなあ。研究者はすごいのを出してもそこで興味を失いメンテはしてくれないのはその通りで…IllyasvielさんForgeをお願いします…

対話型AI

2024/05/20リンク

その他

ledsunLLM組み込んだサービスを提供するならローカルLLMを組まないとコストで負けそう。いや、20年ぶりくらいにITでハードウェア投資のしがいのあるネタが出てきたの、かも。

2024/05/20リンク

その他

agricolaローカルLLMがアツいのはRAGで門外不出のデータを踏まえた回答を生成させるためだと思っとったが……。

2024/05/20リンク

その他

KoshianXこの前ブログにも書いた話だけどやっぱりローカルLLMのムーブメントは来てるよねえ。100万円出して Mac Studio 買うのもいいが Ryzen 9050 あたりが出ると Apple Silicon みたいな速度が出るかもという期待もあり

2024/05/20リンク

その他

roshiGPUに左右されるという意味でビットコインのマイニングに沸いてた時期を思い出した。研究者と有志のモチベーションの違いも興味深い。

2024/05/20リンク

その他

replier"ケースを開けてみたらもう１枚GPUを積めるスペースなんてどこにもなかった。" ほんとこれ。

2024/05/20リンク

その他

shodaiChatGPT Plusなら月額3千円払うだけでGPT-4Tがたっぷり使えてしまう。もしもAPIで同じような使い方したら軽く数万円かかってしまいかねない。断然ChatGPTに課金した方がオトクだ。

2024/05/20リンク

その他

shagゲーム用のGPUを複数台組んで推論用途に使うやつ、ゲーム用GPUの価格高騰するんでやめて欲しい。

2024/05/21リンク

その他

strawberryhunter情熱と時間の無駄遣いな気もするが、何もしていない人より1億倍有用だろう。

未分類

2025/02/03リンク

その他

peppers_white普及にはGUI化が必須だと思うのでまあしばらくおもちゃよね

2024/05/25リンク

その他

mikuti2面白。ローカルLLMが企業で外に出せない用途を思い浮かべたけれども、個人におけるプライバシーに対する個人AI（執事さん的な）とか、規制があるエロ・小説だとか、ゲーム利用があると。

2024/05/21リンク

その他

fnmケースを開けてみたらもう１枚GPUを積めるスペースなんてどこにもなかった。→その為のライザーケーブルでは？

2024/05/21リンク

その他

Kesinやはり技術はオープンな方が発展が速いというのが伝わってきて面白い

2024/05/21リンク

その他

otoan52研究と開発は違うからなー。

2024/05/21リンク

その他

l-_-ll"Command R+で推論がしたければCohereのAPIが一カ月当たり1000回まで無料で叩けてしまうので、普段使い程度の量ならそれで十分なのではないだろうか。それで足りなければ、Gemini1.5Flashなんて１日1500回も無料で叩けてしまう"

2024/05/21リンク

その他

kyopecoLocal LLMが熱いのは、セキュリティ+プライバシー観点で、外出しできないデータ&リクエストを使えるからだと思ったけど違うのかしら。

2024/05/21リンク

その他

rosiromac mini

2024/05/21リンク

その他

ya--madaAPIの料金に比べてChatGPT Plusの料金が安すぎるという問題がある。ChatGPT Plusなら月額3千円払うだけでGPT-4Tがたっぷり使えてしまう。もしもAPIで同じような使い方したら軽く数万円かかってしまいかねない

2024/05/21リンク

その他

keijak"LLMの推論というのは実は演算性能よりもメモリ帯域幅がモノを言うらしい"

2024/05/21リンク

その他

aovenそもそもアマチュアエンジニアにとって最先端のAIテクノロジーが自分のパソコンで体験できるのは大きいと思う

2024/05/21リンク

その他

temtanchat-GPT を触っているとエロ方面もそうだけど、とにかく1投稿毎に特定の価値観への方向への矯正を感じるのでそういうのがうざったいとは思うが価格が価格だとな

2024/05/21リンク

その他

ktakeda47"そもそも、タダで推論したいだけなら大抵の人にとってはCommand R+やGemini1.5Flashの無料API枠を叩いとけば十分な状況かもしれない。現状ではローカルLLMよりもGemini1.5Flashの方が多分性能高いのだから。"

2024/05/21リンク

その他

shagゲーム用のGPUを複数台組んで推論用途に使うやつ、ゲーム用GPUの価格高騰するんでやめて欲しい。

2024/05/21リンク

その他

yoshikieローカルLLMがクラウドだと高すぎるわけだが、こんな理由でオンプレ回帰の動きが出てくるとは思わなかった。クラウド事業者各社もいずれ対策すると思うが

2024/05/21リンク

その他

pwatermarkローカルLLMは何より「気軽に好き放題出来るから開発環境として最適」なのですよ開発試験試行錯誤するたびにAPI課金は辛すぎるんでねただしコンテキスト長く出来ない、コレが辛い

2024/05/21リンク

その他

syu-m-5151エロと軍事はローカルLLMが絶対に必要なのではないかと思っている。なんならローカルLLMが企業の競争力の源泉になる日も近いし将来的にはローカルLLMの合同採用面談とかあるかもしれん。

2024/05/21リンク

その他

etahAPI叩いたら”最初から負け確定”ってのは言い過ぎなんだが、この言説が広まると競合が減って弊社のポジションが相対的に勝ち確になるからどんどん広まってほしい

2024/05/21リンク

その他

timetrainローカルにエロ追及である一方、モデルの開放にオープン志向があってすごい世界だなと思う

ChatGPT

2024/05/21リンク

その他

xanaduuu個人的な用途では、必要な時にクラウドなりサービスを利用する方がトータルコストは安く上がっちゃうな。AI扱うエンジニアさんはそうはいかんだろうけど。

2024/05/21リンク

その他

GARAPONgpuの排熱で部屋がアツイ

2024/05/21リンク

その他

gfx"GPTのAPIはコスパが悪い。いやまあ、GPT-4じゃなくてGPT-3.5Tならかなり安いけど、今となってはしょぼくて使う気になれない。そんなだから、OpenAIのAPIよりもオープンなモデルに目を向けてみようかという動きも出てきてる"

2024/05/21リンク

その他

stealthinu2024/5現在のローカルLLMの状況がまとめられてて今後何年かしたら歴史的資料価値が出そうなくらい。ローカルLLMは絶対に社外に情報だしたくないJTCとかで需要があると思う。

2024/05/21リンク

その他

prjpn凄い熱量の纏め

2024/05/21リンク

その他

NOTGエロもそうかもしれないけどエンタープライズ領域ではローカルが求められることになるのでは

2024/05/21リンク

その他

TakamoriTarou遊んでみたい.バッチ処理はあついな

2024/05/21リンク

その他

ultimatebreak4060tiですらぶん回してると部屋が暑くなるのにハイエンド複数とかエアコン代もエグそう

2024/05/21リンク

その他

boxmanx99「やるなら人柱覚悟でどうぞ」うん

テクノロジー

2024/05/21リンク

その他

kei_1010俺もやりたい。不謹慎な方向で宗教談義がしたい。そもそも現実は偏見で溢れてるんだから規制せずに偏見の両極端な意見(でも論理的には筋道が通ってる意見)同士を戦わせたい。

2024/05/21リンク

その他

コメントするにはログインが必要ですログインしてコメント

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

リンクを埋め込む

以下のコードをコピーしてサイトに埋め込むことができます

プレビュー

はてなブックマークボタンを作成して埋め込むこともできます

規約違反を報告

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

usersに達しました！

さんが1番目にブックマークした記事「最近ローカルLLMが...」が注目されています。

気持ちをシェアしよう

ツイートする

最近ローカルLLMがアツいらしい

最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。ローカルLLMって何じゃ？...最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題＆OpenAIがAIベンチャー皆殺しにしてしまう問題まず「結局GPTのAPIを叩いてサービス運営して成功し