サクサク読めて、
アプリ限定の機能も多数！
アプリで開く
半導体開発企業のBolt GraphicsがGPU「Zeus」を2025年3月6日に発表しました。ZeusはGeForce RTX 5090と比べて10倍のパストレーシング性能を備えているほか、VRAMを1カード当たり384GB、2Uラック当たり180TBまで増設可能です。 Bolt Graphics Announces Zeus: GroundbreakingGPU for High Performance Workloads https://www.prnewswire.com/news-releases/bolt-graphics-announces-zeus-groundbreaking-gpu-for-high-performance-workloads-302394495.html We're delighted to finally share the work we've
この記事は FIXER Advent Calendar2023 - Adventar 23日目の記事です。 はじめにこんにちは、毛利です。この記事では趣味用の自作PCにGPUを2枚挿してサイズが13BのLLMを動かす話をします。 LLMのパラメータ数と推論に必要なメモリ量についてまず初めに、LLMのパラメータ数に対して、推論に使う場合にどれぐらいのメモリが必要なのかを話します。ここで言うパラメータ数は7B(70億)、13B(130億)、70B(700億)といったものです。 精度によっても変わってくるのですが、配布されるモデルの精度としてはbfloat16であることが多いです。この場合は、1パラメータあたり2byteになるので、～Bの部分を2倍したGBが要求されると考えればよいです。例えば、7BのLLMであれば14GB、13BのLLMであれば26GBなどとなります。逆に4bit量子化等が行
大規模言語モデル(LLM)などを実行するために設計されたカスタムハードウェアである言語処理ユニット(LPU)を開発するGroqが、既存のLLMを爆速で動作させることができるアルファ版デモンストレーションを公開しました。 A company called Groq may have pushedAI chips to the next level https://www.androidheadlines.com/2024/02/openai-groq-ai.html ForgetChatGPT — Groq is the newAI platform to beat withblistering computation speed | Tom'sGuide https://www.tomsguide.com/ai/forget-chatgpt-groq-is-the-new-ai-
この Xwin-LM-13B-V0.1 モデル、13B（130億パラメーター）でありながらAlpacaEval ベンチマークにおいてなんとGPT-4に僅差で勝利している。対ChatGPT戦に至っては圧勝である。 しかもこのモデル、GPTQで量子化したTheBloke/Xwin-LM-13B-V0.1-GPTQ であれば7.26 GBである。 ついに家庭用ゲーミングPCでGPT-4が動く時代が来たのだ。 今を未来と呼ばずしてなんと呼ぶ。 というわけで、ローカルのText generation webUI で Xwin-LM-13B をロードして色々推論して遊んでみます。 2. WebUI での実行今回はmainブランチのモデルを使用しています。 4ビット、アクトオーダー、グループサイズ128g。VRAM使用量は64Gよりさらに少ないが、精度は若干落ちる。 Model タブの Downl
現在シリコンバレーで最も注目される話題は「GPU不足」といわれている。生成AIへの関心が高まる中、大規模言語モデルの開発が活発化し、それに伴いGPUをめぐる取得競争が激化しているためだ。そのため、NVIDIAが新たに発表した「GH200」にも注目が集まる。GH200はどんなGPUになるのか。そもそもなぜGPUが不足しているのか、現行GPU「H100」や「A100」は誰が、何個取得したのか、ChatGPTの開発にGPUはどれほど必要なのか。GPU関連の注目トピックを紹介しよう。 バークリー音大提携校で2年間ジャズ／音楽理論を学ぶ。その後、通訳・翻訳者を経て24歳で大学入学。学部では国際関係、修士では英大学院で経済・政治・哲学を専攻。国内コンサルティング会社、シンガポールの日系通信社を経てLivit参画。興味分野は、メディアテクノロジーの進化と社会変化。2014〜15年頃テックメディアの立ち上
ニューラルネットワークのトレーニングや実行にはGPUが使われることが多く、クラウドサービスのGPUの需要はAIの普及に伴い高まりつつあります。そんなクラウドGPUの構成や価格を、AI関連のニュース＆コミュニティサイト・The Full Stackが公開しました。 CloudGPUs - The Full Stack https://fullstackdeeplearning.com/cloud-gpus/ 表はクラウドサーバーとサーバーレスの2種類に分かれています。ピックアップされたサービスはAmazon Web Service(AWS)やMicrosoft Azure、Cudo Compute、Google Cloud Platform(GCP)、AWSLambdaなど。Hugging Faceなど一部サービスの記載はありません。 クラウドサーバーの表がこんな感じ。最左列にサービス名
1.本記事の目的Windows11ではWSL上でGPUが使用できるようになりました。(WSLg：Windows Subsystem forLinuxGUI、と呼ばれています）WSL側でGPUが使用できるようになったことで、GUIプログラムや機械学習のプログラムをWSL上で動作させることができるようになります。 さっそく、Window11上で環境を構築していきましょう！ 2.使用する環境の前提Windows 11がインストールしてあること NVIDIAのグラフィックボードが搭載されていること もし、Windows11への更新がまだの場合は手動のインストール(参考：)ができますので、そちらをためしてみましょう。残念ながらWindows10秋の更新(21H2)には、グラフィック機能はサポートされない様子ですので、Windows11にアップデートを行ってください。 グラフィックスの機能は当
"Locality is efficiency, Efficiency is power, Power is performance, Performance is King", Bill Dally マルチスレッディングとは？CPUとGPUのマルチスレッディングの違いをブログにまとめていたけど例によって誰も興味なさそう— arutema47 (@arutema47) 2021年8月16日 つぶやいたら読みたい方が多そうだったので完成させました。 マルチスレッディングとはメモリ遅延を隠蔽しスループットを上げるハードウェアのテクニックです。 ただCPUとGPUで使われ方がかなり異なるため、その違いについて考えてみる記事です。 （SIMDについて並列プログラミングの観点から触れるべきでしたが、時間無いマルチスレッディングに注目するため初版では省きました。）本記事について本記事はCPUとG
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 8つのFull HD映像をフレーム同期してプロジェクター出力する本稿はとある展示システムを制作するにあたり、「8つのFull HD映像をフレーム同期してプロジェクター投影する」という必要があり、結果、入手性のある機材で実現するソリューションが確立できたので、記載しておきます。 フレーム同期してプロジェクター投影する本システムでは、複数投影映像を合成して1つの映像を生成するため、その複数投影映像が完全に同期して投影される必要がある。本件のシステムでは（最低4つ）8つのFull HD (1920 x x1080 60p) 映像を同期する
NVIDIA、過去に国立研究機関へのGeForce導入妨害の疑い Amazing, every word of what youjust said was wrong. Updated by 清水 亮 on December 20, 2017, 06:24 am JST 清水 亮 ryo_shimizu 新潟県長岡市生まれ。1990年代よりプログラマーとしてゲーム業界、モバイル業界などで数社の立ち上げに関わる。現在も現役のプログラマーとして日夜AI開発に情熱を捧げている。 Tweet 昨日の記事に対し、NVIDIAからヒステリックといえるほどの対応が起きました。不思議です。明らかに意図的に動いているのに、公表されている事実を指摘しただけなのにこの反応は不可解ですね。 NVIDIA側からは、「個別に面談して誤解を晴らしたい」という連絡を頂きましたが、そもそもなぜ個別に面談する必要があるので
nVidia、GeForceのデータセンターでの利用を禁止するNVIDIAが規約変更によりGeForceのデータセンター利用を制限。大学などの研究活動にも大ブレーキ - WirelessWire News（ワイヤレスワイヤーニュース） また清水亮がポエムを書いている。困るんだよね、名前の同じ人間にそういうことをされると私まで詩人だと思われてしまう。 nVidiaは確かに邪悪で不自由で存在自体が人道上の罪にあたる極悪企業であり、かのLinuxカーネルの最高開発者であるブリリアント・アッスホールの称号も名高いリーナス・トーバルズにも中指を突き立てられてFから始まるとてもここで書くことができないほどの醜悪極まりない侮辱の四文字言葉で罵られたほどの救いようのない時勢の読めない烏合の衆ではあるが、まさか自らの飯の種であるデータセンターへの利用を禁止するほどの寓話に出てくる金の卵を生む鶏を割くほどの阿呆ではないだろう。どれどれ、この私が直々にソースとやらを検証し
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
