はじめに μP（Maximal Update Parametrization）とは μPが解決する根本的な問題 なぜハイパーパラメータ転移が困難なのか：SPの根本問題 μPの仕組み 順伝播における「初期状態」の安定化 学習を支配する「パラメータ更新」のスケーリング ハイパーパラメータの計算例 μPの実装 Qwen2.5で実験 まとめ We Are Hiring! はじめに こんにちは。Labsチームの藤本です。ABEJA Qwen先生にタイトルを作ってもらったら割と強いタイトルになってしまいました。 大規模言語モデル（LLM）の学習を始め、Deep Learningにおいては最適なハイパーパラ…

ゼロから作るDeep Learningの学習メモ続き。 今回もコードはなし。内容的にも、知識的なもの。 今回で最後の章になる。 8章 ディープラーニング 認識精度向上について 「層数」について 「層を深くすること」の重要性 代表的なCNN 学習、推論の高速化 GPUでの高速化 分散学習での高速化 演算ビット数の削減での高速化 ディープラーニングの実用例 以上 ↓ GitHub公開のソースコード(MITライセンス) github.com 著作権表示、ライセンス文書 Copyright (c) 2016 Koki Saitoh deep-learning-from-scratch/LICENSE.…

ゼロから作るDeep Learningの学習メモ続き。 今回もコードはなし。コード書くのが面倒 考え方の理解が優先で。 7章 畳み込みニューラルネットワーク 構成要素 Convolutionレイヤ Poolingレイヤ 学習結果の可視化 CNNの例 以上 ↓ GitHub公開のソースコード(MITライセンス) github.com 著作権表示、ライセンス文書 Copyright (c) 2016 Koki Saitoh deep-learning-from-scratch/LICENSE.md at master · oreilly-japan/deep-learning-from-scrat…

ゼロから作るDeep Learningの学習メモ続き。 今回はコードなしで、自分の学び・気づきのメモだけ。 6章 学習に関するテクニック 勾配の降りていき方 重みの初期化 バッチノーマライゼーション 正則化 ドロップアウト ハイパーパラメータの検証 以上 ↓ GitHub公開のソースコード(MITライセンス) github.com 著作権表示、ライセンス文書 Copyright (c) 2016 Koki Saitoh deep-learning-from-scratch/LICENSE.md at master · oreilly-japan/deep-learning-from-scrat…

ゼロから作るDeep Learningの学習メモ続き。 4章 ニューラルネットワークの学習 交差エントロピー誤差 ミニバッチ学習 微分 ニューラルネットワークでの勾配 学習の実施 python関連 ちょっとハマったこと importでやっていること リストへの要素の追加(1要素だけ) 実際に試した結果 以上 ↓ GitHub公開のソースコード(MITライセンス) github.com 著作権表示、ライセンス文書 Copyright (c) 2016 Koki Saitoh deep-learning-from-scratch/LICENSE.md at master · oreilly-jap…

ゼロから作るDeep Learning、少し進めたので、学習メモ。 GitHubでソースコードが公開されている。MITライセンス。 github.com このコードの一部を引用させていただくので、ひとまず、著作権表示と、ライセンス文書を記載しておく。 Copyright (c) 2016 Koki Saitoh ↓ ライセンスの全文 deep-learning-from-scratch/LICENSE.md at master · oreilly-japan/deep-learning-from-scratch · GitHub 3章 ニューラルネットワーク 3章 ニューラルネットワークは、前…

こんにちは。CTO室リサーチャーの鈴木です。 近年、深層学習の分野では、さまざまなタスクにおいて「基盤モデル」と呼ばれる汎用的で高性能なモデルが注目を集めており、これらのモデルを活用した多岐にわたる応用が急速に進展しています。本記事では、その中でも画像分野における基盤モデルの一つである"DINO v2"[1]の概要をご紹介します。 本記事の概要 基盤モデルDINO v2は、 画像の本質特徴を抽出する「自己教師あり表現学習」の決定版！ Contrastive LearningやMasked Auto-Encoderの仲間だよ 画像分野における汎用性の高さが魅力！ 深度推定、インスタンス検索、物体…