テクノロジー
OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ

気に入った記事をブックマーク

気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
記事を読んだ感想やメモを書き残せます
非公開でブックマークすることもできます

OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ

テクノロジーカテゴリーの変更を依頼記事元:

deeplearning.hatenablog.com

適切な情報に変更

エントリーの編集

エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。

このページのオーナーなので以下のアクションを実行できます

タイトル、本文などの情報を
再取得することができます

コメントを非表示にできますコメント表示の設定

ブックマークしました

ここにツイート内容が記載されますhttps://b.hatena.ne.jp/URLはspanで囲んでください

Twitterで共有

次回からTwitterへ自動リダイレクト

ONにすると、次回以降このダイアログを飛ばしてTwitterに遷移します

226usersがブックマークコメント

コメントするにはログインが必要ですブックマークを追加

ブックマークを追加

よく使うタグ

OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ

226 users

deeplearning.hatenablog.com

よく使うタグ

はてなブックマークで
関心をシェアしよう

みんなの興味と感想が集まることで
新しい発見や、深堀りがもっと楽しく

ユーザー登録

アカウントをお持ちの方はログインページへ

記事へのコメント26件

注目コメント
新着コメント

hobbiel55「多くの問題がどれだけお金を払えるかという問題に変わります」←また、資本家に富が集中する新たな可能性が開かれた。

2021/01/05リンク

その他

Ez-style要するに、レベルを上げて物理で殴ればいい、みたいな。

分析

2021/01/05リンク

その他

schyzon資本力ある企業がAIベンチャーを駆逐する構図が思い浮かんで辛い

2021/01/05リンク

その他

geopolitics札束で殴る。札束は上限なし。

2021/01/05リンク

その他

mkusunokゴールドラッシュと同じで、フロンティアが開拓された後は資本集約してスケールさせる展開に？

2021/01/06リンク

その他

otoan52どの脳でもそれなり以上には機能している、という観測結果をうまく説明できる気がする。

2021/01/05リンク

その他

Cruもはや旧聞になってしまったけど、ブクマしとこう

2023/08/20リンク

その他

enemyoffreedom2021年1月の記事

2023/03/22リンク

その他

yefuディープラーニングの能力は計算資源のスケールに依存して向上し続ける

2022/02/14リンク

その他

hippy-hikkyサイズが大きければってことは、記憶できるパターンの数が多いほど精度が上がるみたいなことかな（よくわかってない）？だとしたら理解はできるけどあまり夢は持てないなー

2021/01/07リンク

その他

phare“Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです”

2021/01/07リンク

その他

t1mvverr正解にたどり着いた感

2021/01/06リンク

その他

mkusunokゴールドラッシュと同じで、フロンティアが開拓された後は資本集約してスケールさせる展開に？

2021/01/06リンク

その他

skypenguins予算の規模がやばいな

2021/01/06リンク

その他

hihi01すごいな、AIの性能限界もべき分布で、リソースの量のみによると。

2021/01/05リンク

その他

schyzon資本力ある企業がAIベンチャーを駆逐する構図が思い浮かんで辛い

2021/01/05リンク

その他

zkzi3254性能限界無いって凄いな

2021/01/05リンク

その他

mochitabesugiTransformerの性能に限界がないのか。金に物を言わせて大量に良質のデータをかき集め、豊富な計算資源を用意すれば、いくらでも性能の高いものが作れるということか

2021/01/05リンク

その他

hatestいろんな意味でスケールのでかい話

2021/01/05リンク

その他

Ez-style要するに、レベルを上げて物理で殴ればいい、みたいな。

分析

2021/01/05リンク

その他

mysql82021年プレ・シンギュラリティ(GPT-4 AGI)は近いパラメータ数が多い=ニューロンが多いほど頭がいいってことにならない？老化や萎縮でニューロンが減ると認知症やボケるってそうゆうことだよね？5000兆円あげるからAGI作って

2021/01/05リンク

その他

otoan52どの脳でもそれなり以上には機能している、という観測結果をうまく説明できる気がする。

2021/01/05リンク

その他

knokコーパスが人間の一生分あればAGIに近づくだろうか？さすがにそれだけでは無理かな。他のモダリティ情報もないと

2021/01/05リンク

その他

denqueue"Transformer (言語モデル) の性能はパラメータ数N・データセットサイズD・計算予算Cを変数としたシンプルなべき乗則 (Power Law)1 に従うというものです."

2021/01/05リンク

その他

misshiki“1つはScaling Lawの有効範囲には上限がない可能性です．つまり，理論上は3つの変数を上げ続ければTransformerの性能は無限に上がり続けることを意味します．”

Transformer

2021/01/05リンク

その他

stealthinu凄い論文。Scaling Lawは上限がなく規模により性能が無限に上がるのとあらゆるドメインに適用できる可能性を示唆。極端なこと言えば予算あれば現在でもシンギュラリティ可能ってことでは。

2021/01/05リンク

その他

aipacommanderすごいけどお金。。。。

2021/01/05リンク

その他

Nyoho「Transformerの性能はたった3つの変数のべき乗則に支配されている」

機械学習

2021/01/05リンク

その他

geopolitics札束で殴る。札束は上限なし。

2021/01/05リンク

その他

otori334“Transformer (言語モデル) の性能はパラメータ数N・データセットサイズD・計算予算Cを変数としたシンプルなべき乗則 (Power Law)1 に従うという” “性能に限界が存在しない可能性があります”

自動化

2021/01/05リンク

その他

hobbiel55「多くの問題がどれだけお金を払えるかという問題に変わります」←また、資本家に富が集中する新たな可能性が開かれた。

2021/01/05リンク

その他

hirokikyすごい。夢しかない。

2021/01/05リンク

その他

コメントするにはログインが必要ですログインしてコメント

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

リンクを埋め込む

以下のコードをコピーしてサイトに埋め込むことができます

プレビュー

はてなブックマークボタンを作成して埋め込むこともできます

規約違反を報告

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

usersに達しました！

さんが1番目にブックマークした記事「OpenAIが発見したS...」が注目されています。

気持ちをシェアしよう

ツイートする

OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ

OpenAIはGPT-3の次の研究を始めています．世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関...OpenAIはGPT-3の次の研究を始めています．世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transf ormerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません．実際に英語圏でもあまり話題にあがっていません．しかし，この法則の本当の凄さに気づいている研究者もいて，なぜ話題にならないのか困惑しています． I am curious why people are not talking more about theOpenAI scaling law papers. For me, they seem very significant. What I heard so far: