Movatterモバイル変換


[0]ホーム

URL:


はてなブックマークアプリ

サクサク読めて、
アプリ限定の機能も多数!

アプリで開く

はてなブックマーク

タグ

関連タグで絞り込む (2)

タグの絞り込みを解除

Llama 2に関するmisshikiのブックマーク (3)

  • misshiki
    misshiki2024/01/25非公開
    “GPT-4レベルの質問応答タスク性能をオープンソースモデルのLlama 2で実現する方法が、NVIDIAより発表されました。 長文ドキュメントに基づいてユーザーの問いに答える能力でGPT-3.5より遥かに勝る結果が示されています。”
    • llama2のpretrainingを試す

      小さいサイズのllama2を日語でpre_trainingしてみます。 この記事では、以下が参考になれば良いかと思います pre_trainingのやり方 llama2の実装 huggingfaceへのupload すべてgooglecolab上で実行します。 今回学習したモデルはここ 学習にはlit-gptを使います。 lit-gptはlit-llamaのforkです。こちらの実装の参考になるのでコードを眺めてみるのもおすすめです。 データセットの作成 まずは学習用のデータセットを作成します。 以下のコードを参考に、huggingface hubにあるデータセットから学習用のデータセットを作れるように修正します。 作成したものは以下 tokenizerはhuggingface.tokenizersライブラリを使うようにしているので、適宜読み替えてください。 tokenizerには前回

      llama2のpretrainingを試す
      misshiki
      misshiki2023/10/23非公開
      “pre_trainingのやり方 llama2の実装、huggingfaceへのupload。すべてgoogle colab上で実行します。”
      • Industry Leading, Open-Source AI | Llama

        Discover Llama 4's class-leadingAI models, Scout and Maverick. Experiencetop performance, multimodality, low costs, and unparalleled efficiency.

        Industry Leading, Open-Source AI | Llama
        misshiki
        misshiki2023/07/19非公開
        “次世代のオープンソース大規模言語モデル: Llama 2 は研究および商用目的に無料で利用できます” 非常に分かりやすいページで利用が広がりそうだと思った。
        • 残りのブックマークを読み込んでいます1

        お知らせ

        公式Twitter

        • @HatenaBookmark

          リリース、障害情報などのサービスのお知らせ

        • @hatebu

          最新の人気エントリーの配信

        処理を実行中です

        キーボードショートカット一覧

        j次のブックマーク

        k前のブックマーク

        lあとで読む

        eコメント一覧を開く

        oページを開く

        はてなブックマーク

        公式Twitter

        はてなのサービス

        • App Storeからダウンロード
        • Google Playで手に入れよう
        Copyright © 2005-2025Hatena. All Rights Reserved.
        設定を変更しましたx

        [8]ページ先頭

        ©2009-2025 Movatter.jp