目次

インストール

$ pipx install go-task-bin

$ uv tool install go-task-bin

$ cp configs/config_template.yaml configs/config.yaml$ cp env.sample .env

簡易な使い方

taskfileによる一括実行方法

# setup eval & inference configs$ cat << _EOF_ >> configs/config.yamlexporters:  local:    export_output_table: true # 出力結果をテーブル形式で保存するかどうか    output_top_n: 5           # 出力結果の上位何件を保存するか_EOF_$ cat << _EOF_ >> configs/vllm_inference.yamlmodel:  model: llm-jp/llm-jp-3-3.7b-instructtokenizer:  pretrained_model_name_or_path: llm-jp/llm-jp-3-3.7b-instruct_EOF_# download llm-jp-eval-inference repository & build container for evaluation$ task install# if you want to evalute non commercial datasets also, put CLI_ARGS="--include_non_commercial" or revise config.yaml directly$ task eval_inference inference_config=configs/vllm_inference.yaml eval_config=configs/config.yaml

vllm serverによる同期的な評価方法

# download llm-jp-eval-inference repository & build container for evaluation$ task install$ cd llm-jp-eval-inference/inference-modules/vllm && uv run vllm serve llm-jp/llm-jp-3-3.7b-instruct &# 評価セットアップ$ cat << _EOF_ >> configs/config.yamlexporters:  local:    export_output_table: true # 出力結果をテーブル形式で保存するかどうか    output_top_n: 5           # 出力結果の上位何件を保存するかonline_inference_config:  provider: vllm-openai  # 並列リクエスト数  max_concurrent: 4  hostname: localhost:8000  model_name: llm-jp/llm-jp-3-3.7b-instruct  generation_config:    temperature: 0.0_EOF_# コード生成の評価を行う場合$ task run_sandbox# 評価の実行$ uv run scripts/evaluate_llm.py eval --config configs/config.yaml

推論実行方法

データセットのダウンロードと前処理

$ uv run python scripts/preprocess_dataset.py \  --dataset-name example_data \  --output-dir /path/to/dataset_dir \  --version-name dataset_version_name

プロンプトのダンプ出力

$ uv run python scripts/evaluate_llm.py dump --config path/to/config.yaml

対象データセットの設定

datasets:  -jamp  -janli...categories:# カテゴリごとの統計値算出設定NLI:description:"Natural Language Inference"default_metric:exact_match# 必要であればデータセットごとの評価関数を設定するmetrics:{}# metrics:#   wiki_reading: char_f1datasets:# カテゴリに含めるデータセット (データセット側が評価関数に対応している必要があります)      -jamp      -janli      -jnli      -jsem      -jsickdataset_info_overrides:# データセットごとの設定の上書き設定dataset_key:# 任意のデータセット識別子# attributeに指定可能な値は src/llm-jp_eval/jaster/base.py内OutputInfoを参照attributes:override_value

# configs/config.yaml内eval_dataset_config_path:/path/to/dataset_config.yaml# デフォルト値: './eval_configs/all_datasets.yaml'# datasetsに指定されたdatasetにおける、商用利用不可能なデータセットを除外するかどうかの設定include_non_commercial:false

推論の実行

$ git clone https://github.com/llm-jp/llm-jp-eval-inference$cd llm-jp-eval-inference/inference-modules/vllm&& uv sync# 推論の実行$cd llm-jp-eval-inference/inference-modules/vllm&& uv run inference.py --config path/to/inference_config.yaml# vllm serve による推論の例$ uv run vllm serve organization/model_name

評価方法

評価設定

$ CUDA_VISIBLE_DEVICES=0 uv run scripts/evaluate_llm.pyeval --config config.yaml \  model.pretrained_model_name_or_path=/path/to/model_dir \  tokenizer.pretrained_model_name_or_path=/path/to/tokenizer_dir \  dataset_dir=/path/to/dataset_dir

評価の実行

$ CUDA_VISIBLE_DEVICES=0 uv run python scripts/evaluate_llm.pyeval \  --inference_result_dir=./llm-jp-eval-inference/inference-modules/vllm/outputs/llm-jp--llm-jp-13b-v2.0_vllm_yyyyMMdd_hhmmss/

online_inference_config:provider:vllm-openai# 並列リクエスト数max_concurrent:4hostname:localhost:8000model_name:llm-jp/llm-jp-3-3.7b-instructgeneration_config:temperature:0.0

$ uv run scripts/evaluate_llm.pyeval --config path/to/config.yaml

dataset_info_overrides:mbpp:# code_exec_sandbox の代わりに code_exec を指定metrics:["code_exec", "pylint_check"]

評価結果の出力

exporters:# output_dir/results 以下に json ファイルとして出力する例local:filename_format:result_{run_name}_{timestamp}.jsonexport_output_table:true# 推論結果を出力するか否かoutput_top_n:5# WandB への出力の例# 評価結果と生成ログは、自動で W&B と同期されますwandb:export_output_table:trueproject:project_nameentity:entity_nameoutput_top_n:null# null 指定で全件

設定可能項目

評価データセットの追加方法

$ uv run scripts/preprocess_dataset.py \  --dataset-name example_data \  --output_dir /path/to/dataset_dir \  --version-name dataset_version_name

データセットの分割基準

jaster とそれを使ってインストラクションチューニングしたモデルに対する注意

ライセンス

Contribution