34 lines
935 B
INI
34 lines
935 B
INI
[model]
|
||
;模型路径
|
||
model_path=/home/lfy/LM_trans/gptneox20b/model/
|
||
;使用的设备号,多卡用逗号分隔，设置多卡，将默认使用并行模式
|
||
device_ids=7
|
||
;并行通信类型，默认是hccl
|
||
;parallel_backend=hccl
|
||
;日志保存路径，默认是执行脚本所在路径
|
||
log_dir=./log_total
|
||
|
||
[ceval]
|
||
;精度测试工作路径
|
||
work_dir=/home/lfy/LM_trans/mmlu_test
|
||
;测试batch
|
||
batch=1
|
||
;测试shot数量
|
||
shot=5
|
||
mode=mmlu
|
||
|
||
[performance]
|
||
;性能测试模型名称，用于结果文件的命名
|
||
model_name=gpt-neox-20b
|
||
;测试的batch size
|
||
batch_size=1
|
||
;测试的输入的最大2的幂
|
||
max_len_exp=10
|
||
;测试的输入的最小2的幂
|
||
min_len_exp=5
|
||
;特定用例测试，格式为[[seq_in,seq_out]],注意当设置这个参数时，max_len_exp min_len_exp不生效
|
||
case_pair=[[256,256],[512,512],[1024,1024],[2048,2048]]
|
||
;生成的结果文件名称，默认会自动生成，一般不设置
|
||
;save_file_name=
|
||
perf_mode=detail
|