它是什么
LM Evaluation Harness 是开源的大模型评测框架,覆盖大量标准基准。来源:https://github.com/EleutherAI/lm-evaluation-harnesshttps://github.com/EleutherAI/lm-evaluation-harness
怎么用起来
「用 lm-eval-harness 在本地模型上跑 MMLU 和 GSM8K,给出分数与显存占用。」来源:https://github.com/EleutherAI/lm-evaluation-harnesshttps://github.com/EleutherAI/lm-evaluation-harness
以上坑来自 https://github.com/EleutherAI/lm-evaluation-harnesshttps://github.com/EleutherAI/lm-evaluation-harness 与官方文档。
来源与署名
Mentioned from:https://github.com/EleutherAI/lm-evaluation-harnesshttps://github.com/EleutherAI/lm-evaluation-harness · 原作者 EleutherAI(MIT)。