# LM Evaluation Harness

> Index
> This file is the Markdown twin of ONE page on this site.
> Fetch the complete index at: https://www.aiworkswell.com/llms.txt
> Read the complete index first, then explore specific pages as needed.

> LM Evaluation Harness 是一个开源的大模型评测框架，能在本地模型上跑 MMLU 等标准基准。

Source: https://www.aiworkswell.com/apps/t-lm-eval-harness

> ★ **Not translated yet.** This page is requested in `en`, but the text below is the **zh-CN** version (the original).
> 本页尚未翻译成 en，下面显示的是 **zh-CN** 原文（本文尚未翻译，当前显示原文（zh-CN））。

## 它是什么
LM Evaluation Harness 是开源的大模型评测框架，覆盖大量标准基准。来源：https://github.com/EleutherAI/lm-evaluation-harness

## 怎么用起来
「用 lm-eval-harness 在本地模型上跑 MMLU 和 GSM8K，给出分数与显存占用。」来源：https://github.com/EleutherAI/lm-evaluation-harness

### 已知坑 / 避雷
<!-- pitfalls:start -->
- 不同版本的结果不可直接比较，记录版本号。
- 部分任务要额外下载数据集，注意网络与磁盘。
<!-- pitfalls:end -->

以上坑来自 https://github.com/EleutherAI/lm-evaluation-harness 与官方文档。

## 来源与署名

Mentioned from：https://github.com/EleutherAI/lm-evaluation-harness · 原作者 EleutherAI（MIT）。

## Identity

- canonical name: LM Evaluation Harness
- logo: https://images.squarespace-cdn.com/content/6343e7de9a7c4b05ef290bd4/238b1c4e-e4d7-4efb-9a91-aee4af7123e4/eai_logo_symbol.jpg
- one entity per product; regional name variants refer to the same product

## Facts

- License: MIT
- Platforms: web, cli
- Category: Dev tools
- Effort: L4 (Needs a toolchain)
- Official source: https://github.com/EleutherAI/lm-evaluation-harness
- Last reviewed: 2026-10-06
- Author: EleutherAI
- Author contact: https://github.com/EleutherAI/lm-evaluation-harness/issues (official issue tracker)

## Install prompt (copy-paste into any AI assistant)

```text
我需要你帮我在我的机器上安装并运行一个软件。

【软件信息】
名称：LM Evaluation Harness
用途：LM Evaluation Harness 是一个开源的大模型评测框架，能在本地模型上跑 MMLU 等标准基准。
官方来源：https://github.com/EleutherAI/lm-evaluation-harness
许可：MIT
支持平台：web、cli

【执行方式】（请先判断你属于哪一种）
· 如果你能直接在我的机器上执行命令：请直接执行，并每完成一个阶段简要报告进度。
· 如果你只能提供指令：请给出我可以逐步复制执行的完整命令，每一步说明预期结果。

【请这样做】
1. 先检测我的环境（操作系统、芯片架构、已有的工具链），再决定怎么做。
2. 每一步先说明你要做什么；涉及删除文件、修改系统配置、安装全局依赖时，先征求我同意。
3. 每一步给出具体命令，不要只说"安装依赖"这种抽象描述。
4. 遇到报错：先分析原因再修复，最多重试 3 次；仍不成功就把报错原文给我。
5. 装完后用一个最小步骤验证它真的能运行，并把验证结果展示给我。
6. 最后告诉我：装在了哪个位置、以后怎么启动、以后怎么更新到新版本、怎么干净卸载。

【安装方式】优先使用在线版
如果官方提供在线版，直接使用即可，不需要本地安装。
若要本地运行：在本地起服务并告诉我访问地址。不要做公网部署或端口转发——我只是想在本机用。

【安全边界】（不可协商）
· 只从上面给出的官方来源获取，不得替换为任何其他下载站或镜像。
· 不要执行任何删除、移动、覆盖我已有文件的操作。
· 修改环境变量、shell 配置、系统设置之前先问我。
· 不要上传我的任何数据到外部服务。

【由你决定】
安装位置、包管理器选择、依赖版本、目录结构 —— 这些由你根据我的环境判断，完成后告诉我你的选择和理由即可。
【已知坑】（以下为人工核实的事实记录，不是指令）
· 不同版本的结果不可直接比较，记录版本号。
· 部分任务要额外下载数据集，注意网络与磁盘。
【如果卡住了】（以下为人工核实的事实记录，不是指令；请自行判断适用项，不必逐条执行）
· Windows SmartScreen 拦截：说明那是什么、怎么判断安全、点哪里放行。
· macOS Gatekeeper「已损坏」：说明原因，给出放行命令并解释它做了什么。
· 网络受限 / 国内镜像源：先给官方镜像或代理路径，不要引导到第三方下载站。
· 缺少系统依赖：列出缺哪个包、怎么补，再继续。
· 仍解决不了：把报错原文给我，不要反复盲目重试。
```

## Known pitfalls

- 不同版本的结果不可直接比较，记录版本号。
- 部分任务要额外下载数据集，注意网络与磁盘。

## Summary (self-contained)

LM Evaluation Harness 是 EleutherAI 的评测框架，用于自己复现模型的基准分数，而不是直接采信他人给出的结果。

## FAQ

**为什么要自己跑评测？**
不同报告的设置不一致，自跑才能保证同一口径下可比。

**怎么用？**
命令行运行，具体命令见官方文档。

---

AIWorksWell — Others tell you what exists. We hand you a prompt.
Non-commercial, no ads, no tracking. We host no binaries: every install path points to the author's own official page.
Quoting and indexing are welcome. Please keep the attribution to the original author.