把一次实验，写成一份可以复现的研究记录

先写问题，再启动程序

实验记录首先说明要检查的判断、目标对象和成功条件。一次正常运行只能证明该次执行完成，不能自动推出方法在其他参数或输入上同样有效。

如果要比较两种方法，应预先约定相同的数据划分、查询口径和资源预算。成功、失败、超时与主动放弃分别记录。

让配置与输出一起保存

下面是一份记录格式示例。字段值需要由实际实验填写，不能把示例中的计划次数当作已完成次数。

experiment:
  question: "填写待检验问题"
  code_revision: "填写代码版本"
  seed: 42
  trials_planned: 100
result:
  trials_completed: 0
  successes: 0
  failures: 0
  timeouts: 0

此外，保留依赖版本、运行命令、数据来源、输出文件校验值和日志。涉及真实密钥时，不能因为追求复现就把秘密写入公开记录。

把结论限制在证据能支持的范围

开发阶段调过参数的样本，与事先冻结协议后的独立评估，应明确区分。报告成功率时给出实际分母；尚未完成的实验写成待验证事项。

一份好的记录，应让未来的自己知道：做了什么、看到了什么、还有什么不知道。