Blogs

与以往主要关注模型是否能记住信息或遵循固定步骤的基准测试不同，GeneBench-Pro 旨在模拟真实的科研场景，要求模型在处理模糊、不完整甚至包含干扰的数据时，能够进行判断和分析以得出结论。

GeneBench-Pro 涵盖了基因组学、定量生物学和转化医学等多个领域，共计 129 道题目。这些题目分布在 10 个主要领域和 21 个子领域之下，包括统计遗传学、群体遗传学、功能基因组学和蛋白质组学等。每道题都为模型提供了一份接近真实研究环境的数据集、简要的实验背景以及一个与后续决策相关的目标问题。模型需要自主完成数据探索、选择分析方法，并在过程中调整策略，最终给出答案。

为解决传统长流程基准测试中常见的评分偏差问题，OpenAI 在设计 GeneBench-Pro 时，核心采用了合成数据（Synthetic Data）。这是因为使用历史真实数据出题时，可能存在多条合理的分析路径，导致模型即使采用了错误的方法也可能偶然得到正确答案。

通过使用合成数据，OpenAI 可以完全掌控底层因果结构和数据生成过程，从而更精确地评估模型是否真正理解了问题，而非仅仅通过“走捷径”来获得答案。

目前，OpenAI 已在 Hugging Face 上公开了 10 道 GeneBench-Pro 的示范题目，并提供交互式界面供外部研究人员进行体验。未来，将有 50 道题目开放给 Artificial Analysis 进行第三方独立评估，以验证不同模型在这一基准测试中的实际表现。