OpenAI发布评估科学研究中AI判断力的新基准测试

2023年6月30日，日本OpenAI宣布推出一项名为“GeneBench-Pro”的新基准测试，旨在评估AI在计算生物学领域中的推理能力和判断力。

GeneBench-Pro专注于科学研究中所需的高级判断能力，包括处理模糊信息、修正假设、选择分析方法以及评估结果是否足以支持决策等。该基准测试能够衡量AI在复杂且反复的判断过程中表现的准确性。

该测试涵盖统计遗传学、群体遗传学、临床遗传学和药理遗传学等10个领域，共包含129个高难度问题。这些问题设计复杂，专家解答通常需要20至40小时。测试题目还特别设计了因果结构，能够自动评分AI模型是否遵循了正确的分析流程。

根据OpenAI的介绍，最新模型“GPT-5.6 Sol”在推理能力最高水平下取得了28.7%的正确率，在专业模式下正确率达到31.5%。相比之下，GeneBench-Pro构建初期的当时最先进模型“GPT-5”正确率不足5%。