发布日期

OpenAI 发布 BioBasicsBench:与 Ligo 合作的 100 项湿实验任务,GPT-6 Astra 在最高推理档得 66.7%

据 Unite.AI 与 AI Affairs 转述,OpenAI 于 11 月 6 日介绍与酶设计公司 Ligo 合作的 BioBasicsBench,用 100 项日常湿实验任务考察 AI 代理解读原始实验证据的能力。在对全部七个受测模型报告的最高推理强度 xhigh 下,GPT-6 Astra 平均得到 66.7% 可用分数,GPT-5.6 Sol 为 43.8%。官方同时强调高分尚不等于可靠的实验室判断。

戴蓝手套的研究人员手持两块培养皿,背景有凝胶图和显微图的显示器
Unite.AI 配图:实验室中研究人员在灯箱上比对培养皿,背景屏幕显示凝胶电泳与显微图像。

据 Unite.AI 转述,BioBasicsBench 针对“论文精选图表”类评测的不足:日常实验还有失败结果、模糊图像、相互冲突的观察和排错。任务覆盖蛋白质方法、成像与流式、定量与测定、核酸方法与分子克隆等;输入可包括凝胶与 blot 图、菌落平板、显微堆栈、测序读段、酶标仪导出、实验台照片与操作视频。科学家基于自身实验出题并写评分细则;每题经未出题的 Ligo 科学家内部审、博士级湿实验科学家外部审,以及覆盖提示、证据、细则与一次已评分模型作答的最终内审。评测覆盖 37 组模型与推理强度组合,每设置每题五次尝试,共 18500 条结果。

OpenAI 以 mean reward(任务得分占可用分数的平均百分比)汇报结果。在对全部七个模型报告的最高推理档 xhigh 下,GPT-6 Astra 为 66.7%(95% 置信区间 60.3–73.1%),GPT-5.6 Sol 为 43.8%(37.6–50.0%);Astra 平均每题约 4704 个输出 token,Sol 约 9099。文中举例称 Astra 更能发现染料串扰、认错抗生素标签的阴性对照,以及把“细胞消失”识别为 z-stack 而非生物学消失。OpenAI 同时告诫:更高分数还不等于可靠实验室判断——例如菌落 PCR 泳道选择错误会纯化到错误质粒,空泡明暗随焦深反转时仍可能概括错误,菌落计数约 12% 高估会同比抬高转化效率估计。以上分数、区间与案例均为转述的厂商/评测自述。

来源

  1. OpenAI Introduces BioBasicsBench to Test AI Agents on Wet-Lab Data — Unite.AI
  2. OpenAI introduces BioBasicsBench to test AI agents on wet-lab tasks — AI Affairs
在 ? 中打开这篇 →