OpenAI가 공개한 BioBasicsBench, 습식 실험실 AI 평가의 의미와 한계

OpenAI가 2026년 11월 6일, 습식 실험실(wet-lab) 증거 해석 능력을 평가하는 새로운 벤치마크 BioBasicsBench를 공개했습니다. 발표에 따르면 GPT-6 Astra 모델은 xhigh 추론 설정에서 평균 66.7%의 부분점수(partial-credit score)를 기록해, 같은 설정으로 평가된 7개 모델 중 가장 높은 평균을 보였습니다. 이 수치는 실험 성공률이나 실제 실험실 의사결정의 신뢰도를 의미하지는 않습니다.

BioBasicsBench 66.7% 점수는 무엇을 의미하나요

BioBasicsBench는 OpenAI가 Ligo와 함께 만든 100개 과제로 구성된 평가입니다. 단백질, 이미징·세포계측, 분석·정량, 핵산, 클로닝의 5개 영역을 다루며, 입력 자료에는 이미지와 비디오, 기기 파일이 포함됩니다. 단순히 생물학 지식을 묻는 것이 아니라, 과학자가 실제로 마주하는 증거를 해석하도록 설계된 점이 특징입니다.

과제의 채점 기준은 전문가가 작성했고, 다른 Ligo 과학자와 외부 습식 실험실 박사가 검토했다고 OpenAI 발표는 설명합니다. 다만 이 검토는 과제 구성과 평가 방식에 대한 것입니다. 외부 기관이 모델 점수를 독립적으로 재현했는지는 해설 출처인 Kingy AI가 제한된 자료 조사 범위에서 확인하지 못한 사항이며, OpenAI 발표 자체가 독립 재현을 입증하는 것은 아닙니다.

xhigh 설정에서의 모델별 결과

OpenAI는 7개 모델, 37개 모델·추론 설정 조합의 결과를 보고했습니다. 아래는 동일한 xhigh 설정 기준의 평균 부분점수입니다.

출처: OpenAI 보고 수치. 과제당 출력 토큰은 모델이 생성한 출력의 길이를 나타내며, 총 연산량·비용·실행 시간·에너지를 뜻하지는 않습니다.

GPT-6 Astra의 66.7%는 GPT-5.6 Sol의 43.8%보다 22.9%포인트 높습니다. GPT-6.1 Sol과의 차이는 4.7%포인트에 그치고 두 모델의 신뢰구간은 겹칩니다. 제공된 자료에는 과제 단위 관측값이 없어 이 순위 차이의 통계적 유의성을 판단할 수 없습니다.

66.7%라는 숫자를 어떻게 읽어야 하나

부분점수 방식이기 때문에 66.7%가 "100개 중 66.7개를 정확히 해결했다"는 의미는 아닙니다. 과제의 일부 기준을 충족하면 부분 점수를 받을 수 있습니다. 예를 들어 네 가지 기준이 같은 비중인 과제에서 세 가지를 맞히면 75%를 받지만, 빠진 하나가 다음 단계 결정에 필수적인 기준이라면 그 답변은 실험실에서 쓰기 어려울 수 있습니다.

OpenAI는 과제당 5회 시도를 보고했으며, 전체 결과는 37 × 100 × 5 = 18,500개입니다. 하지만 독립적인 과제는 여전히 100개입니다. 반복 시도는 응답의 변동성을 보여줄 뿐 새로운 실험을 만드는 것은 아닙니다. 표의 95% 신뢰구간은 전체 과제를 부트스트래핑해 계산했고, 같은 과제의 반복 시도는 하나로 묶었다고 OpenAI는 밝혔습니다.

이 신뢰구간이 벤치마크의 모든 불확실성을 포괄하지는 않습니다. 과제가 특정 실험실의 작업을 대표하는지, 채점 기준이 각 오류의 결과를 충분히 반영하는지는 별개의 문제입니다.

생물학 평가가 특히 어려운 이유

생물학 평가는 다른 분야보다 까다로운 특성이 있습니다. 생물학은 분자생물학, 유전체학, 구조생물학, 임상 연구 등 매우 다양한 하위 분야로 나뉘고, 각 분야마다 방법과 용어, 기준이 다릅니다. 실험 설계부터 문헌 검토, 데이터 처리, 해석까지 여러 단계가 연결되는 경우가 많아, 개별 능력을 따로 평가하는 것만으로는 실제 워크플로를 충분히 검증하기 어렵습니다.

또한 같은 데이터에 대해 타당한 실험 설계나 해석이 여러 개일 수 있어 단일 정답을 전제한 평가는 한계가 있습니다. 검증 자체도 느리고 비용이 많이 듭니다. 어떤 과제는 실제 실험을 돌려야만 확인할 수 있고, 겉보기에 그럴듯한 분석도 통계 검정 선택 오류나 부적절한 참조 유전체 같은 미묘한 문제를 포함할 수 있습니다.

이 결과를 어떻게 받아들여야 하나

BioBasicsBench는 AI 모델이 과학적 증거를 얼마나 잘 해석하는지 살펴보는 유용한 출발점입니다. OpenAI가 공개한 사례에서는 모델이 현미경 증거와 충돌하는 해석을 내놓거나 집락 수를 약 12% 과대 계수하는 실패가 언급됐습니다. 반대로 Astra가 중첩된 검출 채널 때문에 세포 사멸 결론이 불확실하다고 판단한 사례처럼, 관찰 자료가 뒷받침하지 못하는 것을 인식하는 행동도 보고됐습니다. 이 사례들은 OpenAI가 선택해 공개한 예시일 뿐, 일반적인 오류 빈도를 나타내는 수치는 아닙니다.

이번 결과의 핵심은 세 가지로 정리할 수 있습니다. 첫째, 66.7%는 루브릭 기반의 평균 부분점수이지 실험 성공률이 아닙니다. 둘째, 외부 기관의 독립적인 결과 재현은 현재 확인되지 않았습니다. 셋째, 실제 활용 가능성은 도메인별 해석 정확도, 오류 유형, 모호한 자료에서 추가 정보를 요구하는지와 같은 항목을 로컬 환경에서 따로 검증해야 판단할 수 있습니다.

출처: BioBasicsBench: OpenAI’s Wet-Lab AI Results Explained, Evaluating AI Agents in Biology