대형 모델 벤치마크 뉴스와 분석

대형 모델 벤치마크 관련 제품 동향과 산업 분석 10건을 모았습니다.

마이크로소프트와 Hugging Face의 ThinkingBox 벤치마크는 18개 모델에 같은 업무를 20번씩 시키고, 자가 보고가 아닌 데이터베이스의 실제 결과로 채점한다.

OpenAI가 GPT-6 Astra 배포 안전 문서에서 사고사슬 감시 가능성이 GPT-5.6 Sol보다 낮다고 밝혔으며, 영국 AI 안전보안연구소의 평가 수치도 함께 공개됐다.

OpenAI가 GPT-6 Astra를 발표한 뒤 평가표 수치가 여러 차례 수정됐다. 환각률은 4.2%에서 2%로, 다시 4.2%로 돌아오는 등 변동했다.

Fable 5.1은 지능지수 192개 모델 중 1위(66점)를 기록했지만, 작업당 비용은 3.14달러에서 3.69달러로 올랐다.

버클리 RDI 연구소의 새 벤치마크 Vero는 AI 에이전트에게 Lean 4 저장소 전체 규모의 구현과 증명을 동시에 요구한다. 최고 성능 모델조차 43개 프로젝트 중 27개만 완전히 풀어냈다.

Hume AI 검증 실험 결과, 공개 벤치마크 점수가 높은 음성인식 모델일수록 실제 음성이 아니라 데이터셋의 잘못된 참조 텍스트를 그대로 재현하는 경향이 강한 것으로 나타났다.

알리바바, HS 코드 분류로 에이전트 한계 측정를 한국 기술 독자가 읽기 쉬운 흐름으로 다시 정리하고 핵심 수치와 검증 지점을 유지했다.

750개 과제 벤치마크는 선두 모델이 생명과학을 도울 수는 있어도 독립 연구에는 아직 멀다는 점을 보여준다.

상하이교통대 주도 벤치마크는 에이전트가 파일은 찾아도 버그 관련 정확한 줄은 14~19%만 맞힌다고 밝혔다.

Google Research는 Gemini 3.1 Pro 기반 시스템이 별도 미세조정 없이 BIRD 실행 정확도 80%를 넘겼다고 밝혔다.