소리 없는 숫자를 그대로 읽는 음성인식 모델
Hume AI 검증 실험 결과, 공개 벤치마크 점수가 높은 음성인식 모델일수록 실제 음성이 아니라 데이터셋의 잘못된 참조 텍스트를 그대로 재현하는 경향이 강한 것으로 나타났다.
대형 모델 벤치마크 뉴스와 분석
대형 모델 벤치마크 관련 제품 동향과 산업 분석 5건을 모았습니다.
알리바바, HS 코드 분류로 에이전트 한계 측정
알리바바, HS 코드 분류로 에이전트 한계 측정를 한국 기술 독자가 읽기 쉬운 흐름으로 다시 정리하고 핵심 수치와 검증 지점을 유지했다.
OpenAI LifeSciBench, AI의 과학 연구 격차 드러내
750개 과제 벤치마크는 선두 모델이 생명과학을 도울 수는 있어도 독립 연구에는 아직 멀다는 점을 보여준다.
SWE-Explore, 코딩 에이전트가 핵심 줄을 놓친다
상하이교통대 주도 벤치마크는 에이전트가 파일은 찾아도 버그 관련 정확한 줄은 14~19%만 맞힌다고 밝혔다.
Gemini-SQL2, BIRD text-to-SQL 벤치마크 80점 돌파
Google Research는 Gemini 3.1 Pro 기반 시스템이 별도 미세조정 없이 BIRD 실행 정확도 80%를 넘겼다고 밝혔다.