Baidu ERNIE 팀은 11월 9일 기술 블로그를 통해 자동 연구 시스템 ERNIE Evolve를 공개했다. 블로그 설명에 따르면 이 시스템은 여러 에이전트가 역할을 나눠 연구를 진행한다. 방향 선정, 가설 수립, 코드 수정, 평가 실행, 결과 검증까지 맡는다. 팀은 이 시스템으로 공개 최적화 과제 4개를 수행해 3개에서 기존 최고 성적을 넘어섰다. 또 자사 ERNIE-5.5-Flash의 추론 배포에서도 세 가지 최적화를 진행했다.
다섯 가지 역할, 두 겹의 루프
시스템은 바깥 루프와 안쪽 루프로 나뉜다. 블로그는 이를 이렇게 요약한다.
“바깥 루프는 무엇을 연구할지 정하고, 안쪽 루프는 한 가지 방향을 제대로 끝까지 해낸다.”
바깥 루프의 Director는 경험 라이브러리와 지식 베이스에서 다음에 검증할 방향을 고르고, 어떤 코드에서 출발할지도 정한다. 원본 코드, 과거 최고 버전, 중간 버전, 업스트림 최신 커밋이 모두 후보가 될 수 있다. 안쪽 루프의 Selector는 라운드마다 출발점이 될 후보 버전을 하나 고르고 해당 라운드의 가설을 적는다. 참고하는 것은 점수뿐 아니라 코드 변경 내용, 실패 원인, 과거 결과까지 포함한다. Executor는 격리된 환경에서 코드를 수정한다.
나머지 두 역할은 검문소 구실을 한다. Evaluator는 최적화 대상 저장소 밖에 놓여 모든 에이전트가 볼 수 없으며, 개선 폭이 노이즈 임계값을 넘어야만 채택된다. Reviewer는 변경이 해당 라운드의 방향에서 벗어나지 않았는지, 평가의 허점을 파고들어 성적을 낸 것은 아닌지 점검한다. 방향에서 벗어난 버전은 최고 버전이 될 수 없고, 허점을 이용한 버전은 곧바로 무효 처리된다. 자동 최적화 시스템에서 가장 흔한 문제는 점수에 영합하는 법만 익히고 코드 자체는 나아지지 않는 것인데, 이 두 관문은 바로 그 문제를 겨냥한 장치다.
공개 과제 성적
| 과제 | 기존 최고 | ERNIE Evolve |
|---|---|---|
| NanoChat AutoResearch (검증 세트 BPB, 낮을수록 좋음) | 0.8878 | 0.8763 |
| NanoGPT Speedrun Track 1 (목표 도달 학습 시간) | 39.9초 | 38.9초 |
| NanoGPT Speedrun Track 3 (목표 도달 학습 스텝 수) | 2690스텝 | 2590스텝 |
| SOL-ExecBench (평균 SOL 점수, 높을수록 좋음) | 0.827 | 0.819 |
SOL-ExecBench에서는 1위를 하지 못했지만 Recursive의 0.676과 Hyra-1.0의 0.736보다는 높다. 공개 과제의 최적화 결과는 GitHub의 ernie-research/ERNIE-Evolve-Results 저장소에 올라 있다. ERNIE Evolve 시스템 자체를 오픈소스로 공개할지는 블로그에 언급이 없다.
추론 최적화의 셈법
산업 과제의 수치는 더 크다. 쿤룬신 P800의 저지연 시나리오에서 시스템은 네 라운드, 네 가지 연구 방향을 돌려 생성 속도를 기준선의 623.6%까지 끌어올렸고 모든 정확성 검사를 통과했다. 블로그는 핵심 발견 중 하나로 기존 통신 경로에서 DeepEP 저지연 통신이 실제로는 활성화되어 있지 않았다는 점을 꼽았다. 6배가 넘는 속도 향상 가운데 이처럼 적용되지 않던 설정을 찾아낸 몫이 얼마이고 새로운 최적화 기법의 몫이 얼마인지는 블로그에서 따로 나누어 설명하지 않았다.
결정적 추론(deterministic inference) 항목에서는 처리량이 33.7% 늘고 토큰당 생성 시간이 26%, 첫 토큰 지연이 12% 줄었으며 결정성은 그대로 유지됐다. 소요 기간은 약 3일이다. GPU 극한 디코딩 항목에서는 시스템이 7가지 방향을 제시했고 그중 3개가 개선으로 이어져 디코딩 속도가 14.9% 빨라졌으며 정확도는 기준선과 같았다.
대략 계산해 보면: 처리량이 33.7% 늘면 같은 요청량을 처리하는 데 필요한 카드 수는 기존의 약 75%(1÷1.337)가 된다. 이 최적화를 온라인 클러스터 전체에 옮길 수 있다면 줄일 수 있는 것은 추론 연산 자원의 약 4분의 1이다. 세 과제에 GPU 시간이 각각 얼마나 들었는지는 블로그가 공개하지 않았으므로, 이 셈은 현재 이득 쪽만 계산할 수 있고 비용 쪽은 비어 있다.
블로그는 난이도에 대해서도 솔직하게 적었다.
“기준선에는 이미 엔지니어들이 결정적 추론을 위해 적용한 전용 최적화가 포함되어 있어, 남은 개선은 항목당 1%~2%에 그치는 경우가 많고 이는 측정 변동과 비슷한 수준이다.”
많은 가설이 실험에서 틀린 것으로 드러났다. 예를 들어 카드 간 단일 통신은 이미 지연 하한에 가까워서 이 방향은 거기서 멈췄다.
팀은 글 말미에서 재귀적 자기 개선(RSI)의 확장은 통제 가능하고 일시 중지할 수 있어야 하며 안전성 평가와 사람의 감독을 받아야 한다고 밝혔다. 공개된 과제를 보면 ERNIE Evolve가 현재 손대는 것은 학습 스크립트와 추론 코드이며, 모델 자체의 학습 과정은 아직 건드리지 않았다.
참고 출처: Baidu ERNIE 기술 블로그, ERNIE-Evolve-Results 오픈소스 저장소, CocoLoop; 공개 과제 4건의 성적과 ERNIE-5.5-Flash 추론 최적화 3건의 개선 폭을 대조 확인했다.