Anthropic은 9월 17일, Claude를 활용해 오픈소스 생체분자 모델 30여 개의 추론을 최적화해 4주가 채 안 되는 기간에 실행 속도를 평균 약 4배 끌어올렸다는 연구 보고서를 공개했다. 정확도 손실은 크지 않았다고 밝혔다. 정확도를 전혀 낮추지 않는 조건에서는 평균 속도 향상 폭이 약 1.6배에 그친다. 관련 코드는 모두 GitHub의 anthropics/uplifting-biomolecular-modeling 저장소에 공개돼 있다.
대상 모델은 구조 예측, 단백질 설계, 단백질 언어 모델, 유전체학 모델 등 네 가지 범주에 걸쳐 있다. 보고서가 직접 언급한 모델은 AlphaFold3, OpenFold3, Boltz-2, ColabFold 1.6.3이며, 설계 범주에는 환각 기반 설계(hallucination design), 구조 생성, 역폴딩(inverse folding)이 포함되고 확산 모델, 플로우 매칭, 그래프 신경망 등 서로 다른 아키텍처가 바탕이 됐다. 나머지 모델은 보고서에 개별적으로 나열돼 있지 않다.
담당자는 두 명, 실제 작업은 모델 하나
프로젝트를 맡은 것은 Anthropic 엔지니어 단 두 명이었다. 보고서는 이 둘의 배경을 특별히 짚었는데, 생체분자 모델링에는 익숙했지만 추론 최적화나 GPU 커널 작성 경험은 전혀 없었다고 한다. 실제 작업은 Claude Science 환경 안의 Claude가 수행했으며, 테스트에 사용된 모델 버전은 Mythos 5.1, Mythos 5, Opus 5였다.
속도 향상 방식은 두 층으로 나뉜다. 하나는 범용적인 방식으로, Claude는 이들 모델에서 연산 부담이 가장 큰 Pairformer 모듈을 위해 FlashPairformer라는 커스텀 커널을 작성해 삼각 어텐션(triangle attention)을 2.7~2.9배, 삼각 곱셈(triangle multiplication)을 1.7~3.2배 빠르게 만들었다. 다른 하나는 모델별 개별 대응으로, 반복 연산 캐싱이나 쓰이지 않는 분기 제거 등이 여기에 해당한다.
정확도 "손실이 크지 않다"는 판단 기준도 보고서에 제시돼 있다. 인터페이스 예측에는 DockQ 점수를 사용해 0.23을 넘으면 허용 가능하다고 봤고, 설계 결과에는 습식 실험 결합률과 상관관계가 있는 계산 점수인 ipSAE를 사용했다.
얼마나 큰 구조까지 접을 수 있나
속도보다 더 눈에 띄는 것은 규모의 변화다. AlphaFold3가 기존에 예측할 수 있던 상한은 7663토큰이었지만, 최적화 이후 NVIDIA B300 노드 한 대에서 7만 토큰을 넘는 수준까지 처리할 수 있게 됐으며, 바이러스 캡시드 전체나 단백질 구획 같은 대형 복합체도 대상이 됐다.
"These are among the largest structures ever folded accurately using structure prediction models."
보고서는 한계도 명시했다. 7만 토큰을 넘는 범위에서 바이러스 캡시드 예측은 정확하지 않다는 것이다. 하드웨어 장벽도 여전해서, 대형 구조체에는 B300 노드가 필요하고 일반적인 작업에도 H200급 GPU가 필요하다.
지난달 단백질 설계와 이어서 보면
8월 중순 Anthropic은 Claude로 단백질 결합체를 처음부터 설계하는 실험 결과를 공개하며, 15개 타깃 중 14개에서 쓸 만한 설계를 얻었다고 밝힌 바 있다. 본지도 당시 이를 보도했다. 그 실험은 여러 서브에이전트와 대량의 프롬프트를 동원해 Modal 클라우드에서 진행됐으며, 이번 보고서에 따르면 타깃 하나당 약 1만 달러가 들었다.
이번에는 최적화된 모델 스택으로 단백질 설계를 다시 진행했다. 16개 타깃을 테스트한 결과, H200 한 장으로 24시간 동안 실행해 GPU와 토큰 비용을 합쳐 약 150달러에 그쳤고, Anthropic은 비용이 약 두 자릿수 낮아졌다고 밝혔다. 다만 두 차례의 타깃이 완전히 같지는 않고, 이번 설계 결과에 대한 습식 실험 검증 데이터도 제시되지 않아 직접 비교 가능한 것은 비용과 소요 시간뿐이며, 성공률은 후속 결과를 기다려야 한다.
8월부터 9월까지 Anthropic이 생명과학 분야에서 밟은 순서는 뚜렷하다. 먼저 모델이 실험실에서 검증되는 분자를 설계할 수 있음을 보여준 뒤, 그다음 설계에 쓰이는 도구 자체를 개선하는 쪽으로 방향을 돌렸다. 후자는 학술 연구실에 더 직접적인 영향을 줄 수 있다. GPU를 몇 장밖에 갖추지 못한 연구실이 많은데, 이전에는 접을 수 없던 대형 구조체를 이제 오픈소스 가속판으로 시도해볼 수 있게 됐다.
참고 출처: Anthropic 연구 보고서, CocoLoop, anthropics/uplifting-biomolecular-modeling 코드 저장소. 평균 속도 향상 배수, FlashPairformer 항목별 향상 폭, 7663 및 7만 토큰 상한, 타깃당 비용 산정 기준은 보고서 원문에서 확인할 것.