Ai2, 논문에서 가설을 찾는 Theorizer 공개

Open source illustration: hands joining branches to a shared node tree

앨런 인공지능 연구소(Ai2)가 11월 19일 연구 플랫폼 Asta에 Theorizer를 내놓았다. 여러 논문의 발견을 이어 붙여 관찰된 현상에 대한 설명을 제안하는 에이전트로, 코드도 GitHub에 함께 오픈소스로 공개됐다.

사용은 질문에서 시작한다. Theorizer는 문헌을 검색한 뒤 먼저 각 논문에서 무엇을 뽑아낼지 정한 추출 템플릿을 만든다. Ai2가 든 예를 보면, "종양은 어떻게 커지는가"라고 물을 경우 템플릿에는 연구가 어떤 유전자를 살펴봤는지, 활성을 어떻게 측정했는지, 유전자를 바꾸자 무슨 일이 일어났는지 같은 항목이 들어갈 수 있다. 이어 각 논문의 발견을 비교해 여러 개의 이론을 생성한다. 모든 주장에는 출처 논문 링크가 붙고 적용 범위가 명시된다. 연구자는 주장마다 원문으로 돌아가 증거가 충분한지, 실험 조건을 나란히 놓고 비교할 수 있는지 판단할 수 있다. 새롭게 제기된 것으로 판단한 주장은 따로 표시된다.

사례 세 건, 벤치마크 점수는 없다

Ai2는 이 도구를 과학자들과 함께 1년 가까이 다듬었다고 밝혔다. 이번에 공개된 것은 몇 가지 사례이며 벤치마크 평가 점수는 전혀 없다.

첫 번째는 폐선암이다. 전체 사례의 약 20~30%는 전장 시퀀싱을 해도 공인된 드라이버 변이가 발견되지 않는다. Theorizer는 세 가지 방향을 제시했다. 아직 발견되지 않은 유전적 변화가 RAS 신호를 활성화하고 있을 가능성, RAS를 우회해서도 세포가 분열할 수 있게 하는 다른 기전이 있을 가능성, 일부 종양이 다른 세포 유형의 특징을 띠게 됐을 가능성이다. 연구자 Devarakonda는 결과를 보고 이렇게 반응했다.

"Wait a second, this is exactly what I think. And it took me 15 years to think like this."

(잠깐만요, 이건 제 생각과 똑같습니다. 이렇게 생각하기까지 15년이 걸렸어요.)

연구팀은 이후 Ai2의 또 다른 도구 AutoDiscovery를 사용해 DREAM 복합체가 파괴됐을 가능성을 제시했고, CDK2 의존성을 뒷받침하는 초기 징후도 확인했다. Ai2는 이 모든 것이 아직 실험으로 검증돼야 한다고 명시했다.

신경과학자 Lecoq이 물은 것은 VIP 개재뉴런이었다. 후보 이론을 한두 개 얻을 것으로 예상했지만, Theorizer는 한 번에 50개를 돌려줬다.

세 번째 사례는 페루다. Palacios와 Juarez는 PISCO 기상 데이터셋을 사용했는데, Theorizer가 내놓은 설명 하나는 나중에 두 사람이 틀린 것으로 판정했다. 하지만 그 설명을 검증하려고 11월의 기온 정점을 확인하다가 데이터 원천까지 거슬러 올라가게 됐다. 이슬점 기록은 2016년에 끝나는데 최저기온 기록은 2020년까지 이어져, 그 사이에 4년의 차이가 있었다. 일부 재구성 값은 35°C를 넘었고, 그것도 11월에 몰려 있었다. 원본 기록의 11월 정점이 어디서 비롯됐는지는 두 사람이 독립 관측소의 자료와 대조하는 중이며, 아직 결론은 나오지 않았다.

Asta로 이어지는 흐름

Ai2가 올해 Asta에서 내놓은 행보를 이어서 보면 도구들의 역할 분담이 점점 세분화되고 있다. 10월 초에는 검색한 문헌을 인용이 달린 연구 보고서로 써 주는 80억 파라미터의 AstaBrief를 오픈소스로 공개했고, 당시 제시된 평균 생성 시간은 51.1초였다. AstaBrief는 소형 모델과 오픈 웨이트 노선을 택했다. Ai2의 설명은 많은 과학자에게 가장 좋은 증거가 내부 보고서에 있어서 상업적 AI 연구소에 보낼 수 없다는 것이다. Theorizer는 여기서 한 걸음 더 나아가, 기존 결론을 요약하는 데서 검증에 가져갈 수 있는 설명을 제안하는 단계로 갔다.

진입 장벽은 높지 않다. Asta 웹에서 바로 쓸 수 있고 토큰 비용은 Ai2가 부담하지만 상한이 있다. 자기 컴퓨터에서 돌리려면 공개된 라이브러리를 쓰고 실제 사용량에 따라 토큰 비용을 직접 낸다. 코드가 어떤 라이선스를 쓰는지는 발표 페이지에 적혀 있지 않아 GitHub 저장소를 기준으로 봐야 한다. Ai2는 또 과학자를 대상으로 한 온라인 워크숍을 태평양 시간 12월 10일 오전 10시에 열 예정이다.

Ai2가 스스로 든 한계는 두 가지다. Theorizer는 관련 연구를 놓칠 수 있고, 독창성을 잘못 판단할 수도 있다. 분석한 논문 묶음 안에서는 새로워 보이는 이론이 다른 곳에서는 이미 누군가 제기했을 수 있다는 뜻이다. "새로움" 표시가 붙은 주장 가운데 이런 경우가 얼마나 되는지 Ai2는 통계를 내놓지 않았고, 연구자는 더 넓은 범위의 문헌과 대조해 봐야 한다.

참고 출처: CocoLoop, Ai2 공식 블로그, Asta 플랫폼, Ai2 GitHub 저장소. Theorizer의 작업 흐름, 각 사례의 비율과 연도 데이터, AstaBrief의 평균 생성 시간, 웹 버전의 토큰 비용 규정을 확인했다.