Cloudflare는 11월 4일 개인 에이전트 트래픽을 대상으로 한 분석·제어 기능을 내놨다. 사이트 운영자는 이제 관리 화면에서 사용자를 대신해 가격을 비교하고, 자료를 찾고, 주문을 넣는 에이전트를 따로 확인할 수 있고, 각 에이전트에 접근 정책을 개별로 설정할 수 있다.
이런 트래픽은 지금까지 다루기 까다로웠다. 에이전트 뒤에는 실제 사용자가 있어서 모두 막으면 고객을 잃을 수 있고, 모두 허용하면 무엇을 하는지 알 수 없다. Cloudflare는 이번에 에이전트를 다른 자동화 트래픽과 먼저 분리하고, 접근 규칙은 운영자가 정하도록 하는 방식을 택했다.
“Better visibility into agent activity allows you to decide what access makes sense for your site.”
(에이전트의 활동이 더 잘 보여야 사이트에 어떤 접근을 열어 둘지 판단할 수 있다.)
관리 화면에 추가된 것
분석. Security Analytics의 Bot Analysis 차트에 Personal Assistants 범주가 새로 생겼다. Verified Bot, Likely Human, Likely Automated, Automated와 나란히 놓이는 항목이다. Top statistics에도 구성 요소가 하나 늘어, 사이트를 방문한 에이전트와 요청 수를 보여 준다. 특정 에이전트로 필터링하면 다른 구성 요소도 이에 맞춰 그 에이전트가 요청한 경로, 받은 상태 코드, 출발 네트워크를 표시한다.
계정 계층. Account Abuse Protection을 켠 사이트에서는 에이전트가 어느 사용자를 대신하는지도 볼 수 있다. 로그인과 가입 이벤트에는 개인 에이전트가 시작한 것인지, 어느 에이전트인지가 표시되고, 사기 방지팀은 에이전트 이벤트나 건수로 계정을 걸러 볼 수 있다. 공격자가 에이전트를 통해 계정을 탈취했다면 Hashed User ID를 기준으로 WAF 규칙을 작성해 해당 계정 하나만 처리할 수 있고, 같은 에이전트를 쓰는 다른 사용자는 영향을 받지 않는다. 이 기능은 아직 얼리 액세스 단계다.
정책. 기존 AI 봇 정책은 Search, Training, Agents 세 가지였다. 이번에 Agents가 지원되는 개인 에이전트까지 확장됐고, 설정 항목 이름은 AI Crawler and Agent access policies로 바뀌었다. 에이전트마다 선택지는 세 가지다.
- Allow: 차단하지 않음
- Block on pages with ads: 광고가 있는 페이지에서만 차단
- Block: 전면 차단
Search와 Training 정책은 바뀌지 않았다. 새 사이트를 연동할 때는 안내 과정에서 광고로 수익을 내는지 묻고, 이에 맞춰 정책을 추천한다.
두 번째 선택지에 이번 기능의 의도가 가장 잘 드러난다. 에이전트가 사람 대신 웹페이지를 읽으면 광고를 보는 사람이 없어서, 광고로 먹고사는 사이트는 노출 수익을 잃는다. 반면 같은 에이전트가 상품 페이지에서 주문을 대신 넣어 주는 것은 사이트에 좋은 일이다. 신원만 보고 일괄 차단하는 것보다 페이지 유형별로 막는 쪽이 운영자의 실제 필요에 더 가깝다.
블로그에 없는 내용
글에는 지원되는 에이전트 목록이 없고, 구체적인 선택지는 관리 화면에서 확인하라고만 되어 있다. 이 기능들이 어느 요금제에 해당하는지, 식별되지 않은 에이전트가 어느 범주로 들어가는지도 쓰여 있지 않다. 식별 근거와 관련해서는 Cloudflare가 가장 큰 규모의 검증된 봇 디렉터리를 운영한다고만 언급할 뿐, 에이전트가 이 디렉터리에 들어가려면 무엇을 해야 하는지는 설명하지 않는다.
이 부분은 효과에 직접 영향을 준다. 신원을 밝히지 않는 에이전트가 계속 일반 트래픽에 섞여 있으면 세 단계 정책은 닿지 않는다. 아마존이 9월에 Meta의 Muse를 차단했을 때도 이유 중 하나가 바로 이것이었다. 해당 에이전트가 탐색하면서 신원을 밝히지 않았다는 것이다.
Cloudflare는 다음 단계로 세 가지를 하겠다고 밝혔다. 프라이버시를 지키는 방식으로 사용자 컨텍스트를 전달하고, 평판 평가를 돕고, 문제가 생겼을 때 책임을 분명히 하는 것이다. 구체적인 방안과 일정은 아직 나오지 않았다.
중국 사이트는 어떻게 볼까
Cloudflare의 중국어 관리 화면을 쓰는 사이트라면 지금 바로 Security Settings에서 이 설정을 확인할 수 있다. 한동안 데이터를 보고 나서 손대는 편이 안전하다. 콘텐츠 사이트는 먼저 “광고가 있는 페이지에서만 차단”을 시험해 볼 수 있고, 커머스나 도구 사이트에서 에이전트가 가입과 주문을 가져온다면 허용하는 편이 이득이다.
중국의 휴대폰 분야에서도 비슷한 흐름이 있다. 바이트댄스(ByteDance)는 9월에 소비자용 더우바오(Doubao) 폰 어시스턴트를 내놓으면서 SAEP 프로토콜도 함께 공개했다. 서드파티 앱이 어시스턴트의 화면 자동 조작을 허용할지 선언할 수 있게 한 것이다. 두 가지는 작동하는 층이 다르다. 하나는 네트워크 입구에서, 하나는 기기 화면에서 작동하지만 발상은 통한다. 접근을 받는 쪽이 분명한 스위치를 갖기 시작했다는 점이다.
운영자 쪽에 스위치가 늘면 에이전트 업체는 새로운 상황에 직면한다. 같은 어시스턴트라도 사이트마다 할 수 있는 일이 갈수록 달라진다. 작업이 실패했을 때 사용자가 누구를 탓할지에 대한 답은 아직 없다.
참고 출처: Cloudflare 공식 블로그, CocoLoop. 기능 범위는 Cloudflare의 발표를 기준으로 하며, 더우바오와 아마존 관련 배경은 공개 보도에 따른다.