Google DeepMind, 암호화 기반 이중맹검 AI 평가 파일럿 공개

핵심 요약

Google DeepMind가 2026년 8월 27일 세계 최초의 암호화 기반 "이중맹검(double-blind)" AI 모델 평가 파일럿을 공개했다 (Google DeepMind 공식 블로그).

AI 모델 평가에서는 오랫동안 벤치마크 오염 문제가 지적돼 왔다. 평가 문항이 모델의 사전학습 데이터에 포함되면 점수가 실제 능력보다 부풀려질 수 있다. 동시에 모델 제공자 입장에서는 평가자에게 모델 가중치를 그대로 노출해야 한다는 부담도 있었다. DeepMind는 이 두 문제를 동시에 해결하기 위해 암호화 기술을 결합한 새로운 평가 구조를 시험했다.

주요 기능

1. 이중맹검 구조

이번 파일럿의 핵심은 평가자와 모델 제공자가 서로의 민감 정보를 볼 수 없도록 설계된 구조다. 평가자는 모델 가중치에 접근할 수 없고, 모델 제공자는 평가 문항 내용을 확인할 수 없다. 이를 통해 모델 제공자가 평가 문항을 미리 학습에 반영해 점수를 부풀리는 것을 원천적으로 차단한다.

2. 결합된 암호화 인프라

DeepMind는 이 구조를 구현하기 위해 세 가지 기술을 결합했다.

• Google Cloud Confidential Space: 신뢰 가능한 실행 환경(TEE) 기반 워크로드 격리
• NVIDIA H100 Confidential GPU: GPU 연산 과정에서의 데이터 기밀성 보장
• Intel TDX 메모리 암호화: 메모리 영역 단위의 암호화로 실행 중 데이터 노출 방지

이 세 요소를 결합해, 모델과 평가 문항이 같은 시스템에서 처리되면서도 양측 모두 상대방의 데이터에 접근하지 못하는 실행 환경을 만들었다.

3. 다자 협력 구조

이번 파일럿은 DeepMind 단독이 아니라 싱가포르 AI Safety Institute, OpenMined, AVERI, MLCommons 4개 기관과의 협력으로 진행됐다. 각 기관은 평가 방법론, 프라이버시 보호 기술, 벤치마크 표준화 등에서 각자의 전문성을 제공했다 (Google DeepMind 공식 블로그).

4. 첫 대상 모델: Gemini Flash Lite

첫 파일럿 대상은 Gemini Flash Lite였다. 자사의 경량 모델을 대상으로 먼저 검증함으로써, 향후 다른 모델과 평가 기관으로 구조를 확장하기 전 기술적 타당성을 확인하는 단계로 볼 수 있다.

사용성 분석

이 접근이 의미 있는 이유는 벤치마크 오염이 AI 업계 전반의 신뢰성 문제이기 때문이다. 지금까지는 모델 제공자가 평가 문항을 사전에 알게 될 가능성을 완전히 배제하기 어려웠고, 반대로 평가 기관이 모델 내부를 들여다봐야 하는 경우 모델 제공자의 지적재산 보호와 충돌했다. 이중맹검 구조는 이 두 우려를 기술적으로 동시에 해소하려는 시도다.

특히 정부나 보안 관련 기관이 AI 모델을 평가할 때는 데이터 주권 문제가 크게 작용한다. 평가 문항이 민감한 국가 안보 관련 내용을 포함할 수도 있고, 모델 제공자는 상업적으로 민감한 가중치를 노출하고 싶어하지 않는다. 이번 구조는 양측의 요구를 모두 충족시키는 방향으로 설계됐다.

장점과 한계

장점은 명확하다. 평가 신뢰성이 구조적으로 보장되고, 평가자와 모델 제공자 양측의 데이터 주권이 동시에 지켜진다. 4개 기관이 참여해 방법론의 다각적 검증도 이뤄졌다.

다만 한계도 있다. 이번 발표는 어디까지나 "파일럿" 단계이며, 대상도 경량 모델인 Gemini Flash Lite 하나뿐이다. Confidential Computing 인프라를 갖추는 데 필요한 비용과 기술적 복잡도가 어느 정도인지, 대규모 모델이나 다수의 평가 기관으로 확장했을 때도 동일한 성능과 신뢰성을 유지할 수 있는지는 아직 공개된 정보만으로는 확인하기 어렵다.

전망

DeepMind가 싱가포르 AI Safety Institute, MLCommons 등 국제 표준화 기구와 협력했다는 점은 이 방식이 향후 업계 표준 평가 절차로 발전할 가능성을 시사한다. 벤치마크 오염 문제는 Gemini뿐 아니라 모든 LLM 제공자가 공통으로 안고 있는 과제이기 때문에, 파일럿 결과가 검증되면 다른 AI 기업과 평가 기관으로도 확산될 여지가 있다.

결론

이번 파일럿은 벤치마크 신뢰성이라는 업계 공통 문제에 암호화 기술로 접근한 초기 시도다. 아직 소규모 검증 단계이지만, AI 모델 감독 체계에 관심 있는 정책 기관, 평가 기관, 연구자에게는 주목할 만한 사례다.