AI2 Olmo Hybrid 7B: 트랜스포머와 RNN을 결합한 완전 오픈소스 LLM

트랜스포머의 한계를 넘는 하이브리드 아키텍처

Allen Institute for AI(AI2)가 Olmo Hybrid 7B를 공개했다. 기존 트랜스포머 아키텍처의 어텐션 메커니즘과 선형 순환 신경망(Linear RNN)을 결합한 하이브리드 모델이다. 가중치, 중간 체크포인트, 학습 코드, 기술 보고서까지 모두 Apache 2.0 라이선스로 공개하여 '완전한 오픈소스'를 표방한다.

핵심 혁신은 아키텍처에 있다. 32개 레이어 중 75%에서 기존 멀티헤드 어텐션을 gated DeltaNet 헤드로 대체했다. 3개의 DeltaNet 레이어와 1개의 어텐션 레이어를 반복하는 구조다. 이 설계로 학습 속도 저하 없이 데이터 효율성을 2배로 끌어올렸다.

핵심 기능 1: 2배의 데이터 효율성

Olmo Hybrid 7B의 가장 주목할 성과는 데이터 효율성이다.

MMLU 벤치마크에서 Olmo Hybrid는 Olmo 3과 동일한 정확도에 도달하는 데 49% 더 적은 토큰을 사용했다. 5.5조 토큰으로 학습하면서도 Olmo 3을 대부분의 벤치마크에서 능가한다. 같은 학습 처리량(throughput)을 유지하면서 이 효율성 향상을 달성했다는 점이 핵심이다.

핵심 기능 2: gated DeltaNet 아키텍처

기존 트랜스포머의 어텐션 메커니즘은 입력 시퀀스 길이의 제곱에 비례하는 연산 비용이 발생한다. Olmo Hybrid는 이를 해결하기 위해 레이어의 75%에서 gated DeltaNet을 사용한다.

gated DeltaNet은 선형 순환 구조로 시퀀스 길이에 선형적으로 비례하는 연산 비용을 가진다. 장문맥 처리 시 추론 효율성(처리량 및 메모리)이 75% 향상된다. 65,536 토큰의 컨텍스트 윈도우를 효율적으로 처리할 수 있다.

핵심 기능 3: 완전한 오픈소스 공개

AI2는 모델 가중치만 공개하는 '오픈 워싱'이 아닌, 연구 재현에 필요한 모든 요소를 공개했다.

공개 항목은 다음과 같다.

• 기본 모델(Base), SFT, DPO 단계별 가중치
• 학습 중간 체크포인트
• 학습 코드(OLMo-core, open-instruct)
• 5.5조 토큰 학습 데이터 구성(Dolma 3)
• 기술 보고서 및 스케일링 법칙 분석
• 평가 도구(OLMo-Eval)

이는 Meta의 Llama나 Mistral의 모델 공개와 차별화되는 지점이다. 다른 조직의 연구자들이 동일한 결과를 재현하고 개선할 수 있는 기반을 제공한다.

3단계 학습 파이프라인

Olmo Hybrid의 학습은 세 단계로 진행됐다.

중기 학습에서 코드(20%), 수학(19%), 사고 과정(8%) 데이터의 비중이 높아 추론 능력을 강화했다. 장문맥 학습에서는 PDF 데이터 34%를 포함하여 긴 문서 처리 능력을 확보했다.

하이브리드 아키텍처의 미래

Olmo Hybrid는 순수 트랜스포머와 순수 RNN 사이의 최적 지점을 실증적으로 보여준다. 어텐션 레이어를 완전히 제거하지 않고 25%를 유지함으로써, 트랜스포머의 강점(장거리 의존성 포착)과 RNN의 강점(효율적인 순차 처리)을 모두 확보했다.

이 접근법은 Jamba(AI21 Labs), Mamba-2, Griffin(Google DeepMind) 등과 함께 하이브리드 아키텍처가 차세대 LLM의 주류가 될 가능성을 높인다.

결론: 효율성의 새로운 기준

Olmo Hybrid 7B는 '더 크고 더 많은 데이터'가 아닌 '더 효율적인 아키텍처'로 성능을 끌어올린 사례다. 2배의 데이터 효율성은 학습 비용을 절반으로 줄일 수 있다는 의미다. Apache 2.0 라이선스의 완전한 오픈소스 공개는 학술 연구와 상업적 활용 모두에서 하이브리드 아키텍처 연구를 가속화할 것이다.