Inkling 2 Mini 공개: 26.4B 루프 트랜스포머, 노트북 실행 지원
Thinking Machines Lab이 2026-11-20 Inkling 2 Mini를 공개했다. 26.4B MoE 루프 트랜스포머로 Intelligence Index 20, 작업당 비용 $0.59다(자체 보고 포함).
Thinking Machines Lab이 2026-11-20 Inkling 2 Mini를 공개했다. 26.4B MoE 루프 트랜스포머로 Intelligence Index 20, 작업당 비용 $0.59다(자체 보고 포함).
핵심 요약
Thinking Machines Lab은 2026-11-20 Inkling 2 Mini를 공개했다. 총 26.4B 파라미터의 MoE looped transformer이며 컨텍스트는 100만 토큰, 입력은 텍스트와 이미지다(The Decoder). 11-08의 Inkling 2 Small 후속 모델이다. 벤치마크는 모두 Thinking Machines 자체 보고 수치이며 독립 검증 전이다.
구조
24개 저장 레이어를 6개씩 4블록으로 나누고 가운데 두 블록을 3회 반복한다. 첫 블록과 마지막 블록은 1회 실행하며, 토큰당 레이어 적용은 48회다. 첫 패스 이후 각 패스는 이전 패스의 중간 블록 출력(message)을 읽는다(공식 페이지).
활성 파라미터 표기는 일관되지 않다. 공식 표는 5.4B activated / 26.4B total이고, 본문은 3.4B 활성에 반복 반영 5.4B로 쓴다. Artificial Analysis는 5.4B가 3회 반복 포함 값이며 텍스트 토큰당 고유 가중치는 3.1B라고 설명한다.
학습과 정밀도
- 희소도 48(전문가 384개 중 8개 선택)로 시작해 전문가 2/3를 프루닝했다. 레이어당 128개다.
- 더 큰 내부 Inkling 모델에서 증류한 1T 토큰으로 healing했다.
- SFT 후 RL을 총 2.2T 토큰, 2,000 스텝 진행했고 정렬에는 on-policy distillation을 썼다.
- 20개 레이어는 NVFP4, 마지막 4개 레이어는 MXFP8로 네이티브 학습·배포하며 총 메모리는 약 20GB다(공식 표기).
벤치마크(자체 보고)
| 벤치마크 | Inkling 2 Mini | 비교 모델 |
|---|---|---|
| DeepSWE v1.1 | 48.2% | Qwen3.8-27B 42.2% |
| SWEBench Pro v2 Hard | 77.9% | 73.8% |
| Terminal Bench v2.1 | 71.6% | Qwen 73.0% |
| HLE-Diamond | 15.2% | Qwen 15.3% |
| ARC-AGI v1 / v2 | 84.5% / 49.3% | Qwen 87.5% / 42.4% |
Vals Index v2.2는 46.5%로 Nemotron 3.5 Super VL의 29.8%보다 높다. Terminal Bench와 HLE-Diamond는 근소하게 뒤진다.
비용과 속도(Artificial Analysis, 2026-11-20)
| 항목 | Inkling 2 Mini | Qwen3.8 27B (xhigh) | GPT-6 Luna (max) |
|---|---|---|---|
| Intelligence Index | 20 | 20 | 28 |
| 태스크당 비용 | $0.59 | $3.53 | $0.15 |
| 태스크당 시간 | 9.0분 | 38.2분 | 미확인 |
Mini 비용은 Thinking Machines 1st-party 가격(입력/출력/캐시히트 $0.15/$0.50/$0.015, 100만 토큰당) 기준이다. 서드파티 호스팅은 다를 수 있고 컴퓨트 지표는 추정치다. 평균 출력은 태스크당 152K 토큰이다.
Stanford Intelligence per Watt(NVIDIA DGX Spark, MXFP8, low reasoning effort)는 Mini 0.703, Qwen3.6-35B-A3B 0.430이다(공식 페이지).
로컬 실행과 생태계
공식 데모는 MacBook Pro(M5 Pro, 48GB) 비행기 모드다. Ollama는 RAM 32GB 이상 Mac이 필요하고 NVIDIA DGX Spark를 지원한다. GGUF는 Unsloth와 llama.cpp가 제공한다. 추론은 SGLang, vLLM, Ollama 등에서, RL 파인튜닝은 SkyRL, Miles, NVIDIA AutoModel로 가능하다. Tinker는 추론, 파인튜닝, Playground를 제공한다.
가중치는 Hugging Face에 공개됐다. 라이선스는 The Decoder 보도 기준 Apache 2.0이며 공식 페이지에는 명시가 없다.
한계
- MultiChallenge 50.0%, ComplexConstraints v1.1 33.4%다. 공식 본문은 Qwen 대비 열세라 쓰지만 표의 Qwen은 30.1%여서 맞지 않는다.
- CritPt v2와 HLE-Diamond에서 더 큰 모델에 뒤진다.
- 반복은 저장 지식을 늘리지 않아 지식 집약 벤치마크는 반복을 늘려도 개선되지 않는다. AA-Omniscience 비환각률은 63.4%로 Qwen3.8-27B의 71.4%보다 낮다.
결론
Inkling 2 Mini는 32GB 이상 Mac이나 DGX Spark에서 돌릴 수 있는 오픈 웨이트 모델이다. Index 20은 Qwen3.8 27B와 같고 태스크당 비용은 $0.59 대 $3.53이다. 코딩 에이전트와 로컬 배포가 필요한 팀에 적합하다. 평점 4점은 자체 보고 수치 기준이다.
장점
- Index 20으로 Qwen3.8 27B와 같고 태스크당 비용 $0.59 대 $3.53, 9.0분 대 38.2분 (Artificial Analysis)
- 총 메모리 약 20GB의 NVFP4/MXFP8 네이티브 배포로 32GB 이상 Mac과 DGX Spark에서 실행
- SWEBench Pro v2 Hard 77.9%, MCP Atlas 82.7% 등 코딩 에이전트 지표 우위 (자체 보고)
- Hugging Face 가중치 공개와 Ollama, llama.cpp, vLLM, SGLang, Tinker 지원
단점/한계
- 활성 파라미터 표기가 문서 내외에서 일치하지 않고, ComplexConstraints 비교 수치도 본문과 표가 맞지 않음
- MultiChallenge 50.0%, ComplexConstraints 33.4%이고 AA-Omniscience 비환각률은 63.4%로 Qwen3.8-27B(71.4%)보다 낮음
- 벤치마크가 Thinking Machines 자체 보고이며 비용은 1st-party 가격 기준 추정치, 독립 검증 전
- 평균 출력이 태스크당 152K 토큰으로 Qwen3.8 27B보다 많고, GPT-6 Luna(max)는 Index 28에 태스크당 $0.15
참고 자료
댓글0개
주요 기능/특징
1. 26.4B MoE looped transformer, 가운데 두 블록 3회 반복(토큰당 48회 레이어 적용) 2. 컨텍스트 100만 토큰, 텍스트와 이미지 입력 3. NVFP4와 MXFP8 혼합 정밀도, 총 메모리 약 20GB 4. Artificial Analysis Intelligence Index 20, 태스크당 $0.59 / 9.0분 5. Hugging Face 가중치 공개, Ollama, llama.cpp, vLLM, SGLang 지원
핵심 인사이트
- 가운데 두 블록을 3회 반복해 저장 파라미터는 26.4B로 두고 토큰당 레이어 적용을 48회로 늘리는 구조다. 메모리와 연산을 따로 조절하는 설계다
- Artificial Analysis Intelligence Index 20은 Qwen3.8 27B(xhigh)와 동률이다. 태스크당 비용은 $0.59 대 $3.53, 시간은 9.0분 대 38.2분이다(1st-party 가격 기준)
- DeepSWE v1.1 48.2%, SWEBench Pro v2 Hard 77.9%, MCP Atlas 82.7%로 코딩 에이전트 지표에서 Qwen3.8-27B를 앞선다. 모두 자체 보고 수치다
- 활성 파라미터가 3.4B, 5.4B, 3.1B로 문서마다 다르게 표기된다. 비교 시 반복 포함 여부를 먼저 확인해야 한다
- 반복은 저장 지식을 늘리지 않는다. AA-Omniscience 비환각률 63.4%(Qwen3.8-27B 71.4%)도 이 한계와 맞닿아 있다
- NVIDIA DGX Spark에서 Intelligence per Watt 0.703으로 Qwen3.6-35B-A3B(0.430)보다 높다. low reasoning effort와 MXFP8 조건의 수치다
- 가변 반복 연구용 모델(TML-d24-varloop-research)에서 GPQA 정답 문항 평균 추론 토큰이 1패스 3,703개에서 5패스 1,661개로 줄었고 가독성은 유지됐다
- 라이선스 Apache 2.0은 The Decoder 보도 기준이며 공식 페이지에는 명시가 없다. 상용 도입 전 Hugging Face 저장소에서 직접 확인해야 한다
이 리뷰가 유용했나요?
공유하기
관련 AI 리뷰
Tencent Hy4 flash 출시: 총 224B·활성 12B, 1M 컨텍스트 지원
Tencent가 2026년 11월 16일 Hy4 flash를 출시했다. 활성 12B, 1M 컨텍스트에 출력 100만 토큰당 $0.281이다. 성능 수치는 자체 평가이며 비용에 민감한 개발자에게 유용하다.
Qwen4-Max 정식 출시: 활성 파라미터 25% 감소, API 가격 25% 인하
알리바바가 2026년 11월 16일 Qwen4-Max를 정식 출시했다. 활성 파라미터를 줄이고 API 가격을 25% 낮췄다. 가중치는 비공개이며, 비용 대비 성능을 따지는 개발자에게 유용하다.
Inkling 2 Small 공개: 594B MoE, 토큰당 17B 활성, 가중치는 공개 예정
Thinking Machines Lab이 2026-11-05 594B MoE 모델 Inkling 2 Small을 발표했다. 가중치는 다음 주 Apache 2.0으로 공개할 예정이며 현재는 Tinker에서만 이용할 수 있다.
알리바바 Qwen, 중국판 Apple Intelligence 통합: 12월 iOS 27.3 롤아웃
알리바바가 Qwen을 중국판 Apple Intelligence에 통합하기로 Apple과 합의했다고 공개했다. 11월 4일 개발자 베타, 12월 iOS 27.3 정식 롤아웃이 예고됐으며 Siri 범위는 확인되지 않았다.
