AI 뉴스 · 15분 읽기

Inkling 2 Mini: 노트북에서 실행하는 264억 파라미터 루프 모델

Thinking Machines Lab이 2026년 11월 20일 공개한 Inkling 2 Mini는 264억 파라미터와 약 20GB 크기의 루프 모델입니다. Apache 2.0 오픈 웨이트로 로컬 에이전트 작업을 지원합니다.

어두운 책상 위에 닫힌 노트북과 나란히 놓인 고리 모양으로 꼬인 은색 격자. 차가운 영화 같은 조명이 비치며 글자나 로고는 없다

Inkling 2 Mini는 Thinking Machines Lab이 2026년 11월 20일 공개한 264억 파라미터의 오픈 웨이트 루프형 Mixture-of-Experts 모델입니다. Apache 2.0 라이선스로 제공되는 약 20GB의 NVFP4·MXFP8 혼합 체크포인트는 메모리 32GB 이상의 Apple silicon, VRAM 32GB 이상의 GPU 또는 NVIDIA DGX Spark에서 로컬 에이전트 코딩을 수행하도록 설계됐습니다.

Thinking Machines Lab은 2026년 11월 20일 무엇을 발표했나?

Thinking Machines Lab은 2026년 11월 20일 공식 발표 블로그 글, 같은 날 게시한 X 출시 스레드, 그리고 Hugging Face 모델 카드의 Apache 2.0 라이선스 오픈 웨이트를 통해 Inkling 2 Mini를 공개했습니다. Thinking Machines는 X에서 다음과 같이 썼습니다. “Inkling 2 Small의 594B 파라미터가 너무 크다고 생각한 분들이 있었습니다. 그 의견을 들었습니다. Inkling 2 Mini는 파라미터가 단 26B인 루프형 트랜스포머로, 노트북에서 실행할 만큼 작으면서 AA Index에서 20.1점을 기록해 에이전트 작업을 수행할 만큼 강력합니다.”

X 게시물은 수치를 “단 26B”로 반올림했지만 공식 블로그, 모델 카드, Inkling 제품군 페이지, Tinker 카탈로그는 모두 총 26.4B 파라미터라고 명시합니다. 더 넓은 2026년 오픈 웨이트 모델 가운데 Inkling 2 Mini는 세 모델로 구성된 제품군의 입문형입니다.

  • Inkling 2 Mini: 총 26.4B 파라미터, 패스당 3.4B 활성화. 에이전트 코딩을 위한 노트북 규모의 루프형 트랜스포머입니다.
  • Inkling 2 Small: 총 594B 파라미터, 17B 활성화. 에이전트 코딩과 비전을 위한 2세대 주력 모델입니다.
  • Inkling: 총 975B 파라미터, 41B 활성화. 텍스트, 이미지, 오디오를 다룹니다.

Inkling 2 Mini의 루프형 MoE 아키텍처는 어떻게 작동하나?

Inkling 2 Mini는 Mixture-of-Experts(MoE) 설계와 가중치를 공유하는 레이어 반복을 결합합니다. 이를 통해 26.4B 모델이 메모리 사용량을 늘리지 않고 토큰당 더 많은 연산을 수행할 수 있습니다. 디코더 전용 레이어 24개를 한 번 통과할 때 각 토큰은 로컬 및 글로벌 어텐션 레이어가 혼합된 구조에서 128개 중 8개 전문가로 전달되며, 3.4B 파라미터가 활성화됩니다.

24개 레이어는 각각 6개 레이어로 구성된 네 블록으로 나뉩니다. 처음과 마지막 블록은 한 번 실행되고 가운데 12개 레이어는 가중치를 공유하며 세 번 반복됩니다. 따라서 24개 레이어의 가중치로 토큰당 48번 레이어가 적용됩니다. 가운데 레이어를 추가로 통과할 때마다 실효 활성 파라미터가 약 1.0B씩 늘어 총 토큰당 5.4B의 가중치 활성화가 이뤄집니다. 제품군 페이지에는 활성 파라미터가 3.4B로, Tinker 플랫폼 카탈로그에는 5.4B로 표시된 이유입니다. 하나는 패스당 전문가를 세고 다른 하나는 세 번의 반복 패스를 모두 반영합니다.

Thinking Machines는 더 큰 희소 네트워크를 가지치기하고 회복시켜 Inkling 2 Mini를 만들었습니다. 학습은 레이어당 384개 전문가 중 8개를 활성화한 상태로 시작했으며, 이후 전문가의 3분의 2를 제거해 레이어마다 가장 많이 사용된 128개를 남겼습니다. 가지치기한 모델은 더 큰 내부 Inkling 모델의 모델 증류를 통한 1T 토큰의 “회복”, 지도 미세 조정, 2,000단계에 걸친 2.2T 토큰의 강화학습, 정렬을 위한 온폴리시 증류를 거쳤습니다.

학습 후 압축된 체크포인트와 달리 Inkling 2 Mini는 혼합 저정밀도로 처음부터 학습되고 배포됐습니다. 20개 레이어는 4비트 NVFP4, 마지막 4개 레이어는 8비트 MXFP8을 사용해 AI 양자화 설명에서 다룬 학습 후 변환 손실을 피합니다. 결과물은 약 20GB의 단일 체크포인트로, 텍스트와 픽셀 이미지 입력을 받아들이고(40px~4096px 권장) 영어 텍스트를 출력하며 일반적인 다국어도 지원합니다. 다만 모델 카드는 중국어 테스트에서 문구가 잘리거나 언어가 섞이는 현상이 나타났다고 경고합니다.

공식 하드웨어 요구 사항, 컨텍스트 한도 및 Inkling 2 Mini 입수처

2026년 11월 21일 기준 Thinking Machines Lab 공식 문서에 따르면 Inkling 2 Mini의 기본 체크포인트에는 약 20GB가 필요하며, 최소 32GB의 통합 메모리 또는 VRAM을 갖춘 하드웨어를 대상으로 합니다.

공식 하드웨어 지침과 MacBook Pro 데모

공식 모델 카드는 지원되는 로컬 하드웨어를 세 가지로 제시합니다.

  • Apple silicon Mac: 32GB 이상의 통합 메모리를 갖춘 MacBook, Mac mini, Mac Studio.
  • 독립 GPU 및 기타 플랫폼: 32GB 이상의 VRAM 권장.
  • 워크스테이션 하드웨어: NVIDIA DGX Spark 1대, 그리고 NVFP4/MXFP8 실행을 위한 NVIDIA GB300 플랫폼의 커널 가속.

Thinking Machines는 오프라인 “PlaneBench 비행 시뮬레이터 데모”도 공개했습니다. 연구자들이 MacBook Pro(M5 Pro, 48GB)를 비행기 모드로 설정하고 Inkling 2 Mini를 실행해 몇 분 만에 플레이 가능한 비행 시뮬레이터를 만드는 모습이며, 영상 대부분은 15배속입니다. 이 영상은 한 번의 오프라인 세션을 보여주며 최소 사양이나 표준화된 속도 벤치마크는 아닙니다.

컨텍스트 한도와 웨이트를 실행할 수 있는 곳

공식 문서는 모델을 실행하는 위치에 따라 서로 다른 두 가지 컨텍스트 한도를 제시합니다. Hugging Face 모델 카드는 Inkling 2 Mini가 최대 1M 토큰의 컨텍스트 윈도를 지원한다고 밝히지만, 공식 Tinker 모델 카탈로그는 현재 호스팅되는 Inkling 2 Mini를 최대 256K 컨텍스트로 제한합니다.

개발자는 Inkling-2-Mini의 Apache 2.0 웨이트와 연구 전용 가변 루프 변형인 TML-d24-varloop-research를 Hugging Face에서 직접 다운로드할 수 있습니다. Thinking Machines는 SGLang, vLLM, Ollama, Unsloth, NVIDIA Dynamo, TokenSpeed, Llama App의 오픈소스 추론 지원을 안내합니다. 모델 카드에는 양자화된 GGUF 빌드용 llama.cpp와 Apple silicon의 Exo Labs, RL 사후 학습을 위한 SkyRL, Miles, NVIDIA AutoModel도 명시돼 있습니다. 호스팅 추론, 미세 조정, 대화형 채팅은 Tinker와 Tinker Playground에서 이용할 수 있습니다. 이 보고서를 위해 검토한 2026년 11월 21일 기준 공식 공개 페이지는 Tinker 체크포인트 저장 비용을 GB당 월 $0.10로 표시하고, 학습 및 추론 요금이 모델과 컨텍스트 길이에 따라 다르다고 안내합니다. Inkling 2 Mini의 완전한 토큰당 요금표는 공개하지 않습니다.

Inkling 2 Mini의 공식 벤치마크 점수는?

Thinking Machines Lab에 따르면 Inkling 2 Mini는 DeepSWE v1.1과 Vals Index v2.2에서 총 파라미터 100B 미만 오픈 웨이트 모델 중 선두이며, 코딩·브라우징·도구 사용 평가에서 Qwen3.8-27B 및 Nemotron 3.5 Super VL(총 124.5B)과 근접하게 경쟁합니다. 아래 수치는 모두 2026년 11월 21일 기준 Thinking Machines의 공식 블로그와 모델 카드에서 가져왔으며, 평가 환경은 모델마다 다릅니다.

벤치마크 (공식 평가 환경 참고 사항) Inkling 2 Mini (5.4/26.4B) Qwen3.8-27B (27.0/27.0B) Nemotron 3.5 Super VL (12.0/124.5B)
AA Index (v5.0) 20.1 20.1 13.6
Vals Index (v2.2) 46.5% — 29.8%
DeepSWE v1.1 (mini-swe-agent v2.4.6) 48.2% 42.2% 24.7%
SWEBench Pro v2 Hard (mini-swe-agent v2.4.6) 77.9% 73.8% 44.1%
SWEBench Verified (bash만 사용) 79.2% 77.8% 71.1%
Terminal Bench v2.1 (Mini는 pi v0.83.0) 71.6% 73.0% 60.7%
PMPP-Hard (AUC, 0–10h, pi v0.83.0) 455.82 262.50 —
BrowseComp (Mini는 압축 사용) 79.0% 61.6% 78.9%
DeepSearchQA (Mini는 압축 사용) 85.3% 79.7% 77.7%
MCP Atlas Public 82.7% 77.3% 67.7%
LongBench v2 66.9% 52.3% 62.1%
HLE-Diamond 15.2% 15.3% 8.8%
CritPt v2 Full / Hard 31.4% / 17.0% 10.6% / 4.0% 36.9% / 13.5%

공식 블로그가 인용한 초기 학술 테스트에서 Stanford의 Hazy Research Lab과 Scaling Intelligence Lab 연구진은 NVIDIA DGX Spark(128GB)를 이용해 MXFP8과 낮은 추론 노력 설정으로 Inkling 2 Mini를 측정했습니다. 자체 “Intelligence per Watt” 지표에서 0.703을 기록해 NVFP4와 INT4로 테스트한 Qwen3.6-35B-A3B(0.430), Gemma-4-26B-A4B(0.159), Qwen3.5-27B(0.036)를 앞섰습니다.

Inkling 2 Mini의 한계와 모니터링 가능성 연구 결과는?

Thinking Machines Lab의 공식 설명에 따르면 Inkling 2 Mini는 더 강한 에이전트 코딩과 도구 실행 능력을 얻는 대신 폭넓은 사실 회상과 여러 턴에 걸친 엄격한 지시 준수를 일부 희생합니다.

실용적 한계와 에이전트 보호 장치

공식 블로그는 다음과 같이 명확히 밝힙니다. “Inkling 2 Mini는 여러 턴의 대화나 제약이 많은 지시를 처리하는 가장 강력한 소형 모델이 아닙니다. MultiChallenge에서 50.0%, ComplexConstraints v1.1에서 33.4%를 기록해 두 항목 모두 Qwen3.8-27B에 뒤집니다. CritPt v2와 HLE-Diamond처럼 추론이 많이 필요한 벤치마크에서도 더 큰 모델보다 뒤처집니다.” (참고로 모델 카드 표에는 ComplexConstraints v1.1에서 Qwen3.8-27B가 30.1%, Muse Glimmer가 35.6%로 별도 표시돼 있습니다.)

모델 카드는 로컬 에이전트를 배포하기 전에 알아둘 추가 제약도 강조합니다.

  • 지식 공백: 반복은 가중치에 추가 사실을 저장할 수 없으므로 Inkling 2 Mini는 사실 회상에서 Inkling 2 Small에 뒤처지고(AA-Omniscience v1.1 점수 -8.6, 비환각률 63.4%), 검색 도구가 없으면 부정확한 내용을 자신 있게 말할 가능성이 더 높습니다.
  • 디버깅 루프: 내부 테스트에서 모델이 코드를 계속 재확인하거나 무한 반복에 빠지는 경우가 있었습니다. 이에 Thinking Machines는 출력 토큰과 에이전트 턴에 엄격한 상한을 권장합니다.
  • 파괴적 도구 사용 위험: 모델 카드는 “확인 없이 파일 삭제 또는 덮어쓰기와 같은 파괴적 작업을 수행할 수 있다”고 명시적으로 경고합니다.
  • 최소 연산량: 추론 노력을 최소로 설정해도 추론이 완전히 꺼지지는 않습니다. 가운데 레이어를 세 번 통과하므로 토큰당 연산량은 3.4B 활성 파라미터가 시사하는 수준보다 높으며, 루프형 모델의 로컬 실행 지원도 아직 초기 단계입니다.

루프와 사고 사슬의 모니터링 가능성

루프형 트랜스포머는 모든 내용을 기록하지 않고 여러 패스에 걸쳐 내부적으로 추론하므로, Thinking Machines는 모니터링 가능성을 시험하기 위해 TML-d24-varloop-research를 공개했습니다(1~5회 패스로 학습했으며 주로 3회 사용). 사고 사슬이 없을 때 시간 범위 능력은 1회 패스의 16초에서 3회 패스의 37초로 늘었고, 연속 N-Hop Lookup 성능은 10회 루프까지 계속 상승했습니다. 다섯 가지 패스 횟수 모두에서 정답을 낸 GPQA Diamond 추적에서는 평균 추론 길이가 1회 패스의 3,703토큰에서 5회 패스의 1,661토큰으로 줄었으며 문장 길이와 단어 선택은 변하지 않았습니다. 에이전트 방해 행위 테스트에서는 루프가 늘어도 상승 추세가 나타나지 않았습니다.

Thinking Machines는 X에서 이 결과를 “모니터링 가능성의 의미 있는 감소가 없다”고 요약했습니다. 동시에 Inkling 2 Mini와 3회 패스 가변 루프 모델 모두 사고 사슬을 제대로 통제하지 못했으며, 750–1,250토큰 추적에서 CoT 지시를 따른 비율은 최대 0.1%였습니다. 이 관찰은 26.4B 규모의 행동을 설명하며 감독 없는 배포의 안전성을 보증하지는 않습니다.

Inkling 2 Mini는 실제로 누구를 위한 모델인가?

Inkling 2 Mini는 32GB 이상 Apple silicon Mac, 32GB 이상 VRAM을 갖춘 GPU 또는 DGX Spark 시스템에서 로컬 코딩·검색·MCP 도구 사용 에이전트를 실행하면서 직접 살펴보거나 미세 조정할 수 있는 Apache 2.0 웨이트를 원하는 개발자를 위해 만들어졌습니다. 출시 노트를 살펴보면 도구 출력, 테스트, 검색이 모델 답변의 근거를 제공하고 턴 제한이 반복을 억제하는 구조화된 소프트웨어 엔지니어링 작업에 가장 적합합니다.

주로 여러 턴의 대화형 채팅, 검색 없는 밀도 높은 사실 질의응답 또는 감독 없는 파일 시스템 자율 작업을 위해 AI 모델을 선택하는 방법을 고민한다면 Inkling 2 Small 같은 대형 모델이나 채팅에 특화된 대안이 여전히 더 안전한 선택입니다.

Inkling 2 Mini에 관한 자주 묻는 질문

Thinking Machines는 왜 Inkling 2 Mini의 활성 파라미터를 3.4B와 5.4B로 모두 표시하나?

Inkling 2 Mini는 24개 레이어를 한 번 통과할 때 34억 파라미터를 활성화하며, 이는 Thinking Machines 제품군 페이지의 수치와 일치합니다. 가운데 12개 레이어가 토큰당 세 번 반복되므로 추가 패스마다 실효 활성 파라미터가 약 10억씩 늘어납니다. 그 결과 토큰당 총 실효 활성화는 54억이 되며, 이것이 Tinker에 표시된 수치입니다.

RAM 16GB가 장착된 노트북에서 Inkling 2 Mini를 실행할 수 있나?

Thinking Machines Lab의 2026년 11월 21일 기준 공식 문서에는 RAM 16GB가 지원 구성으로 나와 있지 않습니다. 공식 체크포인트는 NVFP4와 MXFP8 혼합 정밀도로 약 20GB이며, 공식 지침은 32GB 이상 메모리를 갖춘 Apple silicon Mac, 32GB 이상 VRAM을 갖춘 GPU 또는 NVIDIA DGX Spark를 명시합니다.

Inkling 2 Mini의 1M과 256K 컨텍스트 한도는 어떻게 다른가?

두 수치는 각각 로컬 모델의 능력과 현재 호스팅 한도를 나타냅니다. Hugging Face의 공식 Inkling 2 Mini 모델 카드는 아키텍처가 최대 100만 토큰의 컨텍스트 윈도를 지원한다고 밝힙니다. 공식 Tinker 카탈로그에서 호스팅되는 Inkling 2 Mini의 현재 최대 컨텍스트 한도는 256K로, 해당 플랫폼의 다른 모델과 같습니다.

Inkling 2 Mini는 정말 오픈 웨이트이며 상업적으로 무료로 사용할 수 있나?

공식 Hugging Face 모델 카드에 따르면 Inkling 2 Mini는 허용 범위가 넓은 Apache 2.0 라이선스로 공개돼 해당 조건에 따라 상업적·로컬 사용이 가능합니다. Tinker의 호스팅 접근에 대해 2026년 11월 21일 확인한 공식 페이지는 체크포인트 저장 비용을 GB당 월 $0.10로 표시하며 완전한 공개 토큰당 요금표는 제공하지 않습니다.

Inkling 2 Mini는 Inkling 2 Small과 어떻게 비교되나?

Inkling 2 Small은 총 5,940억 파라미터와 170억 활성 파라미터를 갖춘 훨씬 큰 모델인 반면, Inkling 2 Mini는 총 264억 파라미터와 패스당 34억 활성 파라미터를 갖습니다. Thinking Machines에 따르면 Mini는 Small의 에이전트 코딩 강점을 반영하지만 사실 회상, 폭넓은 세계 지식, 고난도 추론 벤치마크에서는 뒤처집니다.

출처

작성자

Chunyu Cai

Chunyu Cai는 Lotook, LLC의 CEO이자 기업가로, AI 모델과 에이전트, 그리고 이들이 일상 업무를 어떻게 바꾸는지에 관해 글을 씁니다. Chunyu Cai는 Imperial College London에서 석사 학위를 받았습니다.