Inkling 2 Mini, 20GB로 반복 추론을 로컬에서 쓰는 오픈 모델

Thinking Machines Lab이 공개한 Inkling 2 Mini는 반복 실행되는 중간 계층으로 추론량을 늘리면서도 약 20GB 크기의 로컬 실행을 겨냥한 오픈 웨이트 멀티모달 모델이다. 코딩·도구 사용에 강점을 내세우지만, 지식 집약형 질의와 복잡한 다중 제약 지시에서는 한계도 명시한다.

Thinking Machines Lab은 2026년 11월 20일 오픈 웨이트 모델 Inkling 2 Mini를 공개했다. 이 모델의 핵심은 같은 중간 계층을 토큰마다 세 번 통과시키는 ‘루프형 트랜스포머’ 구조다. 물리적으로는 24개 계층이지만, 실행 때는 48번의 계층 연산을 수행해 짧은 출력 안에서도 더 많은 계산을 하도록 설계됐다. 공개 모델을 개인 장비에서 운용하려는 개발자에게는 크기와 추론 성능의 균형이 중요한 변화다.

세 번 도는 중간 계층

Inkling 2 Mini는 총 264억 파라미터의 MoE 모델이며, 토큰마다 활성화되는 파라미터는 34억 개다. 다만 반복 실행까지 고려한 유효 활성화량은 54억 개로 제시된다. 앞뒤 여섯 계층은 한 번씩, 가운데 12계층은 세 번 실행하면서 가중치를 재사용한다. 즉 모델 파일을 크게 늘리지 않고 계산 단계를 추가하는 방식이다. 텍스트와 이미지를 입력받아 텍스트를 생성하며, 최대 100만 토큰 컨텍스트를 지원한다.

로컬 구동의 조건

공식 모델 카드는 혼합 정밀도 체크포인트가 약 20GB라고 밝힌다. Apple Silicon 기기에서는 32GB 이상 메모리, 그 밖의 환경에서는 32GB 이상 VRAM을 권장한다. 따라서 ‘일반 노트북 어디서나’ 구동되는 경량 모델이라기보다, 충분한 통합 메모리 또는 GPU 메모리를 갖춘 로컬 환경을 겨냥한 모델로 보는 편이 정확하다. 가중치는 Hugging Face에서 받을 수 있고, Tinker에서는 추론과 커스터마이징을 제공한다.

코딩 성능과 남는 한계

제작사는 에이전트형 코딩과 도구 사용에서 강점을 강조하며 DeepSWE v1.1에서 48.2%, Vals Index v2.2에서 46.5%를 보고했다. 반면 반복 구조가 모델에 저장된 사실 지식 자체를 늘리지는 않는다고 설명한다. 긴 다회차 대화, 많은 조건을 동시에 만족해야 하는 지시, 지식 의존도가 높은 질문에서는 더 큰 모델이나 일부 경쟁 모델보다 약할 수 있다. 로컬 에이전트에 적용할 때는 모델의 짧아진 추론 출력만으로 신뢰성을 판단하기보다, 검색·도구 호출 결과와 사람의 검토를 함께 두는 구성이 필요하다.

Maru