Inkling 2 Small、5,940億パラメータのMoEをTinkerで先行提供

Thinking Machines Labは11月5日、Inkling 2 Smallを公開した。

Thinking Machines Labは11月5日、Inkling 2 Smallを公開した。5,940億個の全パラメータのうち、トークン処理時には170億個をアクティベートするMixture-of-Experts(MoE)構造で、テキストと画像の入力を同時に扱い、推論にかける労力のレベルも調整できる。今回の世代で実際に変わったのは、名前とは裏腹に単なる軽量モデルのリリースではなく、大規模モデルを開発ワークフローに投入する方法の転換に近い。

まず開かれるのはTinker

現在のアクセス経路はTinkerだ。プレイグラウンドでは推論用に、プラットフォームではサンプリングとファインチューニング用に利用できる。一方、完全な重みはまだ非公開だ。同社は外部の安全性評価とレッドチームによる検証が終わった後、来週Apache 2.0ライセンスで重みを公開するとしているため、現時点ではホスト環境で性能を試す段階と、ダウンロードして自前で運用する段階が分かれている。

コーディング・文書業務の性能が意味すること

同社の発表によると、Inkling 2 Smallはエージェント型コーディング、視覚的な作業、知識業務、推論において、従来のInkling世代を上回る結果を示した。特に、金融文書・スプレッドシートのような定量業務の評価と、長期的なコーディング課題の数値が強調された。ただし、公開された比較表では一部の項目で他のオープンウェイトモデルが上回る結果もあり、単一の総合スコアですべての開発課題を代替できるわけではない。

性能拡張と安全性のトレードオフ

長期的な自律作業能力は、エージェントが複数のツールを連続して使う業務に有利だが、検証なしに結果を信頼するリスクも高める。モデルカードでも、ハルシネーション、長時間にわたる複数ターンの会話での性能低下、言語・分野ごとのばらつきが限界として挙げられている。同社は、高リスクまたは安全性が重要な意思決定において、追加の検証と人間による監督なしで使用しないよう案内している。したがって今回の公開で注目すべき点は、ベンチマークの順位そのものよりも、重みを公開する前に安全性の検証を行い、段階的に提供範囲を広げるという順序だ。

Maru