AIエージェント「Devin」向けコーディングモデル「SWE-2」、Fable 5.1に1ポイント差でコスト64％減と報告

米Cognitionは9月10日、AI統合開発環境「Devin Desktop」とコーディングエージェント「Devin CLI」でAIモデル「SWE-2」を公開した。同社の自己報告では、中程度の作業量設定でFrontierCode 1.1 Mainのスコア50.0%を記録し、Fable 5.1に近い性能を64%低いコストで実現したという。ただしベンチマーク結果の多くは各社の自己報告であり、特に複雑な端末環境タスクでの性能差や、Devin環境に限定される提供形態を導入前に検証する必要がある。

■初回のコード編集を48ステップから18ステップへ

Cognitionが9月10日にDevin DesktopとCLIで公開したSWE-2は、先行モデルSWE-1.7と異なり、コードベースを長く読み込む前にコード編集へ着手する。7月公開のSWE-1.7では、Cognitionのエンジニアが、最初の実際のコード編集までのステップ数の中央値が48だった行動傾向を記録していた。これに対し、SWE-2のmediumは18ステップで最初の編集に到達し、62.5%短縮したという。

この変化はハードウェアやパラメーター数ではなく、不必要な支出をするたびにモデルの報酬を減らす学習アルゴリズムによるものだ。Cognitionはこの結果を「focused exploration」と呼ぶ。与えられたタスクで重要なファイルをより適切に見極め、不要なファイルを読まなくなったとしている。

CognitionのFrontierCode 1.1 Mainベンチマークでは、SWE-2 mediumはSWE-1.7を上回るスコアを記録しながら、ターン数を58%削減し、タスク当たりの平均コストを81%低減したという。現在このベンチマークで50.9%の首位とされるAnthropicのFable 5.1に対しては、SWE-2が50.0%で、コストは64%低いとしている。Devinのワークロードで最先端モデルの価格帯を受け入れてきた企業にとっては、ベンチマーク上ほぼ同等のスコアを、費目ベースでおよそ3分の1のコストで得られる可能性がある。

■作業量別に異なる振る舞い

実用面では、SWE-2は指定された条件を満たすだけでなく、回帰を検出するテストを書く能力も強化されたとCognitionは報告する。標準的な手法が失敗した場合も、与えられた権限の範囲で代替策を探す。社内の一例では、MCP統合が利用できなかった際、コンテキスト内にあるSlackチャンネル履歴から必要なデータを再構築したという。また、結論を問われると表面的なテキストを信用して繰り返すのではなく、成果物を実行して証拠を集め、結論を導き直すとしている。

medium、high、maxの3段階の作業量設定は明確に異なる。mediumは最も迅速に実行へ移るため、範囲が明確な中程度のタスクではコスト効率のよい選択肢となる。highとmaxは、より広範にコードベースを探索し、より詳細に計画を立て、複雑な検証を行うため、タスク当たりのコストは高い。mediumのコスト規律は、高い設定での投資を不足させることではなく、各設定が実際のタスクの複雑さに見合う作業量を配分することを意味する。

■単一のRL実行と線形コストペナルティ

この振る舞いを支える学習手法は、Cognitionのモデルにとどまらない技術的意義を持つ。Moonshot AIを含む、多段階の作業量設定を持つモデルを学習する多くの研究所では、領域と作業量の組み合わせごとに別々の専門モデルを学習し、それらをマルチ教師オンポリシー蒸留で単一モデルに統合する。SWE-2の基盤となるKimi K3もMoonshot AIのモデルである。この方法は高コストかつ複雑で、各作業量設定の振る舞いが原理的な学習目標ではなく蒸留プロセスに左右される。

Cognitionは、コストをペナルティーとして組み込んだ報酬関数「R = S − λe・C」を用いる単一の強化学習（RL）実行を採用した。Sはロールアウトの成功、Cはドルと時間で測った実コスト、λeは作業量設定ごとのペナルティー係数を表す。同社は、線形のコストペナルティーだけが、可能なロールアウト分布の全域でRLの目的関数を平均コストと平均解決率のみに依存させられる関数形だと正式に証明したとしている。非線形のペナルティーでは個々のロールアウトのコスト分布にも報酬が左右され、実際のコスト・性能のトレードオフを改善せずに、分布を操作することが報われるおそれがある。

各作業量設定のλeは、Kimi K3の当該設定におけるパレート・フロンティアの局所的な傾きに合わせて設定する。傾きλeを持つ等報酬線が現在のパレート・フロンティアに接するとき、平均報酬の改善はフロンティアを外側へ押し出すことと正確に対応する。係数を高くし過ぎると、high設定がmedium設定のように振る舞って支出を減らすだけでも報酬を得られる。正しく設定すれば、報酬の改善は性能とコストのフロンティアを実際に前進させる。

この結果はCognitionの公開記事の付録Bで第一原理から導出・証明されたものであり、同社の企業秘密ではない。複数の作業量設定を持つモデルを学習する研究所が直接適用できる数学的な結果である。

■2兆8000億パラメーター規模のRL基盤

SWE-2の基盤モデルKimi K3は、北京のMoonshot AIが開発したMixture of Experts（MoE）アーキテクチャの2兆8000億パラメーターモデルである。SWE-1.7でCognitionが出発点にしたモデルのおよそ3倍の規模に当たり、この規模でRLを実行するには、SWE-1.7の学習基盤を超える4つの技術的進展が必要だった。

prefill delayerは、スケジューラーで近接するGPUのprefillリクエストをバッチ化し、GPU当たりのスループットと、リクエスト当たりの毎秒トークン数を10〜20%改善する。DSparkによる投機的デコーディングでは、小型のドラフトモデルがトークン列を提案し、大型の方策モデルが検証することでロールアウト生成を高速化する。ただし学習中に方策が変化すると、ドラフトモデルの分布が現在の方策から乖離し、受理率が低下する。CognitionはSpecForgeで新たなドラフトモデルを学習して受理される系列を15%長くし、さらにRLループにオンラインのドラフトモデル学習を組み込むことで、進化する方策を継続的に追従させた。

NVFP4とFP8カーネルを用いた量子化対応学習は、マルチヘッド潜在アテンション層のK、Q、Vとスコア計算に適用される。これにより、未較正の低精度推論がこの規模で生じさせる推論・学習間の方策ギャップを避けながら、より多くのロールアウトをGPUメモリーに収められる。学習データも拡大し、CognitionはSWE-1.7以降、RL環境数を3倍に増やし、より強力な基盤モデル向けに難しいタスクを生成できるようリポジトリー分布を広げた。初期のSWE-2チェックポイントを使って検証器を報酬ハッキングに強くする反復的なフライホイールも構築した。

これらにより、パラメーター数が3倍になったにもかかわらず、SWE-2はSWE-1.7より低い推論・学習間のKLダイバージェンスと、同等の計算スループットを実現したとしている。

■ベンチマークで見える強みと限界

SWE-2のベンチマーク成績は大半の評価で強い一方、最も難しい端末環境タスクには注目すべき差がある。FrontierCode 1.1 Mainでは、SWE-2は50.0%で、Fable 5.1の50.9%、GPT-5.6 Solの47.5%、Grok 4.6の48.0%に対した。独立系データ企業Datacurveが作成した長期的なソフトウェアエンジニアリングベンチマークDeepSWE 1.1では、SWE-2は73.0%を記録し、Fable 5.1の67.4%、GPT-5.6 Solの72.7%、Grok 4.6の67.5%を上回った。Terminal-Bench 2.1では92.8%で、Fable 5.1の91.4%を上回った。

一方、最も難しいマルチステップのエージェント型端末タスク群とみられるTerminal-Bench 4では、SWE-2は27.3%にとどまり、Fable 5.1の55.8%、GPT-6 Astraの57.9%を28ポイント以上下回った。これは丸め誤差ではない。Cognitionの学習分布にあるコーディングタスクを超える、最も難しい自律的な端末環境作業が、現時点のSWE-2にとって依然として実質的な制約であることを示唆する。複雑なシェルスクリプト、複数コマンドにまたがるインフラワークフロー、込み入った環境デバッグを行うチームは、注目を集めるベンチマーク比較に依存する前に、代表的なタスクで検証すべきである。

これらの数値には重要な留保がある。表のスコアはすべて各研究所の自己報告である。FrontierCode 1.1は、そこで首位とされるモデルを開発したCognition自身が作成したベンチマークだ。公開時点ではSWE-2の結果に対する独立した第三者監査は存在せず、前日の公開直後であることを踏まえれば想定される状況でもある。DeepSWE 1.1はCognitionではなくDatacurveが作成しており、同表で最も独立性のある意味を持つ結果は、そこでのSWE-2の好成績となる。導入判断に際しては、各チームが自らの代表的なワークロードで再現性を確認する必要がある。

全体ではGPT-6 Astraが、FrontierCodeで53.3%、DeepSWEで74.1%、Terminal-Bench 2.1で89.9%、Terminal-Bench 4で57.9%を記録して表をリードする。Cognitionは、SWE-2を、ほとんどのベンチマークでAstraに近い性能をタスク当たりおよそ4分の1のコストで提供する選択肢として位置付けている。

■Devin専用という制約

SWE-2は9月10日時点でDevin DesktopとDevin CLIから利用できる。Devin Webと、企業向けAPI製品Fusionへの展開も進行中だ。CognitionはPro、Max、Teamsの全契約者を対象に、SWE-2を無制限に使える1カ月間の無料プロモーションを開始した。Proプランは月額20ドル（約3080円、1ドル=154円換算）である。

ただし開発者市場の一部にとって、構造的な制約がある。SWE-2には単独のAPIもオープンウェイトもなく、Devinの管理環境内でのみ動作する。OpenRouter経由で呼び出したいチーム、独自のエージェントハーネスを構築したいチーム、CI/CDパイプラインに直接統合したいチームは、現行リリースでは実現できない。発表スレッドで広く引用された投稿には、「あなたのCLIを使いたくない。すでに自分のハーネスがある」と率直な反応もあった。SWE-2向け単独APIを公開するかどうかについて、Cognitionは発表していない。

すでにDevinプラットフォームを利用するチームにとっては、経済性はより分かりやすい。SWE-1.7比で、より高い性能を保ちながらタスク当たりのコストを81%下げるという効果をすぐに得られる。Cognitionは2026年5月時点で年換算売上高ランレートが4億9200万ドル（約758億円、同換算）に達し、12カ月で13倍に増えたと報告しており、大きなDevinワークロードを実行するチームの月額費用には相応の差が生じる可能性がある。

■Kimi K3を基盤にすることのデータ経路と残る論点

SWE-2の基盤モデルKimi K3は、北京に本社を置くMoonshot AIの製品である。この事実は、Kimi APIを直接利用する場合とは異なる運用上の含意を持つ。2017年の中国国家情報法第7条は、中国の全ての組織と市民に対し、求めに応じて国家情報活動を支援、協力することを求めている。2017年のサイバーセキュリティ法と2021年のデータセキュリティ法も、データアクセスとローカライゼーションに関する義務を追加している。これらの法的義務は、プライバシーポリシーの内容やサーバーの物理的な所在地にかかわらず、中国企業であるMoonshot AIに適用される。

ただしDevinの利用者がSWE-2を実行する際、プロンプトはMoonshotのサーバーではなく、米国拠点のCognitionプラットフォームへ送られる。推論スタックを管理するのはCognitionであり、Moonshot AIは学習プロセスで事前学習済みの基盤モデルを提供した。Cognitionの後学習はその基盤モデルに大幅な変更を加えている。これは、プロンプトがMoonshotの北京管理下のインフラへ送られるKimi APIの直接利用とは、データ露出の経路が実質的に異なる。Devinのアーキテクチャーが提供する実行時の分離により、SWE-2利用者は実務上、中国法の対象となるサーバーへデータを送ることにはならない。

残る懸念は、基盤モデルの学習データや内部表現が中国共産党に沿った行動パターンを持ちうるかどうかだ。Cognitionは、中国で政治的に敏感な話題に関する145の質問を英語、簡体字中国語、繁体字中国語で投入し、応答が中国政府の公式見解を採ったかをGPT 5.6 Lunaの判定器で評価した。同社によると、SWE-2の通過率は全体で98.0%、英語99.8%、簡体字中国語95.2%、繁体字中国語99.1%だった。西側、パキスタン、中国、チベット、法輪功に関連する顧客の文脈設定を横断する脆弱性試験でも、いずれの条件でも危険な行動に統計的に有意な差はなかったとしている。

この評価はCognitionが実施したもので、独立した検証はされていない。TechTimesは2026年7月、SWE-1.7について、以前のバージョンの独立テストで確認されたKimiの中国共産党に沿ったパターンが現れたと報じている。別に、Moonshot AIのKimi APIでは2026年4月、PowerPoint翻訳セッション中に、氏名、電話番号、職歴を含むある利用者の履歴書が無関係な利用者に開示される、利用者間のデータ分離障害が発生した。これはOECD Incidents Monitorに記録されている。この侵害はCognitionのDevinプラットフォームではなくKimi APIで起きたものだが、現在Devinが実行する基盤モデルを構築した企業の組織的な慣行を評価する材料にはなる。

企業チームがSWE-2の導入を判断する際には、性能の主張にはベンチマーク結果があること、medium設定でのコスト優位が大きいこと、Devin専用というエコシステム制約がカスタマイズ型ワークフローにとって強いロックインとなること、中国への実行時データ経路はCognitionの米国アーキテクチャーによって構造的に緩和されること、そして基盤モデルの信頼性評価は有望でも社内実施であることを考慮すべきである。厳格なセキュリティ要件を持つチームは、本番導入を決める前にCognitionへ独立監査のロードマップを求める必要がある。

■コストを最適化の対象に組み込む

SWE-1.7とSWE-2を分ける行動の変化は、AIコーディングエージェントが何を最適化するのかという問いに帰着する。SWE-1.7はタスクを徹底的に解決するよう学習された。SWE-2は、徹底性と効率性の両方を満たすよう学習されており、ここでの効率性はトークン数やステップ数のような代理指標ではなく、実際のドル建てコストと時間を指す。パレート・フロンティアを踏まえたペナルティーは、推論費用を報酬シグナルへ直接組み込んでいる。

medium設定では、このエージェントの振る舞いは、範囲が明確なチケットに取り組む有能なエンジニアに近い。関連箇所を読み、編集し、結果を検証する。高い作業量設定でもSWE-2は計画と探索を行うが、深い分析にコストをかけるべきタイミングについて、調整された判断を行う。こうした調整がCognitionの学習環境を超える本番コードベースに一般化するかは、今後1四半期の企業導入データが明らかにする。ベンチマーク数値は平均的には十分に一般化していることを示す一方、Terminal-Bench 4の差は最難関タスクでの限界を示している。公開時点のSWE-2を評価する際には、この両方を捉える必要がある。

元記事: Cognition SWE-2 Beats Frontier Coding AI at 64% Lower Cost Using Single-Run RL Training