はじめに：AIコストは「管理」のフェーズへ
AI導入の初期段階では、とりあえずAPIキーを配ってトークンを流す探索期間があります。その後、組織に合った標準ツールが決まり、「誰がどれだけ使っているか」を管理する段階に移ります。しかし予算やルールだけでは限界があります。最も良い節約はユーザーが気づかない節約だからです。
CloudflareはAI Gateway経由でAuto Routerをパブリックベータとして公開しました。モデルをcloudflare/autoに設定するだけで、各リクエストがタスクを処理するのに十分な能力を持つモデルへ自動ルーティングされます。ユーザーはモデル選択を意識する必要がありません。
Cloudflare社内のOpenCodeハーネスでの初期結果では、フロンティアモデルのみを使用した場合と比較して最大30%のコスト削減が確認されています。（根拠資料：Cloudflare Blog）
なぜ必要か：率直な問題提起
Cloudflareの社内経験によれば、コスト管理には多角的なアプローチが必要です。予算や上限の設定だけでは不十分で、組織全体の支出を可視化する必要があります。
問題は、多くのハーネス（OpenCode、Claude Code、Codexなど）で個々のユーザーが依然として手動でモデルを選択している点です。すべてのタスクが同等ではないのに、人はしばしば自分の作業に対して過剰な（overkillな）モデルを使います。メールの要約にOpus級の知能が必要でしょうか。逆に、セキュリティエンジニアリングチームからそのモデルを完全にブロックしたくもないでしょう。
AI Gatewayはすべてのリクエストが通過する地点であるため、単なる観察・執行を超えて、ゲートウェイ自体が知的に意思決定できる立場にあります。各リクエストを「十分に有能な」モデルへ送るわけです。
核心的な仕組み：どうやってモデルを選ぶのか
cloudflare/autoへリクエストを送ると、AI Gatewayはまずそのリクエストを実際に処理できるモデルプールを構築します。リクエスト形式や実行モードをサポートしないモデルは除外され、認証情報・課金設定・アクセス制御・支出上限も反映されます。ダウンタイム中の上流プロバイダは自動的に除外され、復旧後にプールへ戻ります。
残った候補に対して、ルーターは会話の圧縮されたビュー（直近のメッセージを優先）を参照します。この会話はWorkers AI上で動作するマルチヘッド分類モデルへ送られ、2種類のシグナルを生成します。
- 14のタスクカテゴリ（コーディング、計画、リサーチ、データ分析など）に対する確率分布
- 4つの次元（複雑さ、曖昧さ、重要度、以前の文脈への依存度）に対する1〜5点の評価
これらのシグナルをモデルのベンチマーク結果と組み合わせたスコアリングマトリクスが、各モデルの適合度を推定します。さらに各モデルの入出力トークン価格を統合して最終選択を行います。単純なリクエストでは価格の重みが大きく、難易度が上がるとコストペナルティが減り、強力なモデルが選ばれやすくなります。
簡潔に表すと：
utility = expected_quality - adaptive_cost_penalty
キャッシュコストも考慮する
長いエージェントセッション（デバッグ、コーディング）では、モデルの定価よりもキャッシュ読み取りコストが重要になります。モデルを切り替えるとキャッシュが破棄され、新しいモデルがコンテキスト全体を書き直す必要があります。Auto Routerはこのコストを考慮します。
- 1ターン内ではキャッシュがホットなため、モデルを維持する方が有利
- ターン間ではコンテキストのトークン数に比例してスイッチングペナルティを付与
- ライブキャッシュを持つモデルは安価なキャッシュ読み取りレートを適用し、それ以外は完全な書き直しコストで計算
また、ほとんどのモデルは他のモデルの推論トークン（reasoning tokens）を読めません。モデルを切り替えると推論をやり直す必要があるため、今後は同じモデルファミリー内での切り替えを優先する方向で改善する予定です。
性能とコスト：数字で見る結果
Cloudflare社内の一般知識業務ベンチマーク（メール、カレンダー、Slack、ファイル、旅行、財務などのシミュレーション）の結果です。
| モデル | 成功率 | 総コスト | 成功あたりコスト |
|---|---|---|---|
| cloudflare/auto | 86.6% | $2.10 | $0.0084 |
| Anthropic Claude Opus 5.5 | 96.6% | $5.91 | $0.0210 |
| OpenAI GPT-6 Sol | 84.2% | $2.64 | $0.0108 |
Auto RouterはSol比で80%程度、Opus比で35%程度のコストで同等の性能を発揮しました。これは「モデル間のジャギードフロンティア（jagged frontier）」という観点で説明できます。問題解決能力はモデルポートフォリオのどこかに存在し、ルーターは品質と価格のバランスを取って適切なモデルを選ぶのです。
注目すべきは、低いトークン単価が常に低い総コストを意味しないという点です。安く見えるモデルが問題解決に遥かに多くのトークンを使う可能性があるため、ルーターは単純に100万トークンあたりのドルでロードバランシングするのではなく、**予測軌道コスト（predicted trajectory cost）**を最小化する必要があります。
実務での適用と注意点
このルーターは現時点でも有用ですが、いくつか押さえておくべき点があります。
- ワークロードの偏り：Auto Routerは広範な知識業務で強みを発揮します。コーディングのような特化タスクでは依然としてフロンティアモデルが優位な場合があるため、チームごとのワークロードに合わせた検証が必要です。
- キャッシュスイッチングコスト：長いセッションで頻繁にモデルを切り替えると、かえってコストが増える可能性があります。Auto Routerはこれを考慮しますが、ハーネス自体がモデルを頻繁に切り替える設計になっている場合は見直しが必要です。
- ベンチマークはあくまでベンチマーク：86.6%の成功率は特定のベンチマーク基準です。実際の業務で品質低下がないかは、必ず自社評価で確認してください。
- ベータ期間中は無料：現在ベータ期間中は無料ですが、正式リリース後の課金体系がどうなるかは注視が必要です。
日本の開発エコシステムにおいても示唆は大きいです。日本のSI・スタートアップ環境はトークンコストに敏感なケースが多く、このような自動ルーティング層はコスト可視性と併せて導入魅力があります。ただし社内セキュリティポリシー上、外部ゲートウェイ経由が制限される組織もあるため、導入前にガバナンスの検討が先行すべきです。
次のステップとまとめ
Cloudflareは今後、モデルプールの拡張、ゼロデータ保持（zero-data-retention）要件の反映、プロバイダ容量の考慮、推論レベルの自動選択、Responses API・WebSocket対応などを予告しています。cloudflare/auto-bestのようにコストトレードオフなしで最高品質のみを選ぶルーターも計画中です。
AIコスト最適化は、もはや「どれだけ安いモデルを使うか」ではなく、**「タスクに合ったモデルをどれだけうまく選ぶか」**という問題へ移行しています。Auto Routerはその方向性を示す良いリファレンスです。
あわせて読みたい記事
