背景と狙い
DifyはAIアプリケーション構築プラットフォームとして普及していますが、複数のLLMプロバイダーを活用する際には以下の課題がありました。
-
複数のモデルプロバイダーとの個別契約・管理の煩雑さ
-
固定モデル運用による過剰なコスト発生
-
プロンプトの複雑度に応じた最適なモデル選択の困難さ
-
新モデルリリース時の迅速な対応の遅れ
OrcaRouterは「アダプティブ・ルーティング」技術により、これらの課題を解決し、Difyユーザーが最適なモデルを自動選択できる環境を提供します。
OrcaRouter × Dify統合の概要
OrcaRouterプラグインは、Difyワークフロー内で以下の機能を提供します。
-
200以上のLLMを一つのAPIで統合: OpenAI、Anthropic、Google、xAI、Meta、Mistral、DeepSeek、Alibaba、Moonshot、ByteDanceなど15社以上のプロバイダーから、200以上のモデルへのアクセスを一元化します。ユーザーはエンドポイント、APIキー、請求書をそれぞれ一つに統合可能です。
-
ミリ秒単位のインテリジェント・ルーティング: 各リクエストに対して、指定された品質基準で処理できる最も安価なモデルを計算し、自動で選択します。
-
継続的な最適化: 品質シグナル（リファレンスモデルによる採点、下流の成功率、ユーザーフィードバック）がルーティングポリシーに継続的に反映され、顧客側のコード変更なしにシステムが最適化されます。
-
リアルタイム市場対応: プロバイダーの価格、レイテンシ、エラー率、新モデルリリースを常時モニタリングし、最新情報に基づいてルーティング先を自動で切り替えます。
対応モデルと最新API
OrcaRouterは以下の最新モデルに対応しており、Difyユーザーは即座にアクセス可能です。
これらの最新フロンティアモデルを含む200以上のLLMから、Difyのワークフロー内で自動的に最適なモデルが選択されます。
OrcaRouter導入のメリット
-
コスト削減: 固定モデル運用と比較して、ワークロード構成に応じて推論支出を47～71%削減できます。
-
品質維持: エンドユーザー側の品質指標に測定可能な劣化は見られません。特にエージェント系ワークロードにおいて削減幅が最大化されます。
-
運用効率化: Base URLとAPIキーを書き換えるだけで既存のDifyワークフローが無改修で動作し、再設計や調達サイクルが不要です。
-
透明性と予測可能性: どのモデルが応答したかを完全に可視化し、その仕事に適した中で最も安価なモデルが応答したことを保証します。
提供開始と利用方法
OrcaRouterプラグインは本日よりDify Marketplaceで公開されています。Difyユーザーは以下の手順で導入できます。
- Dify Marketplaceから「OrcaRouter」プラグインをインストール
- OrcaRouter APIキーを取得
- Difyワークフロー内でOrcaRouterノードを配置し、ルーティング戦略を設定
既存のプロンプトを変更することなく、自動的に最適なモデルが選択されます。従量課金プランの利用料はプロバイダー原価に定額プラットフォーム手数料を加えたもので、マークアップ手数料はゼロです。
経営陣のコメント
FlashLabs株式会社 代表取締役 細井洋一氏は、「DifyはAIアプリケーションを民主化するプラットフォームですが、複数のLLMを活用する際の『モデル選択』は多くのユーザーが直面する課題です。OrcaRouterのアダプティブ・ルーティングはその課題を自動化し、Difyユーザーはモデル選択について考える必要がなくなります。」と述べています。
Continuum AI担当者は、「Difyとの統合は、OrcaRouterの戦略的な拡張です。Difyのノーコード・ローコード哲学とOrcaRouterのインテリジェント・ルーティング技術は相補的であり、Difyユーザーは複雑なモデル管理から解放され、アプリケーション開発そのものに集中できるようになります。」とコメントしています。
会社概要
FlashLabs株式会社
営業とカスタマーエクスペリエンスの自動化、最終的には自律化を目指すAI応用研究所です。「Human-AI Hybrid」を通じて、従来手法を凌駕する成果を企業にもたらします。オープンソース音声モデルChromaシリーズの開発元としても知られています。
URL：https://www.flashlabs.ai/
Continuum AI
次世代AIインフラを開発する研究機関です。OrcaRouter、OrcaRouter Liteなど、ゼロマークアップのLLMルーティング技術を提供し、AI基盤層の民主化を推進しています。
URL: https://www.continuum01.ai/
コメント