Cloudflareがクライアントのモデル実装と実行を支援する新しい人工知能を発表

IA(国際サッカー連盟)のモダリティを証明することが目的だ、 クラウドフレアキューブ・サービス・プロバイダーである株式会社エヌ・ティ・ティ・ドコモは、クライアントがネットワーク上でIAモデルを構築、実装、実行できるよう支援する新しい製品およびアプリケーション・コレクションを発表した。

新しいサービスの1つであるWorkers AIは、クライアントがCloudflareのソシエテが保有する物理的に近接したGPUにアクセスし、IAモデルを使用料支払いで実行できるようにします。もう1つのVectorizeは、Workers AIモデルによって生成されたベクトル(データの数学的表現)の集積を保管するためのベクトル・データ・ベースを提供する。3つ目のAI Gatewayは、IAアプリケーションの開発コストをより効率的に管理するための手段を提供するように設計されています。

Cloudflareのエグゼクティブディレクターであるマシュー・プリンスによると、IAを中心とした新しい製品群のリリースは、CloudflareのクライアントがIA管理ソリューションをよりシンプルで使いやすくし、コスト削減に重点を置くことを強く望んだためです。

「現在市場にある取引は、非常に複雑で、多くの新しいプロバイダーと再会する必要があり、迅速にコストがかかる」とTechCrunchの電子メールによるインタビューでプリンスは語った。「現在、IAでどのようなコストがかかっているかについての情報はほとんどありません。我々は、開発者のためにこれらの側面を簡素化するのに役立ちます。

このため、Workers AIは、IAによる推論が常に(地理的な観点から)ユーザーに近いGPUで行われることを保証し、IAによる遅延の少ない最終的なユーザー体験を提供することを目的としています。WorkersのAIは、マイクロソフトが提供する、さまざまなIAへの変換に使用される自動学習仲介ツールONNXを改良することで、IAモデルが、帯域幅、遅延、接続性、プロセッシング、ローカライズの制限などの面で、より適切な処理を実行することを可能にします。

Workers AI のユーザーは、Meta's Llama 2 のような大規模言語モデル (LLM)、自動音声認識モデル、画像分類ツール、感情分析モデルなど、開始時に選択したカテゴリからモデルを選択することができます。Workers AIでは、データは元のサーバー領域に保存されます。LLMや画像生成モデルに送られたインジケータは、現在または将来のIAモデルの学習には使用されません。

"理想的なのは、ユーザー体験を低遅延で実現するために、ユーザーから近い位置でインフレンシアを実行することだ。しかし、LLMのような巨大なモデルを実行するために必要なコンピューティング能力も、バッテリーエネルギーも、機器に備わっているとは限らない」とプリンスは言う。「しかし、従来の集中型キューブは、最終的なユーザーから地理的にかなり離れている。このような集中型キューブは、主に米国で見られる。そのため、本国外へのデータ送信を好まない(あるいは合法的に行えない)世界中の企業にとって、問題が複雑になっています。Cloudflareはこの2つの問題を解決する最適な場所を提供します。

Workers AIは、AIスタートアップのHugging Faceという重要なプロバイダーを得ました。Hugging Faceは、Workers AIで実行するためにIAジェネレイティブモデルを最適化するとCloudflareは述べています。

Databricksもそのひとつだ。Databricksは、MLflow、自動学習ワークフローを管理するための公開コードプラットフォーム、およびDatabricksのソフトウェア市場を介して、IAをWorkers AIに照会するために機能すると述べています。CloudflareはMLflowプロジェクトに積極的な協力者として参加し、DatabricksはWorkers AIプラットフォームで積極的に開発を行う開発者にMLflowの機能を実装します。

Vectorize は、IA モデルのベクトル集積をデータ ベースに保存する必要がある、異なる顧客層を対象としています。ベクトル積分は、検索から人工知能まで様々なアプリケーションで使用される自動学習アルゴリズムの基本コンポーネントであり、よりコンパクトで、同時にデータの重要性を保持する学習データ表現です。

Workers AIのモデルは、インクルージョンを生成するために使用することができ、その後Vectorizeに保存することができます。また、クライアントはOpenAIやCohereのようなプロバイダーのモデルから生成された組み込みを保存することができます。

ベクターデータベースは、今に始まったことではありません。Pineconeのような新興企業も、AWS、Azure、Google Cloudのような伝統的なパブリック・クラウド企業も同様です。プリンスは、VectorizeがCloudflareのグローバル・レッドの恩恵を受けており、データ・ベースのコンサルティングをよりユーザーの近くで実現できるため、遅延や参照時間が短縮されると述べている。

「開発者として、今日IAを始めるには、一般の人々にはアクセスできないインフラへのアクセスと管理が必要だ。「このテクノロジーを既存のレッドに加えることで、既存のインフラを活用し、より優れたレンダリングとコスト削減を実現することができます。

IAスイートの最後のコンポーネント、 AI Gateway は、IA トラフィックの追跡を支援するための観測機能を提供します。例えば、AI Gatewayは、モデル参照のリクエスト数、リクエスト時間、モデルを使用するユーザー数、IAアプリケーションの実行にかかる一般的なコストを制御します。

さらに、AI Gatewayは、キャッシュへの保存や速度制限など、コスト削減のための機能を提供します。キャッシュへの保存では、クライアントはLLMが行った共通の質問に対する回答をキャッシュに保存することができ、LLMが新しい回答を作成する必要性を最小限に抑えることができます(完全に排除することはできません)。速度の制限は、悪意のある行為や激しいトラフィックを軽減するために、アプリケーションのエスカレーションをよりコントロールしやすくします。

プリンスは、AI Gatewayにおいて、Cloudflareは、開発者や企業が使用する計算量にのみ料金を支払うことを可能にする、同規模の数少ないプロバイダーであると述べている。GPTCacheのような他社製ツールは、AI Gatewayのキャッシュ保存機能を他のプロバイダーに複製することができ、Vercelのようなプロバイダーはサービスとしての速度制限を提供していますが、Cloudflareの技術は競合他社よりも優れていると確信しています。

そうなのかどうか、確かめる必要がある。

「現在、顧客は、利用されていない仮想マシンやGPUの形で、膨大な量の非アクティブな計算を支払っている。「我々は、全体的なソリューションによって、現在の自動学習オペレーションや、サービス開発者の自動学習トレーニング・フローに関連する作業や複雑さの大部分を削減する機会を提供します。

コメントする

jaJapanese