クラウドフレアAI

クラウドフレアAI

Cloudflareとは？

クラウドフレアAI
  • クラウドフレアの概要

Cloudflareのグローバルネットワークを活用して、より優れた支援型・生成型AIアプリを構築しましょう。

CloudflareのAI製品を使用すると、フルスタックのAI搭載アプリケーションを構築したり、Cloudflare Workersを使用して事前にトレーニングされた機械学習モデル上で高速かつ低レイテンシーの推論タスクを実行したりすることができます。また、AIアプリケーションの表示や管理、Durable ObjectsでのWebGPUの使用も可能です。

AIアプリケーションを観察し、コントロールする。

CloudflareのAI Gatewayは、お客様のAIアプリケーションの可視化と制御を可能にします。お客様のアプリをAI Gatewayに接続することで、分析やロギングによってアプリケーションの利用状況を把握し、キャッシングやレート制限、リクエストの再試行、モデルのフォールバックなどの機能によってアプリケーションのスケールを制御することができます。さらに、たった1行のコードで始めることができます。

主な特徴は以下の通り：

  • 分析： リクエスト数、トークン数、アプリケーションの実行にかかるコストなどのメトリクスを表示します。
  • ロギング： リクエストとエラーに関する洞察を得る
  • キャッシュ： オリジナルモデルのプロバイダーではなく、Cloudflareのキャッシュから直接リクエストを配信することで、リクエストの高速化とコスト削減を実現。
  • レート制限： アプリケーションが受け取るリクエスト数を制限することで、アプリケーションのスケールをコントロールする。
  • リトライとフォールバックを要求する： エラー発生時のリクエストの再試行とモデルのフォールバックを定義することで、回復力を向上させる。
  • お気に入りのプロバイダーをサポート： Workers AI、OpenAI、HuggingFace、ReplicateはすべてAI Gatewayと連携している。
  • 応答ストリーミング： AIゲートウェイがレスポンス・ストリーミングに対応

をチェックしよう。 スタートガイド をクリックして、AI Gatewayを使用したアプリケーションの設定方法をご確認ください。

最初のAIゲートウェイを作る

このガイドでは、最初のAIゲートウェイを作成する方法を学びます。異なるアプリケーションを制御するために複数のゲートウェイを作成することができます。

AIゲートウェイを設定するには、以下のことが必要です：

  1. を作成する。 Cloudflareアカウント外部リンクを開く
  2. に移動する。 AIゲートウェイ外部リンクを開く ダッシュボードのAIメニューの下にある
  3. 新しいAIゲートウェイを作成し、ゲートウェイ名とURLスラッグを入力します。
AIゲートウェイ・オンボーディング

アプリケーションの接続

このガイドでは、アプリケーションをAIゲートウェイに接続する方法を説明します。以下の作業が必要です。 AIゲートウェイを作る このガイドを続ける。

AI GatewayダッシュボードでGatewayを設定したら、"API Endpoints "をクリックしてAI Gatewayのエンドポイントを探します。AI Gatewayには、作成したGatewayごとに複数のエンドポイントが用意されています（プロバイダーごとに1つ、ユニバーサルエンドポイントが1つ）。

観察とコントロール

これでアプリケーションがAIゲートウェイに接続され、次のようなリクエストが入ってくるのがわかるはずだ。 Cloudflare Dashboard - AI Gateway外部リンクを開く.このガイドでは、どのようなデータが表示されるのか、またどのような設定をすればコントロールしやすくなるのかを説明します。

​​アナリティクス

AI Gatewayダッシュボードの最初のページには、リクエスト、トークン、キャッシュ、エラー、コストに関するメトリクスが表示されます。これらのメトリクスは、時間とプロバイダーの種類でフィルタリングできます。

AIゲートウェイ分析ダッシュボード

コスト指標は、リクエストで送受信されたトークン数に基づく推定値である。 現在、OpenAI GPT のコストのみを計算しています。 レスポンスをストリーミングする場合、トークン化パッケージを使用して使用されたトークンの数を推定し、コストを計算します。このコスト指標は、コストの傾向を分析し予測するために役立つ推定値であることを意図しています。 正確な費用については、プロバイダー・ダッシュボードを参照してください。

支援プロバイダー

ユニバーサル・エンドポイント

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY

AI Gatewayには、作成するGatewayごとに複数のエンドポイント（プロバイダーごとに1つ、ユニバーサル・エンドポイント1つ）が用意されています。ユニバーサルエンドポイントは、スキーマを調整する必要がありますが、追加機能をサポートしています。これらの機能の中には、例えば、リクエストが最初に失敗した場合に再試行したり、リクエストが失敗した場合にフォールバックモデル/プロバイダを設定したりするものがあります。

Universalエンドポイントを使用すると、すべてのプロバイダに連絡できます。ペイロードはメッセージの配列を想定しており、各メッセージは以下のパラメータを持つオブジェクトである：

  • プロバイダー このメッセージを送信したいプロバイダー名。openai/huggingface/replicateとすることができる。
  • エンドポイントには、アクセスしようとしているプロバイダーAPIのパス名を指定する。例えばOpenAIでは チャット/コンプリーションハギング・フェイスの場合は、次のようになる。 ビッグスター/コード.詳しくは、各プロバイダーのセクションをご覧ください。
  • 認定このプロバイダにコンタクトするときに使用する認証 HTTP ヘッダの内容。これは通常 "Token" または "Bearer" で始まります。
  • クエリー: プロバイダーが公式APIで期待するペイロード。

労働者AI

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/workers-ai/

Workers AIにリクエストする場合は、次のように置き換えてください。 https://api.cloudflare.com/client/v4/accounts/ACCOUNT_TAG/ai/run で現在使用しているURLの https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/workers-ai.

そして、URLの最後に実行したいモデルを追加する。すると 労働者AIモデル とIDを選ぶ。

を生成する必要がある。 APIトークン外部リンクを開く をワーカーAIの読み取りアクセスで使用し、それをリクエストで使用する。

オープンAI

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/openai

OpenAIにリクエストするときは、次のように置き換えてください。 https://api.openai.com/v1 で現在使用しているURLの https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/openai.

ハグ顔

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface

HuggingFace 推論 API にリクエストする場合は、次のように置き換えます。 https://api-inference.huggingface.co/models/ で現在使用しているURLの https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface.アクセスしようとしているモデルは、例えば、次のように直後に来る必要があることに注意してください。 https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface/bigcode/starcoder.

複製

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/replicate

レプリケートへのリクエストは https://api.replicate.com/v1 で現在使用しているURLの https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/replicate.

チュートリアル

AI Gateway経由でOpenAIに接続するWorkerをデプロイする

​​概要

このチュートリアルでは、AI Gatewayを通じてOpenAIに呼び出しを行うWorkerをデプロイする方法を学びます。AI Gatewayは、より多くの分析、キャッシュ、レート制限、ロギングによって、AIアプリケーションをよりよく観察し、制御するのに役立ちます。

このチュートリアルでは、2023年8月にリリースされた最新のv4 OpenAIノードライブラリを使用します。

​​始める前に

すべてのチュートリアルは、すでに スタートガイドこれでCloudflare Workersアカウントが設定される、 C3外部リンクを開くそして ラングラー.

​​1.AIゲートウェイとOpenAI APIキーの作成

CloudflareダッシュボードのAI Gatewayページで、右上のプラスボタンをクリックして新しいAI Gatewayを作成します。ゲートウェイとエンドポイントに名前を付けることができるはずです。API Endpointsボタンをクリックしてエンドポイントをコピーします。OpenAI、HuggingFace、Replicateなどのプロバイダー固有のエンドポイントから選択できる。または、特定のスキーマを受け入れ、モデルのフォールバックと再試行をサポートするユニバーサルエンドポイントを使用することもできます。

AIゲートウェイ・オンボーディング

このチュートリアルでは、OpenAI プロバイダ固有のエンドポイントを使うので、ドロップダウンで OpenAI を選択し、新しいエンドポイントをコピーします。

このチュートリアルには、OpenAIのアカウントとAPIキーも必要です。お持ちでない場合は、新規に OpenAI アカウントを作成し、API キーを作成してこのチュートリアルを続けてください。API キーは後で使えるように安全な場所に保管しておいてください。

変更履歴

​​2023-10-09

  • 過去ログ:ログは過去24時間に制限されます。より多くのログを必要とするユースケースがある場合は、Discordでチームに連絡してください。
  • ダッシュボード:ログが自動的に更新されるようになりました。
  • 資料:ドキュメントとダッシュのWorkers AIの例を修正。
  • キャッシング:埋め込みリクエストがキャッシュ可能になりました。キャッシュされたリクエストにはレート制限が適用されません。
  • バグ:異なるプロバイダーへの同一のリクエストが、キャッシュから誤って提供されることはなくなりました。ユニバーサルエンドポイントを含め、ストリーミングが期待通りに動作するようになりました。
  • 既知の問題:現在、コストに関するバグがあり、調査中です。
jaJapanese
en_USEnglish es_ESSpanish nl_NL_formalDutch pt_PTPortuguese de_DEGerman fr_FRFrench da_DKDanish ru_RURussian ko_KRKorean fa_IRPersian sv_SESwedish jaJapanese