Cloudflare AI

Was ist Cloudflare?

Cloudflare AI
  • Überblick über Cloudflare

Nutzen Sie das globale Netzwerk von Cloudflare, um bessere assistive und generative KI-Apps zu entwickeln.

Mit den KI-Produkten von Cloudflare können Sie vollständige KI-gestützte Anwendungen erstellen oder mit Cloudflare Workers schnelle Inferenzaufgaben mit geringer Latenz auf vorab trainierten Machine-Learning-Modellen ausführen. Sie können auch Ihre KI-Anwendungen anzeigen und verwalten oder WebGPU in Durable Objects verwenden.、

Beobachten und kontrollieren Sie Ihre KI-Anwendungen.

Mit dem AI Gateway von Cloudflare können Sie Sichtbarkeit und Kontrolle über Ihre KI-Apps gewinnen. Indem Sie Ihre Apps mit AI Gateway verbinden, können Sie Erkenntnisse darüber gewinnen, wie Menschen Ihre Anwendung mit Analysen und Protokollierung nutzen, und dann kontrollieren, wie Ihre Anwendung mit Funktionen wie Caching, Ratenbegrenzung sowie Anfragewiederholungen, Modell-Fallback und mehr skaliert. Und das Beste: Sie brauchen nur eine Zeile Code, um loszulegen.

Die wichtigsten Merkmale sind:

  • Analytik: Metriken wie die Anzahl der Anfragen, Token und die Kosten für die Ausführung Ihrer Anwendung anzeigen
  • Protokollierung: Einsicht in Anfragen und Fehler gewinnen
  • Zwischenspeichern: Servieren Sie Anfragen direkt aus dem Cache von Cloudflare anstelle des ursprünglichen Modellanbieters für schnellere Anfragen und Kosteneinsparungen
  • Ratenbegrenzung: Kontrollieren Sie die Skalierung Ihrer Anwendung, indem Sie die Anzahl der Anfragen begrenzen, die Ihre Anwendung erhält.
  • Wiederholungsversuch und Fallback anfordern: Verbessern Sie die Ausfallsicherheit, indem Sie die Wiederholung von Anfragen und Modell-Fallbacks im Falle eines Fehlers definieren.
  • Unterstützung für Ihre bevorzugten Anbieter: Workers AI, OpenAI, HuggingFace, Replicate arbeiten alle mit AI Gateway (weitere werden folgen)
  • Antwortströme : AI Gateway unterstützt Antwort-Streaming

Überprüfen Sie die Leitfaden für den Einstieg um zu erfahren, wie Sie Ihre Anwendungen mit AI Gateway konfigurieren.

Erstellen Ihres ersten AI-Gateways

In dieser Anleitung erfahren Sie, wie Sie Ihr erstes AI-Gateway erstellen. Sie können mehrere Gateways erstellen, um verschiedene Anwendungen zu steuern.

Um ein AI-Gateway einzurichten, müssen Sie Folgendes tun:

  1. Erstellen einer Cloudflare-KontoExternen Link öffnen
  2. Navigieren Sie zu AI GatewayExternen Link öffnen im Dashboard, unter dem Menü AI
  3. Erstellen Sie ein neues AI Gateway und geben Sie Ihren Gateway-Namen und URL-Slug ein
AI-Gateway-Einführung

Verbinden Sie Ihre Anwendung

In dieser Anleitung erfahren Sie, wie Sie Ihre Anwendung mit Ihrem AI Gateway verbinden. Sie müssen ein AI-Gateway erstellen lassen um mit diesem Leitfaden fortzufahren.

Sobald Sie ein Gateway im AI Gateway Dashboard konfiguriert haben, klicken Sie auf "API Endpunkte", um Ihren AI Gateway Endpunkt zu finden. AI Gateway bietet mehrere Endpunkte für jedes Gateway, das Sie erstellen - einen pro Anbieter und einen universellen Endpunkt.

Beobachten und kontrollieren

Jetzt, da Ihre Anwendung mit dem AI Gateway verbunden ist, sollten Sie in der Lage sein, Anfragen zu sehen, die über Ihr Cloudflare Dashboard - AI GatewayExternen Link öffnen. Dieser Leitfaden zeigt Ihnen, welche Daten Sie erwarten können und welche Einstellungen Sie für eine bessere Kontrolle vornehmen müssen.


​​Analytik

Auf der ersten Seite Ihres AI Gateway-Dashboards sehen Sie Metriken zu Anfragen, Token, Caching, Fehlern und Kosten. Sie können diese Metriken nach Zeit und Anbietertyp filtern.

AI-Gateway-Analyse-Dashboard

Die Kostenmetrik ist eine Schätzung auf der Grundlage der Anzahl der in Anfragen gesendeten und empfangenen Token. Wir berechnen derzeit nur die Kosten für OpenAI GPT. Wenn Sie Antworten streamen, verwenden wir ein Tokenizer-Paket, um die Anzahl der verwendeten Token zu schätzen und die Kosten zu berechnen. Die Kostenmetrik ist als hilfreiche Schätzung zur Analyse und Vorhersage von Kostentrends gedacht, aber Sie sollten immer Eine genaue Kostenangabe finden Sie auf dem Dashboard Ihres Anbieters.

Unterstützte Anbieter

Universeller Endpunkt

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY

AI Gateway bietet mehrere Endpunkte für jedes Gateway, das Sie erstellen - einen Endpunkt pro Anbieter und einen universellen Endpunkt. Der universelle Endpunkt erfordert einige Anpassungen an Ihrem Schema, unterstützt aber zusätzliche Funktionen. Einige dieser Funktionen sind z. B. die Wiederholung einer Anfrage, wenn sie beim ersten Mal fehlschlägt, oder die Konfiguration eines Fallback-Modells/-Anbieters, wenn eine Anfrage fehlschlägt.

Sie können den Universal-Endpunkt verwenden, um jeden Anbieter zu kontaktieren. Die Nutzlast wird als Array von Nachrichten erwartet, und jede Nachricht ist ein Objekt mit den folgenden Parametern:

  • Anbieter : der Name des Anbieters, an den Sie diese Nachricht richten möchten. Kann openai/huggingface/replicate sein
  • Endpunkt: der Pfadname der API des Anbieters, auf die Sie zugreifen möchten. Bei OpenAI kann dies zum Beispiel sein Chat/Vervollständigungenund für HuggingFace könnte dies sein bigstar/code. Weitere Informationen finden Sie in den Abschnitten, die für jeden Anbieter spezifisch sind.
  • Genehmigung: der Inhalt des Authorization HTTP Header, der bei der Kontaktaufnahme mit diesem Anbieter verwendet werden soll. Dieser beginnt normalerweise mit "Token" oder "Bearer".
  • Abfrage: die Nutzlast, wie der Anbieter sie in seiner offiziellen API erwartet.

Arbeiter AI

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/workers-ai/

Wenn Sie Anfragen an Workers AI stellen, ersetzen Sie https://api.cloudflare.com/client/v4/accounts/ACCOUNT_TAG/ai/run in der URL, die Sie gerade verwenden, mit https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/workers-ai.

Fügen Sie dann das Modell, das Sie ausführen möchten, am Ende der URL hinzu. Sie sehen die Liste der AI-Modelle für Arbeitnehmer und wählen Sie die ID.

Sie müssen eine API-TokenExternen Link öffnen mit Lesezugriff von Workers AI und verwenden Sie es in Ihrer Anfrage.

OpenAI

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/openai

Wenn Sie Anfragen an OpenAI stellen, ersetzen Sie https://api.openai.com/v1 in der URL, die Sie gerade verwenden, mit https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/openai.

HuggingFace

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface

Wenn Sie Anfragen an die HuggingFace Inference API stellen, ersetzen Sie https://api-inference.huggingface.co/models/ in der URL, die Sie gerade verwenden, mit https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface. Beachten Sie, dass das Modell, auf das Sie zugreifen wollen, direkt nach dem Modell stehen sollte, z. B. https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface/bigcode/starcoder.

Replizieren Sie

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/replicate

Wenn Sie Anfragen an Replicate stellen, ersetzen Sie https://api.replicate.com/v1 in der URL, die Sie gerade verwenden, mit https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/replicate.

Anleitungen

Bereitstellen eines Workers, der sich über das AI Gateway mit OpenAI verbindet

​​Übersicht

In diesem Tutorial lernen Sie, wie Sie einen Worker einsetzen, der OpenAI über AI Gateway aufruft. AI Gateway hilft Ihnen, Ihre KI-Anwendungen besser zu beobachten und zu kontrollieren, indem es mehr Analysen, Zwischenspeicherung, Ratenbegrenzung und Protokollierung ermöglicht.

Dieses Tutorial verwendet die neueste Version 4 der OpenAI-Knotenbibliothek, ein Update, das im August 2023 veröffentlicht wurde.

​​Bevor Sie beginnen

In allen Tutorials wird davon ausgegangen, dass Sie bereits die Leitfaden für den Einstiegmit dem Sie ein Cloudflare Workers-Konto einrichten können, C3Externen Link öffnenund Wrangler.

​​1. Erstellen Sie ein AI Gateway und einen OpenAI API Schlüssel

Erstellen Sie auf der AI-Gateway-Seite im Cloudflare-Dashboard ein neues AI-Gateway, indem Sie auf den Plus-Button oben rechts klicken. Sie sollten in der Lage sein, sowohl das Gateway als auch den Endpunkt zu benennen. Klicken Sie auf die Schaltfläche API Endpoints, um den Endpunkt zu kopieren. Sie können aus anbieterspezifischen Endpunkten wie OpenAI, HuggingFace und Replicate wählen. Oder Sie können den universellen Endpunkt verwenden, der ein bestimmtes Schema akzeptiert und Modell-Fallback und Wiederholungen unterstützt.

AI-Gateway-Einführung

Für dieses Tutorial werden wir den OpenAI-Provider-spezifischen Endpunkt verwenden, also wählen Sie OpenAI in der Dropdown-Liste und kopieren Sie den neuen Endpunkt.

Sie benötigen außerdem ein OpenAI-Konto und einen API-Schlüssel für dieses Tutorial. Wenn Sie noch keines haben, erstellen Sie ein neues OpenAI-Konto und einen API-Schlüssel, um mit diesem Tutorial fortzufahren. Bewahren Sie Ihren API-Schlüssel an einem sicheren Ort auf, damit Sie ihn später verwenden können.

Änderungsliste

​​2023-10-09

  • Protokolle: Die Logs sind jetzt auf die letzten 24 Stunden beschränkt. Wenn Sie einen Anwendungsfall haben, der mehr Protokollierung erfordert, wenden Sie sich bitte an das Team auf Discord.
  • Dashboard: Die Protokolle werden jetzt automatisch aktualisiert.
  • Dokumente: Beispiel für die KI von Arbeitern in den Dokumenten und im Dash behoben.
  • Caching: Einbettungsanfragen können jetzt zwischengespeichert werden. Die Ratenbegrenzung gilt nicht für gecachte Anfragen.
  • Wanzen: Identische Anfragen an verschiedene Anbieter werden nicht mehr fälschlicherweise aus dem Cache bedient. Das Streaming funktioniert jetzt wie erwartet, auch für den Universal-Endpunkt.
  • Bekannte Probleme: Derzeit gibt es einen Fehler bei den Kosten, den wir untersuchen.
de_DEGerman