Cloudflare AI

Qu'est-ce que Cloudflare ?

cloudflare AI
  • Aperçu de Cloudflare

Utilisez le réseau mondial de Cloudflare pour créer de meilleures applications d'assistance et d'IA générative.

Avec les produits AI de Cloudflare, vous pouvez créer des applications full-stack alimentées par l'IA ou exécuter des tâches d'inférence rapides et à faible latence sur des modèles d'apprentissage automatique pré-entraînés avec Cloudflare Workers. Vous pouvez également afficher et gérer vos applications d'IA ou utiliser WebGPU dans Durable Objects.、

Observez et contrôlez vos applications d'IA.

AI Gateway de Cloudflare vous permet de gagner en visibilité et en contrôle sur vos applications d'IA. En connectant vos applications à AI Gateway, vous pouvez recueillir des informations sur la façon dont les gens utilisent votre application grâce à l'analyse et à la journalisation, puis contrôler la façon dont votre application évolue grâce à des fonctionnalités telles que la mise en cache, la limitation du taux, ainsi que les tentatives de requêtes, le repli du modèle, et plus encore. Mieux encore, il suffit d'une seule ligne de code pour commencer.

Les principales caractéristiques sont les suivantes :

  • Analyse : Visualisez des indicateurs tels que le nombre de requêtes, les jetons et le coût d'exécution de votre application.
  • Enregistrement : Obtenir des informations sur les demandes et les erreurs
  • Mise en cache : Servez les requêtes directement à partir du cache de Cloudflare au lieu du fournisseur de modèle d'origine pour des requêtes plus rapides et des économies de coûts.
  • Limitation des taux : Contrôlez l'évolution de votre application en limitant le nombre de requêtes qu'elle reçoit.
  • Demande de réessai et de repli : Améliorer la résilience en définissant des tentatives de relance de la demande et des modèles de repli en cas d'erreur
  • Prise en charge de vos fournisseurs préférés : Workers AI, OpenAI, HuggingFace, Replicate fonctionnent tous avec AI Gateway (d'autres sont à venir)
  • Réponse en continu : La passerelle AI prend en charge la diffusion des réponses

Consultez le site Guide de démarrage pour savoir comment configurer vos applications avec AI Gateway.

Créer votre première passerelle IA

Dans ce guide, vous apprendrez à créer votre première passerelle AI. Vous pouvez créer plusieurs passerelles pour contrôler différentes applications.

Pour mettre en place une passerelle AI, vous devez :

  1. Créer un Compte CloudflareOuvrir un lien externe
  2. Naviguez jusqu'à AI GatewayOuverture d'un lien externe dans le tableau de bord, sous le menu AI
  3. Créez une nouvelle passerelle AI et entrez votre nom de passerelle et votre URL.
Embarquement sur la passerelle AI

Connecter votre application

Dans ce guide, vous apprendrez à connecter votre application à votre passerelle AI. Vous devrez créer une passerelle IA pour poursuivre ce guide.

Une fois que vous avez configuré une passerelle dans le tableau de bord de AI Gateway, cliquez sur "API Endpoints" pour trouver votre point de terminaison AI Gateway. AI Gateway offre plusieurs points d'extrémité pour chaque passerelle que vous créez - un par fournisseur et un point d'extrémité universel.

Observer et contrôler

Maintenant que votre application est connectée à la passerelle AI, vous devriez être en mesure de voir les demandes qui arrivent par l'intermédiaire de la passerelle AI. Tableau de bord Cloudflare - AI GatewayOuverture du lien externe. Ce guide vous indique les données que vous pouvez vous attendre à voir et les paramètres à configurer pour un meilleur contrôle.


​​Analyse

Sur la première page de votre tableau de bord AI Gateway, vous verrez des mesures sur les demandes, les jetons, la mise en cache, les erreurs et les coûts. Vous pouvez filtrer ces mesures par heure et par type de fournisseur.

Tableau de bord analytique AI Gateway

La mesure du coût est une estimation basée sur le nombre de jetons envoyés et reçus dans les demandes. Actuellement, nous ne calculons les coûts que pour l'OpenAI GPT. Si vous diffusez les réponses en continu, nous utilisons un paquet de jetons pour estimer le nombre de jetons utilisés afin de calculer le coût. La mesure du coût est censée être une estimation utile pour analyser et prédire les tendances en matière de coûts, mais vous devez toujours Consultez le tableau de bord de votre fournisseur pour connaître le montant exact des coûts.

Fournisseurs soutenus

Point final universel

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY

AI Gateway offre plusieurs points d'extrémité pour chaque Gateway que vous créez - un point d'extrémité par fournisseur et un point d'extrémité universel. Le point de terminaison universel nécessite quelques ajustements à votre schéma, mais prend en charge des fonctionnalités supplémentaires. Certaines de ces fonctionnalités sont, par exemple, la relance d'une requête si elle échoue la première fois, ou la configuration d'un modèle/fournisseur de repli lorsqu'une requête échoue.

Vous pouvez utiliser le point d'accès universel pour contacter tous les fournisseurs. La charge utile attend un tableau de messages, et chaque message est un objet avec les paramètres suivants :

  • fournisseur le nom du fournisseur auquel vous souhaitez adresser ce message. Peut être openai/huggingface/replicate
  • point finalle chemin d'accès à l'API du fournisseur que vous essayez d'atteindre. Par exemple, sur OpenAI, il peut s'agir de chat/complétionsPour HuggingFace, ce pourrait être bigstar/code. Vous trouverez plus d'informations dans les sections spécifiques à chaque fournisseur.
  • autorisation: le contenu de l'en-tête HTTP d'autorisation qui doit être utilisé pour contacter ce fournisseur. Il commence généralement par "Token" ou "Bearer".
  • interrogationle payload tel que le fournisseur l'attend dans son API officielle.

Travailleurs AI

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/workers-ai/

Lorsque vous adressez des demandes à l'IA des travailleurs, remplacez https://api.cloudflare.com/client/v4/accounts/ACCOUNT_TAG/ai/run dans l'URL que vous utilisez actuellement avec https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/workers-ai.

Ajoutez ensuite le modèle que vous souhaitez exécuter à la fin de l'URL. Vous pouvez voir la liste des Travailleurs Modèles d'IA et choisir l'identifiant.

Vous devrez générer un Jeton APIOuvrir un lien externe avec l'accès en lecture de l'IA des travailleurs et l'utiliser dans votre demande.

OpenAI

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/openai

Lorsque vous adressez des demandes à l'OpenAI, remplacez https://api.openai.com/v1 dans l'URL que vous utilisez actuellement avec https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/openai.

Visage étreint

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface

Lors des requêtes adressées à l'API d'inférence HuggingFace, remplacez https://api-inference.huggingface.co/models/ dans l'URL que vous utilisez actuellement avec https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface. Notez que le modèle auquel vous essayez d'accéder doit venir juste après, par exemple https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface/bigcode/starcoder.

Répliquer

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/replicate

Lors des demandes de réplication, remplacez https://api.replicate.com/v1 dans l'URL que vous utilisez actuellement avec https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/replicate.

Tutoriels

Déployer un Worker qui se connecte à OpenAI via AI Gateway

​​Vue d'ensemble

Dans ce tutoriel, vous apprendrez à déployer un Worker qui fait des appels à OpenAI à travers AI Gateway. AI Gateway vous aide à mieux observer et contrôler vos applications d'IA avec plus d'analyses, de mise en cache, de limitation de taux et de journalisation.

Ce tutoriel utilise la bibliothèque de nœuds OpenAI v4 la plus récente, une mise à jour publiée en août 2023.

​​Avant de commencer

Tous les tutoriels supposent que vous avez déjà suivi le cours de Guide de démarragequi vous permet d'obtenir un compte Cloudflare Workers, C3Lien externeet Wrangler.

​​1. Créer une passerelle AI et une clé API OpenAI

Sur la page AI Gateway du tableau de bord Cloudflare, créez une nouvelle AI Gateway en cliquant sur le bouton plus en haut à droite. Vous devriez pouvoir nommer la passerelle ainsi que le point de terminaison. Cliquez sur le bouton API Endpoints pour copier le point de terminaison. Vous pouvez choisir des points de terminaison spécifiques à un fournisseur, tels que OpenAI, HuggingFace et Replicate. Vous pouvez également utiliser le point de terminaison universel qui accepte un schéma spécifique et prend en charge le repli du modèle et les tentatives.

Embarquement sur la passerelle AI

Pour ce tutoriel, nous utiliserons le point de terminaison spécifique au fournisseur OpenAI, donc sélectionnez OpenAI dans le menu déroulant et copiez le nouveau point de terminaison.

Vous aurez également besoin d'un compte OpenAI et d'une clé API pour ce tutoriel. Si vous n'en avez pas, créez un nouveau compte OpenAI et créez une clé API pour continuer ce tutoriel. Veillez à conserver votre clé API dans un endroit sûr afin de pouvoir l'utiliser ultérieurement.

Changelog

​​2023-10-09

  • Journaux: Les logs seront désormais limités aux dernières 24h. Si vous avez un cas d'utilisation qui nécessite plus de logs, veuillez contacter l'équipe sur Discord.
  • Tableau de bord: Les journaux sont désormais rafraîchis automatiquement.
  • Docs: Correction de l'exemple de l'IA des travailleurs dans la documentation et le tableau de bord.
  • Mise en cache: Les demandes d'intégration peuvent désormais être mises en cache. La limite de taux ne s'appliquera pas aux demandes mises en cache.
  • Insectes: Les demandes identiques adressées à des fournisseurs différents ne sont plus servies à tort à partir du cache. Le streaming fonctionne maintenant comme prévu, y compris pour le point de terminaison Universal.
  • Problèmes connus: Il y a actuellement un bogue avec les coûts que nous sommes en train d'étudier.
fr_FRFrench