Cloudflare AI

Hvad er Cloudflare?

cloudflare AI
  • Oversigt over Cloudflare

Udnyt Cloudflares globale netværk til at bygge bedre assisterende og generative AI-apps.

Med Cloudflares AI-produkter kan du bygge full-stack, AI-drevne applikationer eller køre hurtige inferensopgaver med lav latenstid på foruddannede maskinlæringsmodeller med Cloudflare Workers. Du kan også se og administrere dine AI-applikationer eller bruge WebGPU i Durable Objects.

Overvåg og styr dine AI-applikationer.

Cloudflares AI Gateway giver dig mulighed for at få synlighed og kontrol over dine AI-apps. Ved at forbinde dine apps til AI Gateway kan du få indsigt i, hvordan folk bruger din applikation med analyser og logning, og derefter styre, hvordan din applikation skalerer med funktioner som caching, hastighedsbegrænsning samt anmodningsforsøg, model fallback og meget mere. Og endnu bedre - det kræver kun én kodelinje at komme i gang.

De vigtigste funktioner omfatter:

  • Analyse: Se målinger som antallet af anmodninger, tokens og de omkostninger, det kræver at køre din applikation.
  • Logning: Få indsigt i anmodninger og fejl
  • Caching: Server anmodninger direkte fra Cloudflares cache i stedet for den oprindelige modeludbyder for hurtigere anmodninger og omkostningsbesparelser
  • Begrænsning af hastighed: Kontroller, hvordan din applikation skalerer ved at begrænse antallet af anmodninger, din applikation modtager
  • Anmod om retry og fallback: Forbedre modstandsdygtigheden ved at definere retry for anmodninger og fallbacks for modeller i tilfælde af en fejl.
  • Understøttelse af dine foretrukne udbydere: Workers AI, OpenAI, HuggingFace, Replicate arbejder alle med AI Gateway (flere er på vej)
  • Streaming af svar : AI Gateway understøtter streaming af svar

Tjek den Kom godt i gang-guide for at lære, hvordan du konfigurerer dine applikationer med AI Gateway.

Oprettelse af din første AI-gateway

I denne vejledning lærer du, hvordan du opretter din første AI-gateway. Du kan oprette flere gateways til at styre forskellige applikationer.

For at opsætte en AI Gateway skal du gøre følgende:

  1. Opret en Cloudflare-kontoÅbn eksternt link
  2. Naviger til AI GatewayÅbn eksternt link i instrumentbrættet, under AI-menuen
  3. Opret en ny AI-gateway, og indtast dit gateway-navn og URL-slug.
AI Gateway onboarding

Tilslutning af din applikation

I denne vejledning lærer du, hvordan du forbinder din applikation til din AI Gateway. Du bliver nødt til at få oprettet en AI-gateway for at fortsætte med denne guide.

Når du har konfigureret en Gateway i AI Gateway-dashboardet, skal du klikke på "API Endpoints" for at finde dit AI Gateway-endpoint. AI Gateway tilbyder flere endpoints for hver Gateway, du opretter - et pr. udbyder og et universelt endpoint.

Observere og kontrollere

Nu hvor din applikation er forbundet til AI Gateway, bør du kunne se, at der kommer anmodninger ind via din Cloudflare Dashboard - AI GatewayÅbn eksternt link. Denne vejledning viser dig, hvilke data du kan forvente at se, og hvilke indstillinger du skal konfigurere for at få bedre kontrol.


​​Analyse

På den første side af dit AI Gateway-dashboard kan du se metrikker for requests, tokens, caching, fejl og omkostninger. Du kan filtrere disse målinger efter tid og udbydertype.

AI Gateway analyse-dashboard

Omkostningsmåleren er et skøn baseret på antallet af tokens, der sendes og modtages i anmodninger. I øjeblikket beregner vi kun omkostninger for OpenAI GPT. Hvis du streamer svar, bruger vi en tokenizer-pakke til at estimere antallet af tokens, der bruges til at beregne omkostningerne. Omkostningsmåleren er tænkt som et nyttigt estimat til at analysere og forudsige omkostningstendenser, men du bør altid se din udbyders dashboard for at se et nøjagtigt omkostningstal.

Understøttede udbydere

Universelt slutpunkt

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY

AI Gateway tilbyder flere endpoints for hver Gateway, du opretter - et endpoint pr. udbyder og et Universal Endpoint. Universal Endpoint kræver nogle justeringer af dit skema, men understøtter yderligere funktioner. Nogle af disse funktioner er f.eks. at gentage en anmodning, hvis den mislykkes første gang, eller at konfigurere en fallback-model/udbyder, når en anmodning mislykkes.

Du kan bruge det universelle endpoint til at kontakte alle udbydere. Payloaden forventer et array af beskeder, og hver besked er et objekt med følgende parametre:

  • leverandør : navnet på den udbyder, du gerne vil sende denne besked til. Kan være openai/huggingface/replicate
  • slutpunkt: stien til den udbyder-API, du forsøger at nå. På OpenAI kan det for eksempel være chat/afslutninger, og for HuggingFace kan det være bigstar/kode. Se mere i de afsnit, der er specifikke for hver udbyder.
  • tilladelse: indholdet af Authorization HTTP Header, der skal bruges, når du kontakter denne udbyder. Dette starter normalt med "Token" eller "Bearer".
  • forespørgsel: payloaden, som udbyderen forventer det i deres officielle API.

Arbejdere AI

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/workers-ai/

Når du laver anmodninger til Workers AI, skal du erstatte https://api.cloudflare.com/client/v4/accounts/ACCOUNT_TAG/ai/run i den URL, du bruger i øjeblikket, med https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/workers-ai.

Tilføj derefter den model, du vil køre, i slutningen af URL'en. Du kan se listen over Arbejdere AI-modeller og vælg ID'et.

Du bliver nødt til at generere en API-tokenÅbn eksternt link med Workers AI-læseadgang og brug den i din anmodning.

OpenAI

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/openai

Når du sender anmodninger til OpenAI, skal du erstatte https://api.openai.com/v1 i den URL, du bruger i øjeblikket, med https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/openai.

HuggingFace

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface

Når du laver forespørgsler til HuggingFace Inference API, skal du erstatte https://api-inference.huggingface.co/models/ i den URL, du bruger i øjeblikket, med https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface. Bemærk, at den model, du forsøger at få adgang til, skal komme lige efter, for eksempel https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface/bigcode/starcoder.

Replikat

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/replicate

Når du laver anmodninger til Replicate, skal du erstatte https://api.replicate.com/v1 i den URL, du bruger i øjeblikket, med https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/replicate.

Vejledninger

Implementér en Worker, der opretter forbindelse til OpenAI via AI Gateway

​​Oversigt

I denne vejledning lærer du, hvordan du implementerer en Worker, der foretager opkald til OpenAI via AI Gateway. AI Gateway hjælper dig med bedre at observere og kontrollere dine AI-applikationer med mere analyse, caching, hastighedsbegrænsning og logning.

Denne vejledning bruger det nyeste v4 OpenAI node library, en opdatering udgivet i august 2023.

​​Før du går i gang

Alle vejledningerne forudsætter, at du allerede har gennemført Kom godt i gang-guide, som får dig oprettet med en Cloudflare Workers-konto, C3Åbn eksternt link, og Wrangler.

​​1. Opret en AI-gateway og OpenAI API-nøgle

På AI Gateway-siden i Cloudflare-dashboardet skal du oprette en ny AI Gateway ved at klikke på plus-knappen øverst til højre. Du bør kunne navngive gatewayen samt endpointet. Klik på knappen API Endpoints for at kopiere endpointet. Du kan vælge mellem udbyderspecifikke endpoints som OpenAI, HuggingFace og Replicate. Eller du kan bruge det universelle endpoint, der accepterer et specifikt skema og understøtter model fallback og retries.

AI Gateway onboarding

I denne tutorial vil vi bruge det OpenAI-udbyderspecifikke endpoint, så vælg OpenAI i dropdown-menuen, og kopier det nye endpoint.

Du skal også bruge en OpenAI-konto og en API-nøgle til denne vejledning. Hvis du ikke har en, skal du oprette en ny OpenAI-konto og oprette en API-nøgle for at fortsætte med denne vejledning. Sørg for at gemme din API-nøgle et sikkert sted, så du kan bruge den senere.

Changelog

​​2023-10-09

  • Logfiler: Logs vil nu være begrænset til de sidste 24 timer. Hvis du har en brugssag, der kræver mere logning, bedes du kontakte teamet på Discord.
  • Dashboard: Logfiler opdateres nu automatisk.
  • Dokumenter: Rettet Workers AI-eksempel i docs og dash.
  • Caching: Embedding-anmodninger kan nu caches. Hastighedsgrænsen gælder ikke for cachelagrede anmodninger.
  • Insekter: Identiske anmodninger til forskellige udbydere bliver ikke længere fejlagtigt serveret fra cache. Streaming fungerer nu som forventet, også for Universal endpoint.
  • Kendte problemer: Der er i øjeblikket en fejl med omkostningerne, som vi er ved at undersøge.
da_DKDanish