Vad är Cloudflare?

• Översikt över Cloudflare

Utnyttja Cloudflares globala nätverk för att bygga bättre assisterande och generativa AI-appar.

Med Cloudflares AI-produkter kan du bygga AI-drivna applikationer i full stack eller köra snabba inferensuppgifter med låg latens på förtränade maskininlärningsmodeller med Cloudflare Workers. Du kan också visa och hantera dina AI-applikationer eller använda WebGPU i Durable Objects.、

Observera och kontrollera dina AI-applikationer.

Med Cloudflares AI Gateway kan du få synlighet och kontroll över dina AI-appar. Genom att ansluta dina appar till AI Gateway kan du samla in insikter om hur människor använder din applikation med analys och loggning och sedan kontrollera hur din applikation skalas med funktioner som cachelagring, hastighetsbegränsning samt begäran om försök, modellfallback med mera. Ännu bättre - det krävs bara en kodrad för att komma igång.

De viktigaste egenskaperna är

• Analys: Visa mätvärden som antalet förfrågningar, tokens och den kostnad som krävs för att köra din applikation
• Loggning: Få insikt i förfrågningar och fel
• Cachelagring: Servera förfrågningar direkt från Cloudflares cache istället för den ursprungliga modellleverantören för snabbare förfrågningar och kostnadsbesparingar
• Begränsning av hastighet: Kontrollera hur din applikation skalas genom att begränsa antalet förfrågningar som din applikation tar emot
• Begär retry och fallback: Förbättra motståndskraften genom att definiera retry av begäran och modellfallbacks i händelse av fel
• Stöd för dina favoritleverantörer: Workers AI, OpenAI, HuggingFace, Replicate arbetar alla med AI Gateway (fler kommer)
• Streaming av svar : AI Gateway stöder streaming av svar

Kolla in Guide för att komma igång för att lära dig hur du konfigurerar dina applikationer med AI Gateway.

Skapa din första AI-gateway

I den här guiden får du lära dig hur du skapar din första AI-gateway. Du kan skapa flera gateways för att styra olika applikationer.

För att konfigurera en AI Gateway behöver du:

1. Skapa en Cloudflare-kontoÖppen extern länk
2. Navigera till AI GatewayÖppen extern länk i instrumentpanelen, under AI-menyn
3. Skapa en ny AI-gateway och ange gateway-namn och URL-slug

Ansluta din applikation

I den här guiden får du lära dig hur du ansluter din applikation till din AI Gateway. Du kommer att behöva ha skapat en AI Gateway för att fortsätta med denna guide.

När du har konfigurerat en Gateway i AI Gateway-instrumentpanelen klickar du på "API-slutpunkter" för att hitta din AI Gateway-slutpunkt. AI Gateway erbjuder flera slutpunkter för varje Gateway du skapar - en per leverantör och en universell slutpunkt.

Observera och kontrollera

Nu när din applikation är ansluten till AI Gateway bör du kunna se att förfrågningar kommer in via din Cloudflare Dashboard - AI GatewayÖppen extern länk. Denna guide visar vilka data du kan förvänta dig att se och vilka inställningar du ska konfigurera för bättre kontroll.

---

​​Analys

På den första sidan i AI Gateway-instrumentpanelen ser du mätvärden för förfrågningar, tokens, cachning, fel och kostnader. Du kan filtrera dessa mätvärden efter tid och leverantörstyp.

Kostnadsmåttet är en uppskattning baserad på antalet tokens som skickas och tas emot i förfrågningar. För närvarande beräknar vi endast kostnader för OpenAI GPT. Om du strömmar svar använder vi ett tokenizer-paket för att uppskatta antalet tokens som används för att beräkna kostnaden. Kostnadsmåttet är tänkt att vara en bra uppskattning för att analysera och förutsäga kostnadstrender, men du bör alltid se din leverantörspanel för att se ett korrekt kostnadstal.

Leverantörer med stöd

• Universell slutpunkt
• Arbetstagare AI
• OpenAI
• HuggingFace
• Replikera

Universell slutpunkt

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY

AI Gateway erbjuder flera slutpunkter för varje Gateway som du skapar - en slutpunkt per leverantör och en universell slutpunkt. Den universella slutpunkten kräver viss anpassning till ditt schema, men stöder ytterligare funktioner. Några av dessa funktioner är till exempel att försöka igen om en begäran misslyckas första gången, eller att konfigurera en reservmodell/provider när en begäran misslyckas.

Du kan använda den universella slutpunkten för att kontakta alla leverantörer. Nyttolasten förväntar sig en array av meddelanden, och varje meddelande är ett objekt med följande parametrar:

• leverantör : Namnet på den leverantör som du vill skicka detta meddelande till. Kan vara openai/huggingface/replicate
• slutpunkt: sökvägen till leverantörens API som du försöker nå. På OpenAI kan det till exempel vara chatt/kompletteringar, och för HuggingFace kan detta vara bigstar/kod. Se mer i de avsnitt som är specifika för varje leverantör.
• auktorisation: Innehållet i HTTP-headern för auktorisering som ska användas vid kontakt med denna leverantör. Detta börjar vanligtvis med "Token" eller "Bearer".
• fråga: nyttolasten så som leverantören förväntar sig det i sitt officiella API.

Arbetstagare AI

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/workers-ai/

När du gör förfrågningar till Workers AI, ersätt https://api.cloudflare.com/client/v4/accounts/ACCOUNT_TAG/ai/run i den URL du för närvarande använder med https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/workers-ai.

Lägg sedan till den modell du vill köra i slutet av URL-adressen. Du kan se listan över Arbetstagare AI-modeller och välj ID.

Du måste skapa en API-tokenÖppna extern länk med läsbehörighet för Workers AI och använd det i din begäran.

OpenAI

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/openai

När du gör förfrågningar till OpenAI, ersätt https://api.openai.com/v1 i den URL du för närvarande använder med https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/openai.

HuggingFace

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface

När du gör förfrågningar till HuggingFace Inference API, ersätt https://api-inference.huggingface.co/models/ i den URL du för närvarande använder med https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface. Observera att den modell du försöker komma åt ska komma direkt efter, t.ex. https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface/bigcode/starcoder.

Replikera

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/replicate

Vid begäran om att replikera, ersätta https://api.replicate.com/v1 i den URL du för närvarande använder med https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/replicate.

Handledning

• Distribuera en Worker som ansluter till OpenAI via AI Gateway

Distribuera en Worker som ansluter till OpenAI via AI Gateway

​​Översikt

I den här handledningen får du lära dig hur du distribuerar en Worker som gör anrop till OpenAI via AI Gateway. AI Gateway hjälper dig att bättre övervaka och styra dina AI-applikationer med mer analys, cachelagring, hastighetsbegränsning och loggning.

Denna handledning använder det senaste OpenAI-nodbiblioteket v4, en uppdatering som släpptes i augusti 2023.

​​Innan du börjar

Alla handledningar förutsätter att du redan har slutfört Guide för att komma igång, som ger dig ett Cloudflare Workers-konto, C3Öppen extern länkoch Wrangler.

​​1. Skapa en AI-gateway och OpenAI API-nyckel

På sidan AI Gateway i Cloudflares instrumentpanel skapar du en ny AI Gateway genom att klicka på plusknappen längst upp till höger. Du bör kunna namnge gatewayen samt ändpunkten. Klicka på knappen API-slutpunkter för att kopiera slutpunkten. Du kan välja mellan leverantörsspecifika slutpunkter som OpenAI, HuggingFace och Replicate. Eller så kan du använda den universella slutpunkten som accepterar ett specifikt schema och stöder modellfallback och retries.

I den här handledningen kommer vi att använda den leverantörsspecifika slutpunkten för OpenAI, så välj OpenAI i rullgardinsmenyn och kopiera den nya slutpunkten.

Du behöver också ett OpenAI-konto och en API-nyckel för den här handledningen. Om du inte har det, skapa ett nytt OpenAI-konto och skapa en API-nyckel för att fortsätta med denna handledning. Se till att förvara din API-nyckel på ett säkert ställe så att du kan använda den senare.

Ändringslogg

​​2023-10-09

• Loggar: Loggar kommer nu att begränsas till de senaste 24 timmarna. Om du har ett användningsfall som kräver mer loggning, vänligen kontakta teamet på Discord.
• Instrumentpanel: Loggarna uppdateras nu automatiskt.
• Dokument: Fixat exempel på AI för arbetare i dokument och dash.
• Cachelagring: Begäran om inbäddning kan nu cachas. Hastighetsgränsen gäller inte för cachade förfrågningar.
• Insekter: Identiska förfrågningar till olika leverantörer serveras inte längre felaktigt från cache. Streaming fungerar nu som förväntat, inklusive för den universella slutpunkten.
• Kända problem: Det finns för närvarande en bugg med kostnader som vi undersöker.