nl_NL_formalDutch

Cloudflare AI

Wat is Cloudflare?

cloudflare AI
  • Overzicht van Cloudflare

Gebruik Cloudflare's wereldwijde netwerk om betere assisterende en generatieve AI-apps te bouwen.

Met Cloudflare's AI-producten kunt u full-stack AI-applicaties bouwen of snelle, low-latency inferentietaken uitvoeren op vooraf getrainde machine learning-modellen met Cloudflare Workers. U kunt ook uw AI-applicaties bekijken en beheren of WebGPU gebruiken in Durable Objects.、

Observeer en controleer je AI-toepassingen.

Cloudflare's AI Gateway geeft u zichtbaarheid en controle over uw AI apps. Door uw apps met AI Gateway te verbinden, kunt u inzichten verzamelen over hoe mensen uw applicatie gebruiken met analytics en logging en vervolgens bepalen hoe uw applicatie schaalt met functies zoals caching, rate limiting, maar ook request retries, model fallback en meer. En nog beter: er is maar één regel code nodig om te beginnen.

De belangrijkste kenmerken zijn:

  • Analytics: Bekijk statistieken zoals het aantal verzoeken, tokens en de kosten die het kost om je applicatie te draaien
  • Loggen: Inzicht krijgen in aanvragen en fouten
  • Caching: Verzoeken rechtstreeks vanuit de cache van Cloudflare serveren in plaats van de oorspronkelijke modelprovider voor snellere verzoeken en kostenbesparingen
  • Tariefbeperking: Bepaal hoe je applicatie schaalt door het aantal verzoeken dat je applicatie ontvangt te beperken
  • Opnieuw proberen en fallback aanvragen: Verbeter de veerkracht door verzoekherhaling en modelvalbacks te definiëren in geval van een fout
  • Ondersteuning voor je favoriete providers: Workers AI, OpenAI, HuggingFace, Replicate werken allemaal met AI Gateway (meer volgen)
  • Antwoord streaming : AI Gateway ondersteunt responsstreaming

Bekijk de Aan de slag om te leren hoe u uw applicaties kunt configureren met AI Gateway.

Je eerste AI-gateway maken

In deze handleiding leer je hoe je je eerste AI Gateway maakt. Je kunt meerdere gateways maken om verschillende toepassingen aan te sturen.

Om een AI Gateway in te stellen moet je:

  1. Maak een Cloudflare accountOpen externe link
  2. Navigeer naar AI GatewayOpen externe link in het dashboard, onder het AI-menu
  3. Maak een nieuwe AI Gateway aan en voer je gatewaynaam en URL-slug in
AI Gateway inwerken

Uw toepassing aansluiten

In deze handleiding leer je hoe je je applicatie verbindt met je AI Gateway. U moet een AI-gateway laten maken om verder te gaan met deze handleiding.

Zodra u een Gateway heeft geconfigureerd in het AI Gateway dashboard, klikt u op "API Endpoints" om uw AI Gateway endpoint te vinden. AI Gateway biedt meerdere endpoints voor elke Gateway die u aanmaakt - één per provider en één universeel endpoint.

Observeren en controleren

Nu je applicatie verbonden is met de AI Gateway, zou je verzoeken moeten kunnen zien binnenkomen via je Cloudflare Dashboard - AI GatewayOpen externe link. Deze handleiding laat zien welke gegevens je kunt verwachten en welke instellingen je kunt configureren voor betere controle.


​​Analytics

Op de eerste pagina van je AI Gateway dashboard zie je statistieken over requests, tokens, caching, errors en kosten. Je kunt deze statistieken filteren op tijd en provider type.

AI Gateway analytisch dashboard

De kostenmetriek is een schatting gebaseerd op het aantal verzonden en ontvangen tokens in verzoeken. We berekenen momenteel alleen kosten voor OpenAI GPT. Als u reacties streamt, gebruiken we een tokenizer-pakket om het aantal gebruikte tokens te schatten en zo de kosten te berekenen. De kostenmetriek is bedoeld als een nuttige schatting om kostentrends te analyseren en te voorspellen, maar u moet altijd Raadpleeg het dashboard van je provider voor een nauwkeurig kostenoverzicht.

Ondersteunde aanbieders

Universeel eindpunt

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY

AI Gateway biedt meerdere endpoints voor elke Gateway die u aanmaakt - één endpoint per provider en één Universal Endpoint. Het Universal Endpoint vereist enige aanpassing aan je schema, maar ondersteunt extra mogelijkheden. Enkele van deze mogelijkheden zijn bijvoorbeeld het opnieuw proberen van een verzoek als het de eerste keer mislukt, of het configureren van een fallback model/provider als een verzoek mislukt.

Je kunt het universele eindpunt gebruiken om contact op te nemen met elke provider. De payload verwacht een array van berichten en elk bericht is een object met de volgende parameters:

  • provider : de naam van de provider waar je dit bericht naartoe wilt sturen. Kan openai/huggingface/replicate zijn
  • eindpuntDe padnaam van de provider-API die je probeert te bereiken. Op OpenAI kan dit bijvoorbeeld zijn chat/voltooiingenen voor HuggingFace zou dit kunnen zijn bigstar/code. Lees meer in de specifieke secties voor elke provider.
  • autorisatie: de inhoud van de Authorization HTTP Header die gebruikt moet worden bij het benaderen van deze provider. Dit begint meestal met "Token" of "Bearer".
  • queryDe payload zoals de provider die verwacht in zijn officiële API.

Werknemers AI

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/workers-ai/

Vervang bij verzoeken aan Workers AI https://api.cloudflare.com/client/v4/accounts/ACCOUNT_TAG/ai/run in de URL die je momenteel gebruikt met https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/workers-ai.

Voeg vervolgens het model dat je wilt uitvoeren toe aan het einde van de URL. Je ziet de lijst met AI-werknemersmodellen en kies de ID.

Je moet een API tokenOpen externe link met Workers AI leestoegang en gebruik deze in je verzoek.

OpenAI

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/openai

Vervang bij verzoeken aan OpenAI https://api.openai.com/v1 in de URL die je momenteel gebruikt met https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/openai.

Knuffelgezicht

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface

Vervang bij het maken van verzoeken naar HuggingFace Inference API https://api-inference.huggingface.co/models/ in de URL die je momenteel gebruikt met https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface. Merk op dat het model dat je probeert te openen direct moet volgen op, bijvoorbeeld https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface/bigcode/starcoder.

Repliceren

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/replicate

Vervang bij verzoeken aan Replicate https://api.replicate.com/v1 in de URL die je momenteel gebruikt met https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/replicate.

Lesmateriaal

Implementeer een Worker die verbinding maakt met OpenAI via AI Gateway

​​Overzicht

In deze tutorial leer je hoe je een Worker implementeert die OpenAI aanroept via AI Gateway. AI Gateway helpt je om je AI applicaties beter te observeren en te controleren met meer analyse, caching, rate limiting en logging.

Deze tutorial gebruikt de meest recente v4 OpenAI node library, een update die in augustus 2023 is uitgebracht.

​​Voordat u begint

Bij alle tutorials wordt ervan uitgegaan dat je de Aan de slagHiermee kun je een Cloudflare Workers account aanmaken, C3Een externe link openenen Wrangler.

​​1. Maak een AI Gateway en OpenAI API-sleutel aan

Maak op de AI Gateway pagina in het Cloudflare dashboard een nieuwe AI Gateway aan door op de plusknop rechtsboven te klikken. Je zou de Gateway en het endpoint een naam moeten kunnen geven. Klik op de API Endpoints knop om het endpoint te kopiëren. Je kunt kiezen uit provider-specifieke endpoints zoals OpenAI, HuggingFace en Replicate. Of je kunt het universele eindpunt gebruiken dat een specifiek schema accepteert en model fallback en retries ondersteunt.

AI Gateway inwerken

Voor deze tutorial gebruiken we het OpenAI provider-specifieke endpoint, dus selecteer OpenAI in de dropdown en kopieer het nieuwe endpoint.

Je hebt ook een OpenAI account en API key nodig voor deze tutorial. Als je die niet hebt, maak dan een nieuw OpenAI account aan en maak een API key om verder te gaan met deze tutorial. Zorg ervoor dat je je API sleutel ergens veilig bewaart zodat je hem later kunt gebruiken.

Changelog

​​2023-10-09

  • Logboeken: Logs worden nu beperkt tot de laatste 24 uur. Als je een use case hebt die meer logging vereist, neem dan contact op met het team op Discord.
  • Dashboard: Logs worden nu automatisch ververst.
  • Docs: Workers AI voorbeeld in docs en dash opgelost.
  • Caching: Embedding-aanvragen kunnen nu in de cache worden opgeslagen. De snelheidslimiet is niet van toepassing op verzoeken die in de cache worden opgeslagen.
  • Insecten: Identieke verzoeken aan verschillende providers worden niet meer verkeerd geserveerd vanuit de cache. Streaming werkt nu zoals verwacht, ook voor het Universal endpoint.
  • Bekende problemen: Er is momenteel een bug in de kosten die we onderzoeken.
nl_NL_formalDutch