IA do Cloudflare

O que é o Cloudflare?

IA da cloudflare
  • Visão geral do Cloudflare

Utilize a rede global da Cloudflare para criar melhores aplicações de IA assistida e generativa.

Com os produtos de IA da Cloudflare, você pode criar aplicativos de IA de pilha completa ou executar tarefas de inferência rápidas e de baixa latência em modelos de aprendizado de máquina pré-treinados com o Cloudflare Workers. Você também pode visualizar e gerenciar seus aplicativos de IA ou usar WebGPU em Durable Objects.、

Observe e controle as suas aplicações de IA.

O AI Gateway da Cloudflare permite-lhe ganhar visibilidade e controlo sobre as suas aplicações de IA. Ao conectar seus aplicativos ao AI Gateway, você pode obter insights sobre como as pessoas estão usando seu aplicativo com análises e registros e, em seguida, controlar como seu aplicativo é dimensionado com recursos como cache, limitação de taxa, bem como novas tentativas de solicitação, fallback de modelo e muito mais. Melhor ainda - basta uma linha de código para começar.

As principais características incluem:

  • Analítica: Visualizar métricas como o número de pedidos, tokens e o custo necessário para executar a sua aplicação
  • Registo: Obter informações sobre pedidos e erros
  • Armazenamento em cache: Atender solicitações diretamente do cache da Cloudflare em vez do provedor de modelo original para solicitações mais rápidas e economia de custos
  • Limitação da taxa: Controle a forma como a sua aplicação é dimensionada, limitando o número de pedidos que a sua aplicação recebe
  • Pedido de repetição e de recurso: Melhorar a resiliência definindo a repetição do pedido e as alternativas de modelo em caso de erro
  • Suporte para os seus fornecedores favoritos: Workers AI, OpenAI, HuggingFace, Replicate funcionam com o AI Gateway (mais para vir)
  • Transmissão de respostas : O AI Gateway suporta o streaming de respostas

Verificar o Guia de iniciação para saber como configurar as suas aplicações com o AI Gateway.

Criar o seu primeiro Gateway de IA

Neste guia, aprenderá a criar o seu primeiro AI Gateway. Pode criar várias gateways para controlar diferentes aplicações.

Para configurar um AI Gateway, é necessário

  1. Criar um Conta CloudflareAbrir ligação externa
  2. Navegar para AI GatewayAbrir ligação externa no painel de controlo, no menu IA
  3. Crie um novo Gateway de IA e introduza o nome do gateway e o slug do URL
Integração do AI Gateway

Ligar a sua aplicação

Neste guia, aprenderá a ligar a sua aplicação ao seu AI Gateway. Terá de ter um portal de IA criado para continuar com este guia.

Depois de configurar um Gateway no painel de controlo do AI Gateway, clique em "API Endpoints" para encontrar o seu ponto final do AI Gateway. O AI Gateway oferece vários endpoints para cada Gateway que criar - um por fornecedor e um endpoint universal.

Observar e controlar

Agora que a sua aplicação está ligada ao AI Gateway, deve poder ver os pedidos que chegam através do seu Painel de controlo da Cloudflare - AI GatewayAbrir ligação externa. Este guia mostra-lhe quais os dados que pode esperar ver e quais as definições a configurar para um melhor controlo.


​​Analítica

Na primeira página do seu painel de controlo do AI Gateway, verá métricas sobre pedidos, tokens, caching, erros e custos. Pode filtrar estas métricas por tempo e tipo de fornecedor.

Painel de controlo analítico do AI Gateway

A métrica de custo é uma estimativa baseada no número de tokens enviados e recebidos nos pedidos. Atualmente, só calculamos os custos para o OpenAI GPT. Se você transmitir respostas, usaremos um pacote de tokenizador para estimar o número de tokens usados para calcular o custo. A métrica de custo foi criada para ser uma estimativa útil para analisar e prever tendências de custo, mas você deve sempre consulte o painel de controlo do seu fornecedor para ver um número de custo exato.

Prestadores de serviços apoiados

Ponto final universal

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY

O AI Gateway oferece vários pontos de extremidade para cada Gateway que criar - um ponto de extremidade por fornecedor e um ponto de extremidade universal. O Universal Endpoint requer alguns ajustes no seu esquema, mas suporta funcionalidades adicionais. Alguns desses recursos são, por exemplo, tentar novamente um pedido se ele falhar na primeira vez ou configurar um modelo/fornecedor de fallback quando um pedido falhar.

Pode utilizar o ponto final Universal para contactar todos os fornecedores. A carga útil espera um conjunto de mensagens, e cada mensagem é um objeto com os seguintes parâmetros:

  • fornecedor : o nome do fornecedor para o qual pretende enviar esta mensagem. Pode ser openai/huggingface/replicate
  • ponto finalo nome do caminho da API do fornecedor que está a tentar alcançar. Por exemplo, no OpenAI, pode ser chat/complementose para HuggingFace pode ser bigstar/código. Para mais informações, consulte as secções específicas de cada fornecedor.
  • autorizaçãoConteúdo do cabeçalho HTTP de autorização que deve ser utilizado ao contactar este fornecedor. Geralmente começa com "Token" ou "Bearer".
  • consulta: o payload tal como o fornecedor o espera na sua API oficial.

Trabalhadores IA

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/workers-ai/

Ao fazer pedidos à IA dos trabalhadores, substitua https://api.cloudflare.com/client/v4/accounts/ACCOUNT_TAG/ai/run no URL que está a utilizar atualmente com https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/workers-ai.

Em seguida, adicione o modelo que pretende executar no final do URL. Pode ver a lista de Modelos de IA para trabalhadores e escolher a identificação.

Terá de gerar um Token de APIAbrir ligação externa com acesso de leitura da IA dos trabalhadores e utilizá-lo no seu pedido.

OpenAI

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/openai

Ao efetuar pedidos ao OpenAI, substitua https://api.openai.com/v1 no URL que está a utilizar atualmente com https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/openai.

Cara de Abraço

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface

Ao fazer pedidos à API de inferência HuggingFace, substitua https://api-inference.huggingface.co/models/ no URL que está a utilizar atualmente com https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface. Note que o modelo a que está a tentar aceder deve vir logo a seguir, por exemplo https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface/bigcode/starcoder.

Replicar

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/replicate

Ao efetuar pedidos para Replicar, substitua https://api.replicate.com/v1 no URL que está a utilizar atualmente com https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/replicate.

Tutoriais

Implementar um Worker que se liga ao OpenAI através do AI Gateway

​​Visão geral

Neste tutorial, você aprenderá como implantar um Worker que faz chamadas para o OpenAI por meio do AI Gateway. O AI Gateway ajuda você a observar e controlar melhor seus aplicativos de IA com mais análises, armazenamento em cache, limitação de taxa e registro.

Este tutorial utiliza a biblioteca de nós OpenAI v4 mais recente, uma atualização lançada em agosto de 2023.

​​Antes de começar

Todos os tutoriais pressupõem que já completou o Guia de iniciaçãoque lhe permite criar uma conta Cloudflare Workers, C3Abrir ligação externaWrangler.

​​1. Criar um gateway de IA e uma chave de API OpenAI

Na página Gateway de IA no painel do Cloudflare, crie um novo Gateway de IA clicando no botão de adição no canto superior direito. Você deve poder nomear o gateway, bem como o endpoint. Clique no botão Endpoints de API para copiar o endpoint. Você pode escolher entre pontos de extremidade específicos do provedor, como OpenAI, HuggingFace e Replicate. Ou pode usar o ponto de extremidade universal que aceita um esquema específico e suporta fallback de modelo e novas tentativas.

Integração do AI Gateway

Para este tutorial, usaremos o ponto de extremidade específico do provedor OpenAI, portanto, selecione OpenAI no menu suspenso e copie o novo ponto de extremidade.

Também vai precisar de uma conta OpenAI e de uma chave de API para este tutorial. Se não tiver uma, crie uma nova conta OpenAI e crie uma chave de API para continuar com este tutorial. Certifique-se de que guarda a sua chave de API num local seguro para a poder utilizar mais tarde.

Registo de alterações

​​2023-10-09

  • Registos: Os registos serão agora limitados às últimas 24 horas. Se tiver um caso de utilização que exija mais registos, entre em contacto com a equipa no Discord.
  • Painel de controlo: Os registos são agora actualizados automaticamente.
  • Documentos: Corrigido o exemplo da IA dos trabalhadores na documentação e no dash.
  • Armazenamento em cache: Os pedidos de incorporação podem agora ser colocados em cache. O limite de taxa não se aplica aos pedidos em cache.
  • Insectos: Os pedidos idênticos a fornecedores diferentes já não são erradamente servidos a partir da cache. O streaming funciona agora como esperado, incluindo para o ponto de extremidade Universal.
  • Problemas conhecidos: Existe atualmente um erro nos custos que estamos a investigar.
pt_PTPortuguese