¿Qué es Cloudflare?

Visión general de Cloudflare

Utilice la red global de Cloudflare para crear mejores aplicaciones de inteligencia artificial generativa y de asistencia.

Con los productos de IA de Cloudflare, puede crear aplicaciones completas impulsadas por IA o ejecutar tareas de inferencia rápidas y de baja latencia en modelos de aprendizaje automático preentrenados con Cloudflare Workers. También puede ver y gestionar sus aplicaciones de IA o utilizar WebGPU en Durable Objects、.

Observe y controle sus aplicaciones de IA.

AI Gateway de Cloudflare le permite obtener visibilidad y control sobre sus aplicaciones de IA. Al conectar sus aplicaciones a AI Gateway, puede recopilar información sobre cómo los usuarios utilizan su aplicación con análisis y registros y, a continuación, controlar cómo se amplía su aplicación con funciones como el almacenamiento en caché, la limitación de velocidad, así como los reintentos de solicitud, la recuperación de modelos y mucho más. Y lo que es mejor: sólo se necesita una línea de código para empezar.

Las características clave incluyen:

Analítica: Visualice métricas como el número de solicitudes, tokens y el coste que supone ejecutar su aplicación.
Registro: Conozca mejor las solicitudes y los errores
Caché: Servir las solicitudes directamente desde la caché de Cloudflare en lugar del proveedor del modelo original para obtener solicitudes más rápidas y ahorrar costes.
Limitación de la tasa: Controle la escalabilidad de su aplicación limitando el número de solicitudes que recibe.
Solicitar reintento y fallback: Mejore la capacidad de recuperación definiendo la reintentación de la solicitud y las fallbacks del modelo en caso de error.
Soporte para tus proveedores favoritos: Workers AI, OpenAI, HuggingFace y Replicate funcionan con AI Gateway (próximamente)
Respuesta streaming : AI Gateway admite la transmisión de respuestas

Echa un vistazo a la Guía de inicio para aprender a configurar sus aplicaciones con AI Gateway.

Creación de la primera pasarela de IA

En esta guía aprenderás a crear tu primer Gateway AI. Puede crear varias puertas de enlace para controlar diferentes aplicaciones.

Para configurar un AI Gateway necesitarás:

Crear un Cuenta CloudflareAbrir enlace externo
Vaya a AI GatewayAbrir enlace externo en el salpicadero, en el menú AI
Cree una nueva puerta de enlace AI e introduzca el nombre de su puerta de enlace y el slug de la URL

Conectar su aplicación

En esta guía, aprenderá a conectar su aplicación a su AI Gateway. Para ello, deberá crear una pasarela de IA para continuar con esta guía.

Una vez que haya configurado una puerta de enlace en el panel de AI Gateway, haga clic en "Puntos finales de API" para encontrar su punto final de AI Gateway. AI Gateway ofrece varios puntos finales para cada Gateway que cree: uno por proveedor y un punto final universal.

Observar y controlar

Ahora que su aplicación está conectada al AI Gateway, debería poder ver las solicitudes que llegan a través de su Cloudflare Dashboard - AI GatewayAbrir enlace externo. Esta guía le muestra qué datos puede esperar ver y qué ajustes configurar para un mejor control.

Analítica

En la primera página del panel de AI Gateway verás métricas sobre solicitudes, tokens, almacenamiento en caché, errores y costes. Puedes filtrar estas métricas por tiempo y tipo de proveedor.

Cuadro de mando analítico del AI Gateway

La métrica del coste es una estimación basada en el número de fichas enviadas y recibidas en las solicitudes. Actualmente sólo calculamos los costes de OpenAI GPT. Si transmite respuestas, utilizamos un paquete tokenizador para estimar el número de tokens utilizados con el fin de calcular el coste. La métrica de costes pretende ser una estimación útil para analizar y predecir las tendencias de costes, pero siempre debe consulte el cuadro de mandos de su proveedor para ver una cifra exacta de los costes.

Proveedores subvencionados

Punto final universal

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY

AI Gateway ofrece varios puntos finales para cada Gateway que cree: un punto final por proveedor y un punto final universal. El punto final universal requiere algunos ajustes en el esquema, pero admite funciones adicionales. Algunas de estas funciones son, por ejemplo, reintentar una solicitud si falla la primera vez, o configurar un modelo/proveedor de reserva cuando falla una solicitud.

Puede utilizar el punto final Universal para ponerse en contacto con todos los proveedores. La carga útil es una matriz de mensajes, y cada mensaje es un objeto con los siguientes parámetros:

proveedor : el nombre del proveedor al que desea dirigir este mensaje. Puede ser openai/huggingface/replicate
punto finalel nombre de la ruta de la API del proveedor a la que intentas acceder. Por ejemplo, en OpenAI puede ser chat/conclusionesy para HuggingFace podría ser bigstar/código. Más información en las secciones específicas de cada proveedor.
autorización: el contenido de la cabecera HTTP de autorización que debe utilizarse al ponerse en contacto con este proveedor. Suele empezar por "Token" o "Bearer".
consultala carga útil tal y como la espera el proveedor en su API oficial.

Trabajadores AI

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/workers-ai/

Al realizar solicitudes a la IA de los trabajadores, sustituya https://api.cloudflare.com/client/v4/accounts/ACCOUNT_TAG/ai/run en la URL que está utilizando actualmente con https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/workers-ai.

A continuación, añada el modelo que desea ejecutar al final de la URL. Puede ver la lista de Trabajadores Modelos de IA y elige el ID.

Tendrá que generar un Token APIAbrir enlace externo con acceso de lectura Workers AI y utilizarlo en su solicitud.

OpenAI

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/openai

Al realizar solicitudes a OpenAI, sustituya https://api.openai.com/v1 en la URL que está utilizando actualmente con https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/openai.

HuggingFace

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface

Al realizar solicitudes a la API de inferencia de HuggingFace, sustituya https://api-inference.huggingface.co/models/ en la URL que está utilizando actualmente con https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface. Tenga en cuenta que el modelo al que intenta acceder debe ir justo después, por ejemplo https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface/bigcode/starcoder.

Replicar

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/replicate

Al realizar solicitudes a Replicar, sustituya https://api.replicate.com/v1 en la URL que está utilizando actualmente con https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/replicate.

Tutoriales

Despliegue de un Trabajador que se conecta a OpenAI a través de AI Gateway

Despliegue de un Trabajador que se conecta a OpenAI a través de AI Gateway

Visión general

En este tutorial, aprenderás a desplegar un Worker que hace llamadas a OpenAI a través de AI Gateway. AI Gateway te ayuda a observar y controlar mejor tus aplicaciones de IA con más análisis, almacenamiento en caché, limitación de velocidad y registro.

Este tutorial utiliza la biblioteca de nodos OpenAI v4 más reciente, una actualización publicada en agosto de 2023.

Antes de empezar

En todos los tutoriales se presupone que ya has completado el curso de Guía de inicioque le permite obtener una cuenta de Cloudflare Workers, C3Abrir enlace externoy Wrangler.

1. Crear una pasarela de IA y una clave de API de OpenAI.

En la página AI Gateway del panel de control de Cloudflare, cree una nueva AI Gateway haciendo clic en el botón más de la parte superior derecha. Debería poder asignar un nombre a la puerta de enlace, así como al punto final. Haga clic en el botón Puntos finales de API para copiar el punto final. Puede elegir entre puntos finales específicos del proveedor como OpenAI, HuggingFace y Replicate. También puede utilizar el punto final universal, que acepta un esquema específico y admite reintentos y fallback del modelo.

Para este tutorial, usaremos el endpoint específico del proveedor OpenAI, así que selecciona OpenAI en el desplegable y copia el nuevo endpoint.

También necesitarás una cuenta OpenAI y una clave API para este tutorial. Si no tienes una, crea una nueva cuenta OpenAI y crea una clave API para continuar con este tutorial. Asegúrate de guardar tu clave API en algún lugar seguro para poder usarla más tarde.

Registro de cambios

2023-10-09

Registros: Los registros se limitarán a las últimas 24 horas. Si tienes un caso de uso que requiera más registros, ponte en contacto con el equipo en Discord.
Cuadro de mandos: Ahora los registros se actualizan automáticamente.
Docs: Arreglado el ejemplo de IA de trabajadores en docs y dash.
Almacenamiento en caché: Las solicitudes de incrustación ahora se pueden almacenar en caché. El límite de velocidad no se aplicará a las solicitudes almacenadas en caché.
Bichos: Las peticiones idénticas a diferentes proveedores ya no se sirven erróneamente desde la caché. El streaming funciona ahora como se esperaba, incluso para el endpoint Universal.
Problemas conocidos: Actualmente hay un error con los costes que estamos investigando.