Cloudflare lancerer nye intelligente værktøjer til at hjælpe kunder med at implementere og udføre modeller

Con el objetivo de sacar provecho de la moda de la IA, Cloudflare, el proveedor de servicios en la nube, está lanzando una nueva colección de productos y aplicaciones destinadas a ayudar a los clientes a construir, implementar y ejecutar modelos de IA en el borde de la red.

Una de las nuevas ofertas, Workers AI, permite a los clientes acceder a GPU físicamente cercanas alojadas por socios de Cloudflare para ejecutar modelos de IA mediante pago por uso. En anden, Vectorize, tilbyder en base af vektor-data til at opbevare vektor-inkrustationer (matematiske repræsentationer af data) genereret af AI-arbejdsmodeller. En tredje, AI Gateway, er designet til at give kunderne mulighed for at styre deres omkostninger til udvikling af IA-applikationer.

Según Matthew Prince, director ejecutivo de Cloudflare, el lanzamiento de la nueva suite de productos centrados en IA fue motivado por un fuerte deseo de los clientes de Cloudflare de una solución de gestión de IA más simple y fácil de usar, enfocada en el ahorro de costos.

"Las ofertas que ya están en el mercado siguen siendo muy complicadas: requieren reunir a muchos proveedores nuevos y se vuelve costoso rápidamente", dijo Prince a TechCrunch en una entrevista por correo electrónico. "Actualmente también hay muy poca información disponible sobre cómo se gasta el dinero en IA; La observabilidad es un gran desafío a medida que el gasto en IA se dispara. Podemos ayudar a simplificar todos estos aspectos para los desarrolladores".

Med dette mål for øje vil Workers AI garantere, at IA-inferencerne altid foregår på de GPU'er, der er tættest på brugerne (ud fra et geografisk synspunkt), så brugeren får en oplevelse af IA, der er mindre forsinket. Aprovechando ONNX, el conjunto de herramientas de aprendizaje automático intermediario respaldado por Microsoft que se utiliza para convertir entre diferentes marcos de IA, Workers AI permite que los modelos de IA se ejecuten dondequiera que el procesamiento tenga más sentido en términos de ancho de banda, latencia, conectividad, procesamiento y limitaciones de localización.

Los usuarios de Workers AI pueden elegir modelos de un catálogo para comenzar, incluidos modelos de lenguaje grande (LLM) como Meta's Llama 2, modelos de reconocimiento automático de voz, clasificadores de imágenes y modelos de análisis de sentimientos. Med Workers AI forbliver dataene i den del af servidoren, hvor de oprindeligt lå. Y cualquier dato utilizado para inferencias, p. Las indicaciones enviadas a un LLM o a un modelo de generación de imágenes no se utilizan para entrenar modelos de IA actuales o futuros.

"Lo ideal es que la inferencia se realice cerca del usuario para lograr una experiencia de usuario de baja latencia. Sin embargo, los dispositivos no siempre tienen la capacidad de cómputo o la energía de batería necesaria para ejecutar modelos grandes como los LLM", dijo Prince. "Men de traditionelle centraliserede net er geogr afisk for langt væk fra den endelige bruger. Estas nubes centralizadas también se encuentran principalmente en los EE. U.S.A., lo que complica las cosas para las empresas de todo el mundo que prefieren no (o legalmente no pueden) enviar datos fuera de su país de origen. Cloudflare ofrece el mejor lugar para resolver ambos problemas".

Workers AI har fået en vigtig samarbejdspartner: AI-startup'en Hugging Face. Hugging Face optimizará los modelos de IA generativa para ejecutarlos en Workers AI, dice Cloudflare, mientras que Cloudflare se convertirá en el primer socio de GPU sin servidor para implementar modelos de Hugging Face.

Databricks er en anden. Databricks siger, at de vil bruge MLflow, platformen til at administrere automatiserede arbejdsgange og Databricks' softwaremarked, til at overføre IA til AI-arbejdere. Cloudflare er en aktiv samarbejdspartner i MLflow-projektet, og Databricks implementerer MLflow-kapaciteter for de udviklere, der bygger aktivt på platformen Workers AI.

Vectorize henvender sig til et andet kundesegment, nemlig dem, der har brug for at gemme vector-inkorporeringer til IA-modeller i en databank. Las incorporaciones de vectores, los componentes básicos de los algoritmos de aprendizaje automático utilizados por aplicaciones que van desde la búsqueda hasta los asistentes de inteligencia artificial, son representaciones de datos de entrenamiento que son más compactas y al mismo tiempo preservan lo significativo de los datos.

Los modelos en Workers AI se pueden usar para generar incrustaciones que luego se pueden almacenar en Vectorize. Eller også kan kunderne gemme de inkorporeringer, der er genereret af andre leverandørers modeller som OpenAI og Cohere.

Ahora bien, las bases de datos vectoriales no son nada nuevo. Empresas emergentes como Pinecone las alojan, al igual que empresas tradicionales de la nube pública como AWS, Azure y Google Cloud. Pero Prince siger, at Vectorize nyder godt af den globale Cloudflare-løsning, som gør det muligt at foretage dataanalyser tættere på brugerne, hvilket reducerer latenstiden og inferencetiden.

"Como desarrollador, comenzar con la IA hoy requiere acceso y gestión de una infraestructura que es inaccessible para la mayoría", dijo Prince. "Podemos ayudar a que sea una experiencia más sencilla desde el principio... Podemos agregar esta tecnología a nuestra red existente, lo que nos permite aprovechar nuestra infraestructura existente y transmitir un mejor rendimiento, así como un mejor costo".

Den sidste komponent i IA-suiten, AI Gateway, proporciona funciones de observabilidad para ayudar con el seguimiento del tráfico de IA. AI Gateway kontrollerer f.eks. antallet af anmodninger om inferens af modeller, samt varigheden af disse anmodninger, antallet af brugere, der anvender en model, og den generelle omkostning ved at udføre en IA-applikation.

Derudover tilbyder AI Gateway kapaciteter til at reducere omkostningerne, herunder lagring i cache og begrænsning af hastigheden. Med en cache-opbevaring kan klienterne gemme svarene fra LLM på almindelige spørgsmål i en cache, hvilket minimerer (men sandsynligvis ikke helt eliminerer) behovet for, at en LLM genererer et nyt svar. La limitación de velocidad confiere más control sobre cómo escalan las aplicaciones al mitigar los actores maliciosos y el tráfico intenso.

Prince hævder, at Cloudflare med AI Gateway er en af de få udbydere i verden, der tillader udviklere og virksomheder at betale alene for den beregning, de bruger. Eso no es del todo cierto: herramientas de terceros como GPTCache pueden replicar la funcionalidad de almacenamiento en caché de AI Gateway en otros proveedores, y proveedores como Vercel ofrecen limitación de velocidad como servicio, pero también sostiene que el enfoque de Cloudflare es más ágil que el de la competencia.

Tendremos que ver si ese es el caso.

"I øjeblikket betaler kunderne for en stor mængde inaktiv databehandling i form af virtuelle maskiner og GPU'er, som de ikke bruger", siger Prince. "Vemos una oportunidad de abstraer gran parte del trabajo y la complejidad asociados con las operaciones de aprendizaje automático actuales y los flujos de trabajo de aprendizaje automático de los desarrolladores de servicios a través de una solución holística".

Skriv en kommentar

da_DKDanish