Cloudflare lanceert nieuwe kunstmatige intelligentie om klanten te helpen bij het implementeren en uitvoeren van modellen

Met als doel om het bewijs te leveren van de mode van de IA, Cloudflareel proveedor de servicios en la nube, está lanzando una nueva colección de productos y aplicaciones destinadas a ayudar a los clientes a construir, implementar y ejecutar modelos de IA en el borde de la red.

Una de las nuevas ofertas, Workers AI, permite a los clientes acceder a GPU físicamente cercanas alojadas por socios de Cloudflare para ejecutar modelos de IA mediante pago por uso. Een ander, Vectorize, biedt een databank voor vectoren om incrustaciones de vectoren (mathematische representaties van gegevens) gegenereerd door modellen van Workers AI op te slaan. Een derde, AI Gateway, is ontworpen om métricas aan te bieden waarmee klanten hun kosten voor het uitvoeren van IA-applicaties beter kunnen beheren.

Matthew Prince, Director Ejecutivo van Cloudflare, zegt dat de lancering van de nieuwe productensuite voor IA is ingegeven door de sterke wens van de klanten van Cloudflare om een eenvoudiger en gebruiksvriendelijker oplossing te vinden voor het beheer van IA, gericht op kostenbesparing.

"Las ofertas que ya están en el mercado siguen siendo muy complicadas: requieren reunir a muchos proveedores nuevos y se vuelve costoso rápidamente", dijo Prince a TechCrunch en una entrevista por correo electrónico. "Op dit moment is er ook heel weinig informatie beschikbaar over hoe het geld in IA wordt opgegaan; de waarneembaarheid is een groot probleem als het geld in IA wordt opgegaan. Podemos ayudar a simplificar todos estos aspectos para los desarrolladores".

Workers AI wil hiermee garanderen dat de inferencia de IA altijd plaatsvindt in las GPU cercanas a los usuarios (desde un pointo de vista geográfico) om zo een definitieve gebruikerservaring te bieden die wordt gestimuleerd door IA. Aprovechando ONNX, el conjunto de herramientas de aprendizaje automático intermediario respaldado por Microsoft que se utiliza para convertir entre diferentes marcos de IA, Workers AI permite que los modelos de IA se ejecuten dondequiera que el procesamiento tenga más sentido en términos de ancho de banda, latencia, conectividad, procesamiento y limitaciones de localización.

Los usuarios de Workers AI pueden elegir modelos de un catálogo para comenzar, incluidos modelos de lenguaje grande (LLM) como Meta's Llama 2, modelos de reconocimiento automático de voz, clasificadores de imágenes y modelos de análisis de sentimientos. Met Workers AI blijven de gegevens in de regio van de servidor waar ze oorspronkelijk vandaan kwamen. Y cualquier dato utilizado para inferencias, p. Las indicaciones enviadas a un LLM o a un modelo de generación de imágenes no se utilizan para entrenar modelos de IA actuales o futuros.

"Het ideale is dat de inferencia dichtbij de gebruiker wordt uitgevoerd om een gebruikerservaring van lage latentie te krijgen. Sin embargo, los dispositivos no siempre tienen la capacidad de cómputo o la energía de batería necesaria para ejecutar modelos grandes como los LLM", aldus Prince. "Maar de traditionele gecentraliseerde nubes bevinden zich geografisch gezien te ver van de uiteindelijke gebruiker. Deze gecentraliseerde nubes bevinden zich voornamelijk in de Verenigde Staten. U.S., wat de zaken er niet eenvoudiger op maakt voor bedrijven overal ter wereld die liever geen gegevens buiten hun land van herkomst verzenden (of dat wettelijk gezien niet kunnen). Cloudflare biedt de beste oplossing voor deze problemen".

Workers AI heeft al een belangrijke partner: de startup AI Hugging Face. Hugging Face optimaliseert de modellen van IA-generativa om ze uit te voeren in Workers AI, aldus Cloudflare, terwijl Cloudflare wordt omgevormd tot de eerste GPU-serviceprovider die modellen van Hugging Face uitvoert.

Databricks is een andere. Databricks dice that funcionará para llevar la inferencia de IA a Workers AI a través de MLflow, la plataforma de código abierto para administrar flujos de trabajo de aprendizaje automático y el mercado de software de Databricks. Cloudflare verenigt zich met het MLflow-project als actieve medewerker en Databricks implementeert de MLflow-capaciteiten voor de desarrolladores die actief werken aan het platform Workers AI.

Vectorize richt zich op een ander segment van klanten: degenen die incrustaciones de vectores voor IA-modellen moeten opslaan in een database. De incorporaciones de vectores, los componentes básicos de los algoritmos de aprendizaje automático utilizados por aplicaciones que van desde la búsqueda hasta los asistentes de inteligencia artificial, son representaciones de datos de entrenamiento que son más compactas y al mismo tiempo preservan lo significativo de los datos.

De modellen en Workers AI kunnen worden gebruikt om incrustaciones te genereren die vervolgens kunnen worden opgeslagen in Vectorize. Of beter nog, los clientes pueden conservar las incorporaciones generadas por modelos de terceros de proveedores como OpenAI y Cohere.

En nu, las bases de datos vectoriales no son nada nuevo. Opkomende bedrijven zoals Pinecone doen dit ook, net als traditionele bedrijven zoals AWS, Azure en Google Cloud. Pere Prince zegt dat Vectorize profiteert van de wereldwijde Cloudflare-redactie, waardoor de raadpleging van de database dichter bij de gebruiker kan plaatsvinden, wat leidt tot een vermindering van de latencia en de tijd die nodig is om gegevens te verzamelen.

"Als ontwikkelaar heb je toegang tot en beheer van een infrastructuur nodig die voor de meeste mensen ontoegankelijk is", zei Prince. "We kunnen helpen om vanaf het begin een eenvoudigere ervaring te creëren... We kunnen deze technologie toevoegen aan ons bestaande netwerk, waardoor we onze bestaande infrastructuur kunnen benutten en een betere opbrengst en kosten kunnen realiseren.

El último componente de la suite de IA, AI Gateway biedt functies voor observatie om te helpen bij het volgen van het proces van IA. AI Gateway controleert bijvoorbeeld de hoeveelheid aanvragen voor modelinformaties, evenals de duur van deze aanvragen, de hoeveelheid gebruikers die een model gebruiken en de algemene kosten voor het uitvoeren van een toepassing voor IA.

Daarnaast biedt AI Gateway mogelijkheden om de kosten te verlagen, waaronder het opslaan in caché en het beperken van de snelheid. Met de almacenamiento en caché kunnen klanten de antwoorden van de LLM op veelgestelde vragen in de caché opslaan, waardoor de noodzaak dat een LLM een nieuw antwoord geeft tot een minimum wordt beperkt (maar waarschijnlijk niet volledig wordt weggenomen). La limitación de velocidad confiere más control sobre cómo escalan las aplicaciones al mitigar los actores maliciosos y el tráfico intenso.

Prince zegt dat Cloudflare met AI Gateway een van de weinige aanbieders in zijn omvang is die desarrolladores en bedrijven toestaat om alleen te betalen voor de computer die ze gebruiken. Dit is niet helemaal zeker: herramientas de terceros como GPTCache pueden replicar la funcionalidad de almacenamiento en caché de AI Gateway en otros proveedores, y proveedores como Vercel ofrecen limitación de velocidad como servicio, pero también sostiene que el enfoque de Cloudflare es más ágil que el de la competencia.

We moeten kijken of dat het geval is.

"Op dit moment betalen klanten voor een grote hoeveelheid inactieve rekenkracht in de vorm van virtuele computers en GPU's die niet worden gebruikt", zei Prince. "Vemos una oportunidad de abstraer gran parte del trabajo y la complejidad asociados con las operaciones de aprendizaje automático actuales y los flujos de trabajo de aprendizaje automático de los desarrolladores de servicios a través de una solución holística".

Laat een reactie achter

nl_NL_formalDutch