Cloudflare запускает новые механизмы искусственной интеллектуализации для помощи клиентам в реализации и исполнении моделей

С целью доказать, что мода IA не стоит на месте, Cloudflare, поставщик услуг в нулевых, запускает новый набор продуктов и приложений, предназначенных для оказания помощи клиентам в создании, внедрении и реализации моделей IA на границе красного цвета.

Один из новых сервисов, Workers AI, позволяет клиентам получить доступ к физически близким GPU, расположенным по соседству от компаний Cloudflare, для выполнения моделей IA за плату за использование. Другая компания, Vectorize, предоставляет базу данных векторов для хранения инкрустаций векторов (математических представлений данных), создаваемых моделями ИИ для рабочих. Третий шлюз, AI Gateway, предназначен для предоставления инструментов, позволяющих клиентам лучше управлять затратами на разработку приложений IA.

По словам Мэтью Принса, исполнительного директора Cloudflare, запуск нового пакета продуктов, ориентированных на IA, был вызван сильным желанием клиентов Cloudflare иметь более простое и удобное в использовании решение для управления IA, ориентированное на снижение затрат.

"Las ofertas que ya están en el mercado siguen siendo muy complicadas: requieren reunir a muchos proveedores nuevos y se vuelve costoso rápidamente", dijo Prince a TechCrunch en una entrevista por correo electrónico. "В настоящее время также имеется очень мало информации о том, как люди тратят деньги на IA; наблюдательность - это большая проблема в случае, если расходы на IA снизятся. Мы поможем упростить все эти аспекты для разработчиков".

С этой целью Workers AI намерена гарантировать, что инференция IA будет происходить на GPU, близких к пользователям (с точки зрения географии), чтобы обеспечить конечный опыт пользователя с минимальной задержкой, вызванной IA. По сравнению с ONNX, конъюнкцией автоматических посредников, которую Microsoft использует для преобразования различных моделей IA, Workers AI позволяет выполнять модели IA таким образом, чтобы процесс был более осмысленным с точки зрения скорости полосы, латентности, связи, процесса и ограничений локализации.

Пользователи Workers AI могут выбрать модели из каталога для начала работы, в том числе модели большого языка (LLM), такие как Meta's Llama 2, модели автоматического распознавания голоса, классификаторы изображений и модели анализа чувств. В Con Workers AI данные сохраняются в том регионе сервера, где они находились изначально. Лас индикации, направленные на LLM или модель генерации изображений, не используются для создания актуальных или будущих моделей ИА.

"Идеально, если конференция будет проводиться в непосредственной близости от пользователя, чтобы создать опыт использования с минимальной задержкой. Но, несмотря на это, у устройств не всегда есть достаточная емкость для передачи данных или энергии от аккумулятора, необходимых для реализации таких крупных моделей, как LLM", - говорит Принс. "В то же время традиционные централизованные узлы могут находиться на значительном удалении от конечного пользователя. Централизованные узлы также встречаются в основном в США, что осложняет ситуацию. США, что усложняет ситуацию для компаний всего мира, которые предпочитают не передавать данные (или не могут по закону) за пределы своей страны происхождения. Cloudflare ofrece el mejor lugar para resolver ambos problemas".

У Workers AI уже есть важный социальный поставщик: стартап по ИИ Hugging Face. Hugging Face оптимизирует модели генеративного ИИ для выполнения их в Workers AI, говорит Cloudflare, а Cloudflare превращается в первого социолога GPU без серверов для реализации моделей Hugging Face.

Databricks - это другая компания. Databricks заявляет, что она будет работать для того, чтобы перевести инференцию IA в рабочий AI с помощью MLflow, платформы с открытым кодом для администрирования автоматических процессов обучения и рынка программного обеспечения Databricks. Cloudflare присоединяется к проекту MLflow в качестве активного коллаборатора, а Databricks внедряет возможности MLflow для тех разработчиков, которые активно работают с платформой Workers AI.

Vectorize ориентирован на другой сегмент клиентов: тех, кому необходимо хранить инкрустации векторов для моделей IA в базе данных. Инкорпорации векторов, базовые компоненты алгоритмов автоматического обучения, используемые приложениями, которые работают от поиска до искусственного интеллекта, представляют данные об обучении более компактно и в то же время сохраняют значимость данных.

Модели в Workers AI могут использоваться для создания инкрустаций, которые затем будут храниться в Vectorize. Кроме того, клиенты могут сохранять инкорпорации, созданные с помощью моделей третьих поставщиков, таких как OpenAI и Cohere.

Векторные базы данных уже не являются чем-то новым. Появившиеся компании, такие как Pinecone, используют их наравне с традиционными государственными компаниями, такими как AWS, Azure и Google Cloud. Перо Принс утверждает, что Vectorize пользуется преимуществами глобальной сети Cloudflare, что позволяет проводить консультации по базе данных ближе к пользователям, что приводит к сокращению времени ожидания и времени поиска.

"Для разработчика, начинающего работу с IA, сегодня требуется доступ и управление инфраструктурой, недоступной для большинства", - говорит Принс. "Мы можем помочь сделать этот опыт более простым с самого начала... Мы можем добавить эту технологию в существующую инфраструктуру, что позволит нам использовать существующую инфраструктуру и передавать более качественный результат, а также более низкую стоимость".

Единственный компонент набора IA, AI Gateway предоставляет функции наблюдения для помощи в отслеживании работы IA. Например, AI Gateway контролирует количество запросов на поиск моделей, а также продолжительность таких запросов, количество пользователей, использующих одну модель, и общую стоимость выполнения приложения IA.

Кроме того, AI Gateway предоставляет возможности для снижения затрат, в том числе хранение в кэше и ограничение скорости. Благодаря хранению в кэше клиенты могут сохранять в кэше ответы LLM на вопросы, что сводит к минимуму (но, вероятно, не исключает полностью) необходимость поиска нового ответа для LLM. Ограничение скорости обеспечивает больший контроль над тем, как эскалировать приложения, чтобы уменьшить вредоносные действия и интенсивное воздействие.

Принс утверждает, что благодаря AI Gateway Cloudflare является одним из немногих поставщиков своего уровня, позволяющих разработчикам и компаниям платить только за вычисления, которые они используют. Все это не так однозначно: третьи механизмы, такие как GPTCache, могут копировать функции хранения в кэше AI Gateway в других поставщиках, а поставщики, такие как Vercel, предоставляют ограничение скорости в качестве услуги, но при этом они считают, что технология Cloudflare более эффективна, чем у конкурентов.

Мы должны проверить, так ли это на самом деле.

"В настоящее время клиенты платят за огромное количество неактивных вычислений в виде виртуальных машин и GPU, которые не используются", - говорит Принс. "У нас есть возможность сократить большую часть работы и сложности, связанные с актуальными операциями по автоматическому обучению, а также с потоками работы по автоматическому обучению разработчиков сервисов в рамках целостного решения".