고객이 모델을 구현하고 실행할 수 있도록 지원하는 새로운 인공 지능 도구를 출시하는 Cloudflare

IA 방식에 대한 시도를 목적으로 합니다, Cloudflare클라우드 서비스 제공업체인 아루바는 고객이 네트워크 경계에서 IA 모델을 구축, 구현 및 실행할 수 있도록 지원하는 새로운 제품 및 애플리케이션 컬렉션을 출시합니다.

새로운 서비스 중 하나인 Workers AI를 사용하면 고객이 Cloudflare에서 물리적으로 검색한 GPU에 액세스하여 사용량에 따라 비용을 지불하고 IA 모델을 실행할 수 있습니다. 두 번째, Vectorize는 Workers AI 모델에 의해 생성된 벡터(데이터의 수학적 표현)를 저장하기 위한 벡터 데이터베이스를 제공합니다. 세 번째 AI 게이트웨이는 고객이 IA 애플리케이션 실행 비용을 더 잘 관리할 수 있는 메트릭을 제공하도록 설계되었습니다.

Cloudflare의 전무 이사인 Matthew Prince에 따르면, IA를 중심으로 한 새로운 제품군의 출시는 비용 절감에 초점을 맞춘 보다 간단하고 사용하기 쉬운 IA 관리 솔루션에 대한 Cloudflare 고객들의 강력한 요구에 의해 시작되었다고 합니다.

"현재 시장에 나와 있는 오퍼링은 많은 공급업체를 새로 만나야 하고 비용이 빠르게 상승하는 등 매우 복잡합니다."라고 Prince는 TechCrunch와의 이메일 인터뷰에서 말했습니다. "현재 IA에서 어떻게 돈을 버는지에 대한 정보는 매우 부족합니다. IA에서 돈이 사라지는 동안 관찰 가능성은 큰 절망입니다. 우리는 개발자를 위해 이러한 모든 측면을 단순화할 수 있도록 지원할 수 있습니다."

이를 통해 Workers AI는 IA 추론이 지리적 관점에서 사용자에 대한 GPU에서 항상 발생하도록 보장하여 IA에 의한 짧은 지연 시간의 최종 사용자 경험을 제공하고자 합니다. 서로 다른 IA 브랜드 간에 전환하는 데 사용되는 Microsoft의 중개 자동화 학습 도구 집합인 ONNX를 지원하는 Workers AI를 사용하면 대역폭, 지연 시간, 연결성, 프로세스 및 로컬라이제이션 제한 등의 측면에서 프로세스가 더 잘 감지되는 곳에서 IA 모델을 실행할 수 있습니다.

Workers AI 사용자는 Meta의 Llama 2와 같은 대규모 언어 모델(LLM), 음성 자동 인식 모델, 이미지 분류기 및 감정 분석 모델을 포함하여 시작할 카탈로그 모델을 선택할 수 있습니다. Workers AI를 사용하면 데이터가 원래 있던 서버 리전에 데이터가 유지됩니다. 그리고 추론에 사용된 모든 데이터는 LLM 또는 이미지 생성 모델에 전송된 표시가 현재 또는 미래의 IA 모델을 입력하는 데 사용되지 않습니다.

"짧은 지연 시간으로 사용자 경험을 기록하기 위해 사용자를 중심으로 추론하는 것이 가장 이상적입니다. 하지만 디바이스에는 LLM과 같은 대규모 모델을 실행하는 데 필요한 컴퓨팅 성능이나 배터리 에너지가 항상 있는 것은 아닙니다."라고 프린스는 말합니다. "반면에 기존의 중앙 집중식 네트워크는 최종 사용자로부터 지리적으로 지나치게 멀리 떨어져 있습니다. 이러한 중앙 집중식 네임도 주로 EE. U.에 주로 존재하며, 이는 원산지로부터 데이터를 전송하는 것을 선호하지 않는(또는 합법적으로 전송할 수 없는) 전 세계 기업들에게 많은 문제를 야기합니다. Cloudflare는 이 두 가지 문제를 모두 해결할 수 있는 최적의 장소입니다."

워커스 AI에는 이미 중요한 소셜 공급자인 AI 스타트업 허깅 페이스가 있습니다. 클라우드플레어는 허깅 페이스가 워커스 AI에서 실행할 수 있도록 제네릭 IA 모델을 최적화할 것이며, 클라우드플레어는 허깅 페이스 모델을 구현하기 위한 최초의 서버 없는 GPU 사회로 전환할 것이라고 밝혔습니다.

데이터브릭스도 있습니다. 데이터브릭스는 자동화된 학습 작업 흐름과 데이터브릭스의 소프트웨어 마켓플레이스를 관리하기 위한 개방형 코딩 플랫폼인 MLflow를 통해 IA 추론을 워커스 AI로 끌어올릴 것이라고 밝혔습니다. 클라우드플레어는 MLflow 프로젝트에 적극적인 협력자로 참여하고, 데이터브릭스는 Workers AI 플랫폼에서 활발하게 구축하는 개발자를 위해 MLflow 기능을 구현할 것입니다.

Vectorize는 다양한 고객층, 즉 데이터 기반에 IA 모델에 대한 벡터 인스트럭션을 저장해야 하는 고객을 대상으로 합니다. 검색부터 인공 지능 지원까지 다양한 애플리케이션에서 사용되는 자동 학습 알고리즘의 기본 구성 요소인 벡터 통합은 더 간결하면서도 동시에 데이터의 중요도를 보존하는 엔터프라이즈 데이터의 표현입니다.

Workers AI의 모델을 사용하여 인크러스트를 생성한 다음 Vectorize에 저장할 수 있습니다. 또는 고객은 OpenAI 및 Cohere와 같은 타사 제공업체의 모델에서 생성된 인스트럭션을 보존할 수 있습니다.

이제 벡터 데이터 기반은 더 이상 새로운 것이 아닙니다. 핀콘과 같은 신생 기업도 AWS, Azure, Google Cloud와 같은 전통적인 퍼블릭 클라우드 기업과 마찬가지로 데이터베이스를 제공하고 있습니다. 하지만 Prince는 Vectorize가 Cloudflare의 글로벌 네트워크의 혜택을 받아 데이터 기반 컨설팅을 사용자 가까이에서 수행할 수 있어 지연 시간과 추론 시간을 단축할 수 있다고 확신합니다.

"개발자로서 오늘날 IA를 시작하려면 대다수가 접근할 수 없는 인프라에 대한 액세스 및 관리가 필요합니다."라고 Prince는 말합니다. "우리는 기본부터 더 부드러운 경험이 될 수 있도록 지원할 수 있습니다... 이 기술을 기존 네트워크에 추가하여 기존 인프라를 승인하고 더 나은 렌더링을 더 적은 비용으로 전송할 수 있습니다."라고 말했습니다.

IA 제품군의 마지막 구성 요소입니다, AI 게이트웨이는 IA 업무 수행을 지원하는 가시성 기능을 제공합니다. 예를 들어, AI Gateway는 모델 추론 요청 수와 요청 기간, 모델을 사용하는 사용자 수, IA 애플리케이션을 실행하는 데 드는 총 비용을 제어합니다.

또한, AI Gateway는 캐시 저장 및 속도 제한 등 비용을 절감할 수 있는 기능을 제공합니다. 캐시 저장 기능을 사용하면 클라이언트는 일반적인 질문에 대한 LLM의 응답을 캐시에 저장하여 LLM이 새로운 응답을 생성해야 하는 필요성을 최소화할 수 있습니다(완전히 제거하지는 못하지만). 속도 제한을 통해 애플리케이션이 악의적인 행위자와 트래픽 강도를 완화하는 방법을 더 잘 제어할 수 있습니다.

프린스는 AI 게이트웨이를 통해 Cloudflare가 개발자와 기업이 사용하는 컴퓨팅에 대해서만 비용을 지불할 수 있는 동급 규모의 몇 안 되는 공급업체 중 하나라고 강조합니다. GPTCache와 같은 타사 도구는 다른 제공업체의 AI 게이트웨이 캐시 스토리지 기능을 복제할 수 있으며, Vercel과 같은 제공업체는 서비스 속도 제한을 제공하지만 Cloudflare의 성능이 더 우수하다고 주장합니다.

그런지 확인해 보겠습니다.

"현재 고객들은 사용하지 않는 가상 머신과 GPU로 인해 엄청난 양의 비활성 컴퓨팅 비용을 지불하고 있습니다."라고 Prince는 말합니다. "우리는 전체적인 솔루션을 통해 현재의 자동화 학습 운영 및 서비스 개발자의 자동화 학습 작업 흐름과 관련된 작업과 완성도의 상당 부분을 줄일 수 있는 기회를 얻었습니다."라고 말합니다.