Cloudflare AI

Cloudflare란 무엇인가요?

클라우드플레어 AI
  • Cloudflare 개요

Cloudflare의 글로벌 네트워크를 활용하여 더 나은 보조 및 생성 AI 앱을 구축하세요.

Cloudflare의 AI 제품을 사용하면 풀스택 AI 기반 애플리케이션을 구축하거나 Cloudflare Workers를 통해 사전 학습된 머신 러닝 모델에서 빠르고 지연 시간이 짧은 추론 작업을 실행할 수 있습니다. 또한, AI 애플리케이션을 보고 관리하거나 내구성 있는 객체에서 WebGPU를 사용할 수 있습니다.

AI 애플리케이션을 관찰하고 제어하세요.

Cloudflare의 AI Gateway를 사용하면 AI 앱에 대한 가시성을 확보하고 제어할 수 있습니다. 앱을 AI Gateway에 연결하면 분석 및 로깅을 통해 사람들이 애플리케이션을 사용하는 방식에 대한 인사이트를 수집한 다음 캐싱, 속도 제한, 요청 재시도, 모델 폴백 등의 기능으로 애플리케이션의 확장 방식을 제어할 수 있습니다. 더 좋은 점은 단 한 줄의 코드만으로 시작할 수 있다는 점입니다.

주요 기능은 다음과 같습니다:

  • 애널리틱스: 요청 수, 토큰 수, 애플리케이션 실행에 소요되는 비용 등의 메트릭 보기
  • 로깅: 요청 및 오류에 대한 인사이트 확보
  • 캐싱: 원래 모델 공급자가 아닌 Cloudflare의 캐시에서 직접 요청을 처리하여 요청 속도를 높이고 비용을 절감하세요.
  • 요금 제한: 애플리케이션이 수신하는 요청 수를 제한하여 애플리케이션의 확장 방식을 제어하세요.
  • 재시도 및 폴백을 요청하세요: 오류 발생 시 요청 재시도 및 모델 폴백을 정의하여 복원력 향상
  • 즐겨 찾는 제공업체에 대한 지원: Workers AI, OpenAI, 허깅페이스, AI 게이트웨이로 모든 작업 복제(향후 추가 예정)
  • 응답 스트리밍 : 응답 스트리밍을 지원하는 AI 게이트웨이

자세한 내용은 시작하기 가이드 를 클릭하여 AI 게이트웨이로 애플리케이션을 구성하는 방법을 알아보세요.

첫 번째 AI 게이트웨이 만들기

이 가이드에서는 첫 번째 AI 게이트웨이를 만드는 방법을 배웁니다. 여러 개의 게이트웨이를 만들어 서로 다른 애플리케이션을 제어할 수 있습니다.

AI 게이트웨이를 설정하려면 다음을 수행해야 합니다:

  1. 만들기 Cloudflare 계정외부 링크 열기
  2. 다음으로 이동합니다. AI 게이트웨이외부 링크 열기 대시보드의 AI 메뉴 아래에 있는
  3. 새 AI 게이트웨이를 만들고 게이트웨이 이름과 URL 슬러그를 입력합니다.
AI 게이트웨이 온보딩

애플리케이션 연결하기

이 가이드에서는 애플리케이션을 AI 게이트웨이에 연결하는 방법에 대해 설명합니다. 다음이 필요합니다. AI 게이트웨이 생성 를 클릭하여 이 가이드를 계속 진행하세요.

AI 게이트웨이 대시보드에서 게이트웨이를 구성한 후에는 "API 엔드포인트"를 클릭하여 AI 게이트웨이 엔드포인트를 찾습니다. AI 게이트웨이는 생성하는 각 게이트웨이에 대해 제공자당 하나씩, 그리고 범용 엔드포인트 하나씩 여러 개의 엔드포인트를 제공합니다.

관찰 및 제어

이제 애플리케이션이 AI 게이트웨이에 연결되었으므로 애플리케이션을 통해 들어오는 요청을 볼 수 있습니다. Cloudflare 대시보드 - AI 게이트웨이외부 링크 열기. 이 가이드에서는 어떤 데이터를 볼 수 있는지, 더 나은 제어를 위해 어떤 설정을 구성해야 하는지 설명합니다.


​​분석

AI 게이트웨이 대시보드의 첫 페이지에는 요청, 토큰, 캐싱, 오류 및 비용에 대한 메트릭이 표시됩니다. 이러한 메트릭을 시간 및 공급자 유형별로 필터링할 수 있습니다.

AI 게이트웨이 분석 대시보드

비용 메트릭은 요청에서 주고받은 토큰 수를 기반으로 한 추정치입니다. 현재는 OpenAI GPT에 대해서만 비용을 계산합니다. 응답을 스트리밍하는 경우 비용을 계산하기 위해 토큰화 패키지를 사용하여 사용된 토큰 수를 추정합니다. 비용 메트릭은 비용 추세를 분석하고 예측하는 데 유용한 추정치이지만 항상 다음과 같은 사항을 고려해야 합니다. 정확한 비용 수치를 확인하려면 제공업체 대시보드를 참조하세요.

지원되는 제공업체

유니버설 엔드포인트

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY

AI 게이트웨이는 생성하는 각 게이트웨이에 대해 제공자당 하나의 엔드포인트와 유니버설 엔드포인트 등 여러 엔드포인트를 제공합니다. 유니버설 엔드포인트는 스키마에 약간의 조정이 필요하지만 추가 기능을 지원합니다. 예를 들어 요청이 처음 실패할 경우 재시도하거나 요청이 실패할 때 대체 모델/공급자를 구성하는 등의 기능이 있습니다.

유니버설 엔드포인트를 사용하여 모든 제공업체에 연락할 수 있습니다. 페이로드는 메시지 배열을 기대하며 각 메시지는 다음 매개 변수가 있는 객체입니다:

  • 공급자 이 메시지를 전달할 공급자의 이름입니다. openai/허깅페이스/복제 가능
  • 엔드포인트연결하려는 공급자 API의 경로명을 입력합니다. 예를 들어 OpenAI에서는 다음과 같을 수 있습니다. 채팅/완성그리고 허깅페이스의 경우 이는 빅스타/코드. 각 제공업체별 섹션에서 자세히 알아보세요.
  • 권한 부여이 공급자에게 연락할 때 사용해야 하는 인증 HTTP 헤더의 내용입니다. 일반적으로 "토큰" 또는 "무기명"으로 시작합니다.
  • 쿼리제공자가 공식 API에서 기대하는 페이로드입니다.

작업자 AI

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/workers-ai/

Workers AI에 요청할 때 https://api.cloudflare.com/client/v4/accounts/ACCOUNT_TAG/ai/run 를 현재 사용 중인 URL에 https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/workers-ai.

그런 다음 URL 끝에 실행하려는 모델을 추가합니다. 다음 목록을 볼 수 있습니다. 작업자 AI 모델 를 클릭하고 ID를 선택합니다.

생성해야 합니다. API 토큰외부 링크 열기 Workers AI 읽기 권한으로 요청에 사용하세요.

OpenAI

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/openai

OpenAI에 요청할 때 https://api.openai.com/v1 를 현재 사용 중인 URL에 https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/openai.

허깅페이스

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface

허깅페이스 추론 API를 요청할 때 다음을 대체합니다. https://api-inference.huggingface.co/models/ 를 현재 사용 중인 URL에 https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface. 액세스하려는 모델은 예를 들어 다음과 같이 바로 뒤에 와야 합니다. https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface/bigcode/starcoder.

복제

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/replicate

복제 요청을 할 때 https://api.replicate.com/v1 를 현재 사용 중인 URL에 https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/replicate.

튜토리얼

AI 게이트웨이를 통해 OpenAI에 연결되는 워커 배포하기

​​개요

이 튜토리얼에서는 AI 게이트웨이를 통해 OpenAI를 호출하는 워커를 배포하는 방법을 알아봅니다. AI 게이트웨이는 더 많은 분석, 캐싱, 속도 제한 및 로깅을 통해 AI 애플리케이션을 더 잘 관찰하고 제어할 수 있도록 도와줍니다.

이 튜토리얼에서는 2023년 8월에 업데이트된 최신 v4 OpenAI 노드 라이브러리를 사용합니다.

​​시작하기 전에

모든 튜토리얼은 이미 완료했다고 가정합니다. 시작하기 가이드를 클릭하면 Cloudflare Workers 계정을 설정할 수 있습니다, C3외부 링크 열기및 랭글러.

​​1. AI 게이트웨이 및 OpenAI API 키 만들기

Cloudflare 대시보드의 AI 게이트웨이 페이지에서 오른쪽 상단의 더하기 버튼을 클릭하여 새 AI 게이트웨이를 만듭니다. 게이트웨이와 엔드포인트의 이름을 지정할 수 있어야 합니다. API 엔드포인트 버튼을 클릭하여 엔드포인트를 복사합니다. OpenAI, HuggingFace, Replicate와 같은 공급자별 엔드포인트 중에서 선택할 수 있습니다. 또는 특정 스키마를 허용하고 모델 폴백 및 재시도를 지원하는 유니버설 엔드포인트를 사용할 수도 있습니다.

AI 게이트웨이 온보딩

이 튜토리얼에서는 OpenAI 공급자별 엔드포인트를 사용하므로 드롭다운에서 OpenAI를 선택하고 새 엔드포인트를 복사합니다.

이 튜토리얼을 진행하려면 OpenAI 계정과 API 키도 필요합니다. 계정이 없는 경우 새 OpenAI 계정을 만들고 API 키를 생성하여 이 튜토리얼을 계속 진행하세요. 나중에 사용할 수 있도록 API 키를 안전한 곳에 보관하세요.

변경 로그

​​2023-10-09

  • 로그: 이제 로그는 지난 24시간으로 제한됩니다. 더 많은 로깅이 필요한 사용 사례가 있는 경우, Discord에서 팀에 문의해 주세요.
  • 대시보드: 이제 로그가 자동으로 새로고침됩니다.
  • 문서: 문서 및 대시에서 작업자 AI 예제를 수정했습니다.
  • 캐싱: 이제 임베딩 요청을 캐시할 수 있습니다. 캐시된 요청에는 속도 제한이 적용되지 않습니다.
  • 버그: 다른 제공업체에 대한 동일한 요청이 더 이상 캐시에서 잘못 제공되지 않습니다. 이제 유니버설 엔드포인트를 포함하여 스트리밍이 예상대로 작동합니다.
  • 알려진 문제: 현재 비용 관련 버그가 발생하여 조사 중입니다.
ko_KRKorean