Что такое Cloudflare?

• Обзор Cloudflare

Используйте глобальную сеть Cloudflare для создания лучших вспомогательных и генеративных приложений ИИ.

С помощью продуктов Cloudflare для искусственного интеллекта вы можете создавать полнофункциональные приложения на базе искусственного интеллекта или выполнять быстрые задачи вывода с низкой задержкой на предварительно обученных моделях машинного обучения с помощью Cloudflare Workers. Вы также можете просматривать и управлять своими приложениями ИИ или использовать WebGPU в Durable Objects.、.

Наблюдайте и контролируйте приложения с искусственным интеллектом.

Шлюз AI Gateway от Cloudflare позволяет вам получить видимость и контроль над вашими приложениями с искусственным интеллектом. Подключив свои приложения к AI Gateway, вы сможете получать информацию о том, как люди используют ваше приложение, с помощью аналитики и ведения журнала, а также контролировать масштабирование приложения с помощью таких функций, как кэширование, ограничение скорости, а также повторные запросы, откат модели и многое другое. А еще лучше - для начала работы потребуется всего одна строчка кода.

Ключевые особенности включают:

• Аналитика: Просматривайте такие показатели, как количество запросов, токенов и стоимость выполнения приложения.
• Ведение журнала: Получите информацию о запросах и ошибках
• Кэширование: Выполняйте запросы непосредственно из кэша Cloudflare вместо поставщика исходной модели для ускорения запросов и экономии средств.
• Ограничение скорости: Контролируйте масштабирование приложения, ограничивая количество получаемых им запросов.
• Запросите повторную попытку и обратный ход: Повысьте отказоустойчивость, определив повторные запросы и откат модели в случае ошибки
• Поддержка ваших любимых провайдеров: Workers AI, OpenAI, HuggingFace, Replicate - все они работают с AI Gateway (еще больше).
• Ответные потоки : AI Gateway поддерживает потоковую передачу ответов

Проверьте Руководство по началу работы чтобы узнать, как настроить приложения с помощью AI Gateway.

Создание первого шлюза искусственного интеллекта

В этом руководстве вы узнаете, как создать свой первый шлюз AI. Вы можете создать несколько шлюзов для управления различными приложениями.

Чтобы настроить шлюз AI, вам потребуется:

1. Создайте Учетная запись CloudflareОткрыть внешнюю ссылку
2. Перейдите в раздел Шлюз искусственного интеллектаОткрыть внешнюю ссылку на приборной панели, в меню AI
3. Создайте новый шлюз AI и введите имя шлюза и URL-слог.

Подключение приложения

В этом руководстве вы узнаете, как подключить приложение к шлюзу AI. Для этого вам потребуется создать шлюз искусственного интеллекта чтобы продолжить работу с этим руководством.

После настройки шлюза на приборной панели AI Gateway нажмите на "Конечные точки API", чтобы найти конечную точку AI Gateway. AI Gateway предлагает несколько конечных точек для каждого созданного вами шлюза - по одной для каждого провайдера и одну универсальную конечную точку.

Наблюдение и контроль

Теперь, когда ваше приложение подключено к шлюзу AI Gateway, вы должны видеть запросы, поступающие через ваш Панель Cloudflare Dashboard - шлюз AIОткрыть внешнюю ссылку. В этом руководстве показано, какие данные вы можете ожидать увидеть и какие параметры следует настроить для лучшего контроля.

---

​​Аналитика

На первой странице приборной панели AI Gateway вы увидите метрики запросов, токенов, кэширования, ошибок и затрат. Вы можете отфильтровать эти показатели по времени и типу провайдера.

Метрика стоимости - это оценка, основанная на количестве отправленных и полученных токенов в запросах. В настоящее время мы рассчитываем стоимость только для OpenAI GPT. Если вы передаете ответы в потоковом режиме, мы используем пакет tokenizer для оценки количества используемых токенов, чтобы рассчитать стоимость. Метрика стоимости является полезной оценкой для анализа и прогнозирования тенденций стоимости, но вы всегда должны обратитесь к приборной панели вашего поставщика, чтобы узнать точное количество затрат.

Поддерживаемые поставщики услуг

• Универсальная конечная точка
• Рабочие ИИ
• OpenAI
• HuggingFace
• Репликация

Универсальная конечная точка

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY

AI Gateway предлагает несколько конечных точек для каждого создаваемого шлюза - по одной конечной точке для каждого провайдера и одну универсальную конечную точку. Универсальная конечная точка требует некоторой корректировки схемы, но поддерживает дополнительные возможности. Некоторые из этих возможностей включают, например, повторную попытку запроса, если он не удался с первого раза, или настройку резервной модели/провайдера при неудачном запросе.

Вы можете использовать конечную точку Universal для связи с каждым провайдером. В качестве полезной нагрузки ожидается массив сообщений, а каждое сообщение представляет собой объект со следующими параметрами:

• поставщик : имя провайдера, которому вы хотите направить это сообщение. Может быть openai/huggingface/replicate
• конечная точка: имя пути к API провайдера, к которому вы пытаетесь обратиться. Например, для OpenAI это может быть чат/завершения, а для HuggingFace это может быть bigstar/code. Подробнее в разделах, посвященных каждому поставщику.
• авторизация: содержимое авторизационного HTTP-заголовка, который должен использоваться при обращении к этому провайдеру. Обычно он начинается с "Token" или "Bearer".
• запрос: полезная нагрузка в том виде, в каком ее ожидает провайдер в своем официальном API.

Рабочие ИИ

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/workers-ai/

При составлении запросов к рабочему ИИ замените https://api.cloudflare.com/client/v4/accounts/ACCOUNT_TAG/ai/run в URL, который вы сейчас используете, с помощью https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/workers-ai.

Затем добавьте в конец URL-адреса модель, которую вы хотите запустить. Вы можете увидеть список Рабочие модели искусственного интеллекта и выберите идентификатор.

Вам нужно будет создать API-токенОткрыть внешнюю ссылку с доступом Workers AI read и используйте его в своем запросе.

OpenAI

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/openai

При отправке запросов в OpenAI замените https://api.openai.com/v1 в URL, который вы сейчас используете, с помощью https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/openai.

HuggingFace

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface

При выполнении запросов к HuggingFace Inference API замените https://api-inference.huggingface.co/models/ в URL, который вы сейчас используете, с помощью https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface. Обратите внимание, что модель, к которой вы пытаетесь получить доступ, должна идти сразу после, например https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/huggingface/bigcode/starcoder.

Репликация

https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/replicate

При выполнении запросов к Replicate замените https://api.replicate.com/v1 в URL, который вы сейчас используете, с помощью https://gateway.ai.cloudflare.com/v1/ACCOUNT_TAG/GATEWAY/replicate.

Учебники

• Развертывание рабочего устройства, которое подключается к OpenAI через шлюз AI Gateway

Развертывание рабочего устройства, которое подключается к OpenAI через шлюз AI Gateway

​​Обзор

В этом руководстве вы узнаете, как развернуть Worker, который обращается к OpenAI через AI Gateway. AI Gateway помогает вам лучше наблюдать и контролировать ваши приложения искусственного интеллекта благодаря аналитике, кэшированию, ограничению скорости и ведению журнала.

В этом руководстве используется самая последняя библиотека узлов OpenAI v4, обновление, выпущенное в августе 2023 года.

​​Прежде чем начать

Все учебные пособия предполагают, что вы уже прошли Руководство по началу работыЭто позволит вам получить учетную запись Cloudflare Workers, C3Открыть внешнюю ссылку, и Wrangler.

​​1. Создайте шлюз искусственного интеллекта и ключ API OpenAI

На странице AI Gateway в панели Cloudflare создайте новый AI Gateway, нажав кнопку с плюсом в правом верхнем углу. Вы должны иметь возможность дать имя шлюзу, а также конечной точке. Нажмите на кнопку API Endpoints, чтобы скопировать конечную точку. Вы можете выбрать одну из конечных точек для конкретного провайдера, например OpenAI, HuggingFace и Replicate. Или можно использовать универсальную конечную точку, которая принимает определенную схему и поддерживает возврат модели и повторные попытки.

В этом руководстве мы будем использовать конечную точку, специфичную для провайдера OpenAI, поэтому выберите OpenAI в выпадающем списке и скопируйте новую конечную точку.

Для этого урока вам также понадобится учетная запись OpenAI и ключ API. Если у вас их нет, создайте новый аккаунт OpenAI и создайте API-ключ, чтобы продолжить работу над этим уроком. Обязательно сохраните свой API-ключ в безопасном месте, чтобы использовать его позже.

Changelog

​​2023-10-09

• Журналы: Журналы теперь будут ограничены последними 24 часами. Если у вас есть сценарий использования, который требует большего количества логов, пожалуйста, свяжитесь с командой в Discord.
• Приборная панель: Журналы теперь обновляются автоматически.
• Docs: Исправлен пример ИИ рабочих в документации и тире.
• Кэширование: Запросы на встраивание теперь можно кэшировать. Ограничение скорости не будет применяться для кэшированных запросов.
• Жучки: Одинаковые запросы к разным провайдерам больше не будут ошибочно обслуживаться из кэша. Потоковая передача теперь работает как ожидалось, в том числе для конечной точки Universal.
• Известные проблемы: В настоящее время существует ошибка с затратами, которую мы исследуем.