Как обучить ChatGPT на своих документах через API?

Во вторник компания OpenAI объявила о тонкой настройке GPT-3.5 Turbo - модели искусственного интеллекта, на которой основана бесплатная версия ChatGPT, - с помощью своего API. OpenAI утверждает, что в определенных сценариях модель, прошедшая тонкую настройку, может работать так же хорошо, как GPT-4, при меньших затратах.

Под тонкой настройкой в искусственном интеллекте понимается процесс взятия предварительно обученной нейронной сети (например, GPT-3.5 Turbo) и ее дальнейшего обучения на другом наборе данных (например, на ваших пользовательских данных), который обычно меньше и, возможно, связан с конкретной задачей. Этот процесс опирается на знания, полученные моделью на этапе первоначального обучения, и совершенствует ее для конкретного применения.

Так что, по сути, тонкая настройка обучает GPT-3.5 Turbo работе с пользовательским контентом, таким как проектная документация или любая другая письменная ссылка. Это может пригодиться, если вы хотите создать на основе GPT-3.5 ИИ-помощника, который будет хорошо знаком с вашим продуктом или услугой, но не будет иметь о них представления в своих обучающих данных (которые, напомним, были взяты из сети до сентября 2021 года).

"С момента выхода GPT-3.5 Turbo разработчики и компании просили предоставить им возможность настраивать модель для создания уникального и дифференцированного опыта для своих пользователей", - пишет OpenAI в своем рекламном блоге. "С этим запуском разработчики теперь могут выполнять тонкую настройку, чтобы сделать эту модель лучше для своих задач".

Хотя GPT-4, более мощный родственник GPT-3.5, хорошо известен как универсал, адаптирующийся ко многим предметам, он медленнее и дороже в исполнении. OpenAI предлагает тонкую настройку 3.5 как способ получить производительность, подобную GPT-4, в конкретной области знаний при меньших затратах и более быстром времени выполнения. "Ранние тесты показали, что тонко настроенная версия GPT-3.5 Turbo может соответствовать или даже превосходить базовые возможности уровня GPT-4 в некоторых узких задачах", - пишут они.

Кроме того, OpenAI утверждает, что точно настроенные модели обеспечивают "улучшенную управляемость", что означает лучшее следование инструкциям; "надежное форматирование вывода", что улучшает способность модели последовательно выводить текст в формате, например, API-вызовов или JSON; и "пользовательский тон", который может придать чатботу индивидуальный вкус или характер.

OpenAI утверждает, что тонкая настройка позволяет пользователям сократить размер подсказок и сэкономить деньги на вызовах API OpenAI, которые оплачиваются за токен. "Ранние тестеры сократили размер подсказок до 90 % за счет тонкой настройки инструкций в самой модели", - говорит OpenAI. Сейчас длина контекста для тонкой настройки установлена на уровне 4 000 токенов, но OpenAI говорит, что тонкая настройка будет расширена до модели с 16 000 токенов "позже этой осенью".

За использование собственных данных приходится платить

К этому моменту вы уже, наверное, задаетесь вопросом, как использовать собственные данные для обучения GPT-3.5 и сколько это стоит. В своем блоге OpenAI описывает упрощенный процесс, который показывает настройку системной подсказки с API, загрузку файлов в OpenAI для обучения и создание задания тонкой настройки с помощью инструмента командной строки curl для запроса веб-адреса API. По завершении процесса тонкой настройки, по словам OpenAI, настроенная модель сразу же становится доступной для использования с теми же ограничениями по тарифам, что и базовая модель. Более подробную информацию можно найти в официальной документации OpenAI.

Разумеется, за все это приходится платить, и цена делится на стоимость обучения и стоимость использования. Обучение GPT-3.5 стоит 0,008 доллара за 1 000 токенов. На этапе использования доступ к API стоит 0,012 доллара за 1 000 токенов для ввода текста и 0,016 доллара за 1 000 токенов для вывода текста.

Для сравнения, базовая 4k модель GPT-3.5 Turbo стоит $0,0015 за 1 000 токенов на входе и $0,002 за 1 000 токенов на выходе, так что тонкая настройка модели обходится примерно в восемь раз дороже. И хотя модель GPT-4 с 8K контекстом также дешевле - 0,03 доллара за 1000 токенов на входе и 0,06 доллара за 1000 токенов на выходе, OpenAI все равно утверждает, что деньги можно сэкономить за счет снижения потребности в подсказках в модели с точной настройкой. Это натяжка, но в узких случаях она может быть применима.

Даже если обучение GPT-3.5 работе с пользовательскими документами обойдется недешево, это может оказаться полезным для некоторых людей - если вы сможете удержать модель от выдумывания всякой ерунды. Настраивать документы - это одно, а доверять точности и надежности результатов GPT-3.5 Turbo в производственной среде - совсем другое дело. GPT-3.5 хорошо известен своей склонностью к искажению информации.

Что касается конфиденциальности данных, OpenAI отмечает, что, как и все ее API, данные, отправленные в API тонкой настройки, не используются OpenAI (или кем-либо еще) для обучения моделей ИИ. Интересно, что OpenAI будет отправлять все тренировочные данные клиентов для тонкой настройки через GPT-4 для целей модерации, используя свой недавно анонсированный API для модерации. Это может объяснить некоторую стоимость использования сервиса тонкой настройки.

А если 3.5 вам недостаточно, OpenAI утверждает, что тонкая настройка для GPT-4 произойдет этой осенью. Судя по нашему опыту, GPT-4 не так сильно выдает ошибки, но тонкая настройка этой модели (или 8 моделей, которые, по слухам, будут работать вместе под капотом), скорее всего, будет стоить гораздо дороже.