Как подключить GPT-3 к чат-боту

Доступно на платном тарифе

В SendPulse вы можете подключить GPT-3 к вашему чат-боту, чтобы давать пользователям еще более продвинутые, автоматизированные ответы и помогать им решать различные дополнительные задачи.

Рассмотрим, как создать аккаунт в OpenAI, подключить его к вашему чат-боту, какие бывают модели и как можно натренировать ответы бота под ваши задачи.

Знакомство с OpenAI

GPT-3 (Generative Pre-trained Transformer) — это третье поколение модели от компании OpenAI, крупномасштабная нейронная сеть, которую можно использовать для генерации текста и кода.

Всего выпущено четыре основные модели, которые могут реализовывать различные задачи: анализировать тексты разной сложности и выдавать ответы, оптимизировать текст под SEO или SMM задачи, категоризировать текст в таблицы, помогать с мозговым штурмом, редактировать и переводить тексты, работать с кодом и математическими задачами, поддерживать диалог на любые или заданные темы.

Для настройки GPT-3 под ваши задачи через бот, нужно выбрать модель и добавить указания — к примеру, вы можете добавить тон ответов, ограничить список вопросов или тем, дать дополнительную информацию или пример, в каком виде желаете получать ответ.

Создайте аккаунт

Перейдите на страницу «OpenAI» и создайте аккаунт. Для этого нажмите «Sign-up», введите email адрес и нажмите «Continue» или продолжите с аккаунтом в Google или Microsoft.

Если вводили адрес, в следующем окне введите пароль. Вам на почту придет подтверждающее письмо. Нажмите в письме на кнопку «Verify» и после перехода на страницу, введите данные о себе: имя и название организации.

Введите номер, на который придет подтверждающее SMS. Введите код и войдите в аккаунт.

При вводе номера обратите внимание, что OpenAI доступен не во всех странах. Вы можете ознакомиться со списком поддерживаемых стран по ссылке Supported countries and territories.

Скопируйте API ключ

В правом верхнем углу нажмите на аватар и выберите «Manage account».

Перейдите во вкладку «API Keys», нажмите «Create new secret Key» и скопируйте ключ.

Вам нужно сохранить ключ на своем устройстве, так как при повторном входе вы не сможете скопировать ключ. Если вы его потеряете, вам нужно будет сгенерировать новый ключ.

Подключение интеграции

Вставьте API ключ

Выберите бота и перейдите в «Настройки бота» во вкладку «Интеграции». Напротив «OpenAI» нажмите «Подключить».

Вставьте скопированный ключ.

Выберите модель

Выберите, какую модель AI использовать для генерации ответов.

Модель Описание модели Рекомендованная область использования
Davinci Самая точная и дорогая модель, но более медленная, так как работает с большим объемом данных. Может выполнять задачи всех других моделей, но требует меньше указаний в «Инструкция для бота».

Чаще используется для задач, где нужно более глубоко анализировать и понимать контекст и генерировать более сложный текст или код. Также используется для решения логических задач и объяснения причин.

Сложные задачи, анализ причин и следствий, написание выводов, объяснение и генерация кода
Curie Может анализировать текст, отвечать на прямые вопросы и предоставлять ключевые слова.

Чаще всего используют для Q&A и в чат-ботах. К примеру, в поле «Инструкция для бота» вы можете ввести свои вопросы и ответы, которые бот будет выдавать.

Перевод текста, комплексная классификация, тональность текста, написание выводов
Babbage Хорошо улавливает очевидные закономерности в тексте, а затем использует их в качестве эталона для создания текста.

Может ранжировать информацию и присваивать категории. Для творческих приложений может понимать структуру в достаточной степени, чтобы создавать простые сюжеты и заголовки.

Умеренная классификация, классификация семантического поиска
Ada Самая быстрая и дешевая модель. Используется чаще в случаях, когда от ответов нужно больше скорости выдачи и объема информации, чем ее точности. Парсинг текста, простая классификация, коррекция адреса, извлечение ключевых слов

Вы можете посмотреть примеры использования модели в разделе «Examples» и «OpenAI Cookbook», а также поэкспериментировать в «Playground».

Добавьте инструкцию для бота

Модели GPT-3 могут выполнять различные задачи — от сложного анализа текста до генерации ответа на неограниченный список тем. Чтобы ограничить область ответов бота, придать тональность разговора, а также добавить информацию о своей компании, вам нужно добавить указания для бота.

В документации OpenAІ приводятся следующие рекомендации для настройки инструкции:

  1. Дайте понять, чего вы хотите, с помощью примеров. К примеру, если вам нужно, чтобы модель ранжировала список элементов в алфавитном порядке или классифицировала абзац по настроению, покажите пример запроса и ожидаемый формат результата. Если вам нужно, чтобы бот на вопросы отвечал определенным образом — приведите пример вопроса и ответа.
  2. Предоставляйте качественные и максимально точные данные. Проверьте свои примеры — модель обычно достаточно умна, чтобы увидеть основные орфографические ошибки и дать ответ, но она также может предположить, что это сделано намеренно, и это может повлиять на ответ. Если вам нужно, чтобы модель ответила на определенный язык — укажите этот язык прямо. Так же рекомендуется использовать слова вместо цифр. Помните, что AI понимает все указания буквально.

Читайте подробнее: раздел «Prompt design» и «Prompt Optimization». Также обратите внимание, что у OpenAI есть правила модерации ответов — читайте подробнее в разделах «Usage policies» и «Moderation».

Вы можете протестировать различные модели под разные инструкции бота на странице «Prompt Compare».

В поле «Инструкция для бота» добавьте указания в свободной форме следуя рекомендациям.

AI анализирует текст на всех языках и может отвечать на языке, который вы указали, но лучше всего он взаимодействует с английским. Если вы не указываете язык, по умолчанию будет отвечать на английском.

Если возникнут вопросы по нахождению лучшего описания для инструкции бота или по возможным сценариям реализации, вы можете обратиться в открытое сообщество OpenAI.

Добавьте количество токенов

Токен — часть слова, которая используется для обработки естественного языка. Для английского текста 1 токен это примерно 4 символа или 0,75 слова.

При каждом запросе при подсчете токенов учитываются количество слов в следующих местах:

  • из поля «Инструкция для бота»;
  • из последних сообщений в переписке с ботом;
  • из текущего запроса, который пользователь введет боту;
  • из текущего ответа, который бот выдаст пользователю.

При первой регистрации, OpenAI дает $18 долларов на 3 месяца. Из этой суммы будет сниматься плата за использование токенов. Тарифы за токены различаются, зависимо от используемой модели. К примеру, использование модели Davinchi в обычной среде стоит $0.1200 за тысячу токенов, а использование модели Ada в тестовой среде — $0.0004.

Читайте подробнее про токены в статье«What are tokens and how to count them» и про тарифы в разделе «Pricing».

В поле «Максимальное количество токенов в ответе» укажите число. Для модели Davinci вы можете указать до 2,048 токенов, для всех остальных — до 1024.

Нажмите «Сохранить» и можете переходить к тестированию бота.

Чтобы посмотреть, сколько токенов у вас осталось, перейдите в ваш аккаунт в OpenAI во вкладку «Usage».

Чтобы просмотреть историю использования токенов, прокрутите страницу ниже до секции «Daily usage breakdown (UTC)». Вы можете посмотреть всю историю или отобразить результаты за определенную дату или сотрудника.

Особенности использования

При подключении интеграции с OpenAI в чат-боте отключается цепочка «Стандартный ответ». Поэтому вам нужно дополнительно позаботиться о том, чтобы пользователь знал, что бот может ему ответить. К примеру, добавьте информацию о правилах общения с ботом в приветственной или триггерной цепочке, которую добавите в меню.

При использовании OpenAI в чат-ботах обратите внимание, что AI использует внутреннюю библиотеку информации — он обрабатывает запрос клиента и выдает результат прямо в диалоге с клиентом.

У AI нет долгой памяти: при обработке запроса учитываются только три последние сообщения от пользователя. Рекомендуем просматривать диалоги с клиентами в чатах, чтобы корректировать указания для бота.

AI не интегрируется с дополнительными приложениями и не обрабатывает данные клиента в аудитории бота. Для этих функций добавьте меню или создайте команды для запуска цепочек, где добавите блоки «Запрос API», «User input» и «Действие».

Примеры использования

Рассмотрим различные примеры, которые могут быть применимы к боту. Вы можете посмотреть больше примеров на странице «Examples».

Q&A под бизнес

К примеру, если у вас бот для большого сервиса и вы собрали базу часто задаваемых вопросов и ответов, вы можете научить бота отвечать и бот при запросе будет выдавать ответы.

Для первого примера использовалась модель «Davinci» с количеством токенов 1024. В поле «Инструкция для бота» добавили информацию о компании — чем она занимается и контактные данные. Бот уже на основе полученных данных сможет развивать диалог.

Для второго примера использовалась модель «Curie» с количеством токенов 1024. В поле «Инструкция для бота» добавили основные вопросы и ответы на них. Пользователю необязательно спрашивать точно такие же вопросы, но AI будет знать о вашем бизнесе больше, чтобы отвечать естественным языком.

Q&A под энциклопедию

К примеру, у вас бот имеет развлекательно-информационный характер. Ему не нужно отвечать на специфические вопросы, а просто выдавать факты по истории или естествознанию, или любой другой темы из интернета.

Для примера использовалась модель «Curie» с количеством токенов 700. В поле «Инструкция для бота» добавили информацию только на каком языке отвечать и как зовут бота. Без указания, что бот может отвечать, бот будет отвечать о различных фактах.

Решение жизненных вопросов

К примеру, если у вас бот помощи, пользователь может описать свою ситуацию, а потом спросить совета, что ему делать в этом случае.

Для примера использовалась модель «Curie» с количеством токенов 700. В поле «Инструкция для бота» добавлялась информация только для жизненно важных вопросов; если определенная ситуация случилась, нужно обратиться по следующему адресу.

Решение задач

К примеру, если у вас бот для помощи школьникам, пользователь может добавить свою задачу и указать, что нужно решить.

Для примера использовалась модель «Davinci» с количеством токенов 700. В поле «Инструкция для бота» добавили ограничение не отвечать на вопросы, которые не касаются математических задач.

Оптимизация текста

К примеру, если у вас сервис по услугам SMM или SEO, бот поможет выбрать ключевые слова или оптимизировать и исправить введенный текст.

Для примера использовалась модель «Ada» с количеством токенов 1024. В поле «Инструкция для бота» добавили информацию, что боту нужно будет оптимизировать текст и искать ключевые слова. Если пользователь не введет команду, то бот напомнит, как с ним работать.

Расшифровка кода

К примеру, если у вас сервис по обучению программированию, бот поможет расшифровать куски кода или ошибки и рассказать, за что отвечает определенный элемент или функция. Также вы можете на естественном языке попросить сгенерировать код.

Для примера использовалась модель «Davinchi» с количеством токенов 2048. В поле «Инструкция для бота» добавили информацию, что боту нужно будет расшифровывать код и давать пояснения по частям кода. Также добавили тональность боту, чтобы он отвечал в саркастичной манере и очень простыми словами.

Генерация текста

К примеру, если у вас креативное маркетинговое агентство, вы можете предложить услугу по подбору текста для рекламной кампании или придумать название марки и так далее.

Для примера использовалась модель «Ada» с количеством токенов 1024. В поле «Инструкция для бота» добавили информацию, что его зовут определенным образом, он работает в маркетинговой фирме и помогает клиентам составлять рекламные слоганы и писать планы.

Оцените, насколько полезна статья "Как подключить GPT-3 к чат-боту"

Оценка: 5 / 5

    Популярное в нашем блоге

    Попробуйте бесплатный бот для рассылок в Facebook Messenger