Как Monster API использует генеративный ИИ?

Стартап под названием Monster API, официально известный как Generative Cloud Inc., разработал агент на базе GPT, который упрощает и ускоряет тонкую настройку и развертывание генеративных моделей искусственного интеллекта с открытым исходным кодом.

По словам компании, MonsterGPT позволяет сократить время на тонкую настройку и внедрение приложений генеративного ИИ на основе открытых моделей, таких как Llama 3 и Mistral, всего до 10 минут.

Модели генеративного ИИ с открытым исходным кодом, такие как Llama 3, стали невероятно популярны среди компаний, ищущих альтернативу дорогим проприетарным моделям, созданным OpenAI и Google LLC. Однако процесс создания такого приложения, как разговорный ассистент, все еще чрезвычайно сложен.

Например, если компания хочет создать бота для обслуживания клиентов, способного решать типичные проблемы, используемая модель с открытым исходным кодом должна быть доработана на основе собственных данных и баз знаний компании, чтобы она могла узнать о различных продуктах, услугах и политиках, необходимых для обоснования своих ответов.

Сделать это не так просто, и этим занимаются исключительно разработчики и специалисты по анализу данных, которые должны настроить до 30 переменных. Это требует как знания сложных фреймворков для оптимизации ИИ, так и понимания базовой инфраструктуры, такой как облачные шаги на базе графических процессоров, контейнеризация и Kubernetes.

По словам Monster API, тонкая настройка моделей искусственного интеллекта часто становится для компаний серьезной задачей, требующей привлечения до 10 инженеров-специалистов и десятков часов работы. И это при условии, что в компании действительно есть сотрудники с необходимыми навыками. Многие из них таковыми не обладают.

Использование генеративного ИИ для создания генеративного ИИ

Именно этот процесс пытается решить Monster API. И он решил, что для того, чтобы помочь в тонкой настройке и адаптации моделей генеративного ИИ, лучше всего обратиться к самому генеративному ИИ. Используя его API, разработчики могут просто произнести команду вроде "fine tune Llama 3", и Monster API приступит к работе.

"Впервые мы предлагаем решение, основанное на агентном подходе, для генеративного ИИ", - рассказал исполнительный директор Monster API Саурабх Видж. "Простота и скорость этого процесса подобны полету на сверхзвуковом самолете со скоростью 4 Маха из Нью-Йорка в Лондон за 90 минут. В конце этого молниеносного процесса MonsterGPT предоставляет разработчикам конечную точку API для их пользовательских точно настроенных моделей".

По сравнению с традиционной разработкой ИИ, Monster API позволяет использовать подход, более ориентированный на конкретные случаи, когда пользователь может просто указать задачу, которую он хочет решить с помощью модели, например, анализ настроения или генерация кода, и она создаст наиболее оптимальную модель для выполнения этой задачи.

По мнению Виджа, это предложение вызовет большой интерес, поскольку большинство небольших команд, стартапов и инди-разработчиков не особенно хорошо разбираются в искусстве тонкой настройки и развертывания моделей ИИ. "Большинство разработчиков не разбираются в тонкостях работы различных моделей и архитектур, у них нет опыта работы со сложной облачной и GPU-инфраструктурой", - говорит он.

По словам Виджа, он представляет себе мир будущего, в котором практически каждый сможет стать программистом. Для этого им не понадобятся никакие знания в области программирования, поскольку они смогут просто приказать генеративному ИИ создать код для них, используя их естественный язык. "Все наши исследования и разработки направлены на то, чтобы быстрее продвигаться к этому будущему", - добавил он.

ИИ с открытым исходным кодом и закрытым исходным кодом

Компания Monster API считает, что ее подход к разработке генеративного ИИ на основе API отражает исторические достижения в области технологий, такие как первый компьютер Macintosh, который ввел концепцию персональных компьютеров в 1980-х годах, и Mosaic, первый простой в использовании веб-браузер, который демократизировал интернет, сделав его доступным для всех.

Компания хочет таким же образом демократизировать доступ к разработке генеративного ИИ, а для этого необходимо сосредоточиться на моделях с открытым исходным кодом, а не на их альтернативах с закрытым исходным кодом.

По словам Виджа, соперничество между ИИ с открытым и закрытым исходным кодом имеет свой исторический прецедент в виде битвы за доминирование в мобильной сфере, развернувшейся между Apple Inc. и Google LLC с открытым исходным кодом Android в прошлом десятилетии. "Подобно тому как Android предлагает гибкую альтернативу жестко контролируемой экосистеме Apple, предпринимаются согласованные усилия по совершенствованию моделей ИИ с открытым исходным кодом в качестве конкурента проприетарным гигантам вроде OpenAI GPT-4, - сказал он.

Видж считает, что Monster API поможет делу ИИ с открытым исходным кодом, поскольку значительно упростит создание приложений ИИ для неквалифицированных специалистов. По его словам, такие пользователи почти наверняка предпочтут модели с открытым исходным кодом, а не проприетарные альтернативы, поскольку проприетарные версии, такие как GPT-4, как правило, являются скорее обобщенными, чем специализированными.

Он объяснил, что большинству предприятий требуются модели ИИ, ориентированные на конкретную область, а это значит, что базовую модель необходимо дорабатывать. Но процесс тонкой настройки моделей с закрытым исходным кодом часто ограничивается лишь несколькими техниками, предлагаемыми самим поставщиком, и это может быть очень дорого, сказал он.

"В мире открытых исходных кодов разработчики получают возможность попробовать множество фреймворков - от Q-LORA до DPO", - добавил Видж. "Они могут экспериментировать с различными методами и выбирать наиболее подходящий для их случая использования и бюджета".

Агент Monster API, как утверждается, использует мощные фреймворки ИИ, такие как Q-LORA для тонкой настройки и vLLM для развертывания настраиваемых моделей. Он предоставляет простой, унифицированный интерфейс, который охватывает весь жизненный цикл разработки, от первоначальной тонкой настройки до развертывания. "MonsterGPT позволяет сократить время и облегчить запуск экспериментов по тонкой настройке и развертывании", - говорит Видж. "Пользователи также получают больше возможностей для выбора алгоритмов оптимизации, которые они могут использовать для значительного повышения пропускной способности и задержки".

Еще одно преимущество MonsterGPT заключается в том, что пользователям не нужно разбираться во множестве возможных настроек облачной инфраструктуры, ресурсов GPU и конфигураций. Система автоматически подберет наиболее подходящую инфраструктуру, исходя из бюджета и целей пользователя.

Видж пообещал, что это будет особенно полезно, потому что для многих случаев использования и приложений более мелкой, тонко настроенной модели будет более чем достаточно. Например, если компания использует самую мощную модель OpenAI, GPT-4 Turbo, для простого чатбота для обслуживания клиентов, это, скорее всего, будет излишеством, поскольку ее возможности значительно превышают возможности такого рода приложений. Использование более компактной модели, оптимизированной для этого приложения, позволит компаниям значительно снизить затраты.

"Маленькие модели могут поместиться в более компактные и доступные товарные GPU", - пояснил Видж, добавив, что это еще одно преимущество открытого исходного кода. "С закрытыми моделями разработчики не могут ничего сделать - они вынуждены использовать гораздо более крупные и обобщенные модели".

Хольгер Мюллер из компании Constellation Research Inc. сказал, что впечатлен концепцией MonsterGPT, которая представляет собой значительный прогресс в рекурсивном использовании генеративного ИИ. "Подобно тому, как мы уже используем роботов для создания новых роботов, теперь мы используем программное обеспечение ИИ для написания большего количества программного обеспечения ИИ", - сказал он.

Аналитик отметил, что важно, чтобы люди оставались в курсе дела, когда речь идет о таких случаях использования, поскольку необходим определенный надзор. Однако, по его словам, технология чрезвычайно перспективна с точки зрения способности снизить барьер для входа в разработку генеративного ИИ.

"Monster API призван помочь любому, кто умеет говорить и проверять модели ИИ, успешно построить и развернуть их, не обладая специальными навыками", - пояснил Мюллер. "Как и в случае с любой новой технологией, а особенно с ИИ, нам нужно проявлять здоровый скептицизм, пока мы не увидим рабочие варианты использования в производстве. Но пока Monster API заслуживает похвалы за свои усилия по демократизации разработки ИИ и изменению будущего работы для разработчиков и бизнес-пользователей, не имеющих опыта работы с ИИ".

На момент запуска Monster API поддерживает более 30 популярных открытых LLM, включая Llama 3 от Meta Platforms Inc, Mistral Mistral-7B-Instruct-v0.2, microsoft/phi-2 от Microsoft Corp и sdxl-base от Stability AI Ltd.