Новый генератор SD3 от Stability AI теперь доступен через API?

Центр искусства, моды и развлечений Decrypt.

Компания Stability AI только что открыла для разработчиков программного обеспечения SD3, четвертую итерацию популярного генератора текстов и изображений Stable Diffusion. Анонс интерфейса прикладного программирования (API) SD3 состоялся после первоначального представления модели в феврале 2024 года, которое ознаменовало значительный скачок в создании изображений, генерируемых искусственным интеллектом.

SD3 является преемником SDXL, продолжая линию, включающую очень популярную SD 1.5 и очень непопулярную SD 2. В отличие от предшественников, пользователи SD3 не могут загружать веса для локального запуска моделей или их точной настройки.

Новая модель представляет собой изменение в подходе Stability AI - по крайней мере, на момент запуска. Однако компания заявила, что исходный материал может быть доступен позже.

"В соответствии с нашим стремлением к открытости генеративного ИИ мы намерены в ближайшем будущем сделать модель весов доступной для самостоятельного хостинга с членством в Stability AI", - говорится в заявлении компании, опубликованном ранее сегодня.

Stability AI анонсировала свою программу членства задолго до SD3. Некоммерческое использование доступно, но пользователи, желающие получить прибыль от модели, должны заплатить $20 - при условии, что их годовой доход не превышает $1 млн. Для тех, кто зарабатывает больше, доступна корпоративная версия с индивидуальным ценообразованием.

Способ SD3

Архитектура SD3 построена на основе диффузионного трансформатора, использующего два отдельных набора весов для генерации текста и изображений. Такой подход позволяет обоим сегментам работать в своем собственном пространстве, учитывая при этом другой, что приводит к улучшению генерации изображений.

Модернизация Stability AI повышает его конкурентоспособность по сравнению с MidJourney и Dall-E 3, а то и с нынешней звездой индустрии Ideogram. Реальный потенциал SD3 будет раскрыт, когда сообщество сможет доработать и адаптировать его к различным потребностям - например, к манге, гиперреализму и кинематографическим стилям.

То, что Stability все больше склоняется к модели сообщества, также является сдвигом в подходе, обеспечивающим дополнительный поток доходов. Пока неясно, будет ли SD3 доступен для некоммерческих пользователей. Компания не ответила на просьбу о комментарии.

Компания Stability AI отдельно выпустила альтернативные модели генераторов изображений ИИ, такие как Stable Cascade (основанный на архитектуре Wurschten) и Deepfloyd IF, а также версии, адаптированные для быстрого рендеринга, такие как Turbo и LCM модели.

Как запустить SD3 через API

Испытав новую модель на прочность пришли как минимум к одному определенному выводу: Ее сложно использовать любому человеку, не обладающему хотя бы небольшими знаниями в области кодирования. Кроме того, учебники по Stability AI просто отстой.

Поэтому мы приводим упрощенные инструкции, предоставленные DKRacingFan с сервера MattVidPro AI Discord, который помог нам понять, что мы делаем.

Прежде всего, следует отметить, что для работы SD3 через API требуются кредиты API, то есть вам придется заплатить. Однако вы получите бесплатные кредиты, если подпишетесь на членские программы Stability.

Для начала перейдите на сайт https://platform.stability.ai и войдите в систему под своей учетной записью Google или зарегистрируйтесь, если вы новый пользователь. Затем перейдите на сайт https://dreamstudio.ai и создайте аккаунт, используя ту же электронную почту. После этого на вашем счету появятся бесплатные кредиты, которые вы сможете приобрести.

Затем перейдите на сайт https://platform.stability.ai/account/keys и скопируйте ваши API-ключи. Вам не нужно их просматривать, просто нажмите кнопку копирования. Помните, что, как и в случае с начальными фразами криптовалют, никогда не сообщайте свои API-ключи, иначе ваши кредиты могут быть списаны - или ваш аккаунт может быть использован для выполнения запрещенных функций.

Далее вам нужно будет установить Python. Это может занять несколько минут.

После установки Python откройте командную строку (найдите "cmd" в строке поиска Windows) и введите следующую команду:

 pip install requests 

Далее вам нужно будет установить Microsoft Visual Studio 2022, если она не установлена на вашем компьютере по умолчанию.

После этого скопируйте и вставьте в "Блокнот", Google Docs или любой другой текстовый процессор следующий текст, чтобы создать текстовый файл:

	import requests response = requests.post( f "https://api.stability.ai/v2beta/stable-image/generate/sd3", headers={
	"authorization": f "PUT YOUR API KEYS HERE", "accept": "image/*" }, files={ "none": ''}, data={"prompt": "YOUR
	PROMPT HERE", "model": "sd3", "aspect_ratio": "16:9" }, ) if response.status_code == 200: with
	open("./SD3Output.jpeg", 'wb') as file: file.write(response.content) else: raise Exception(str(response.json()))

Теперь извлеките сохраненные ранее ключи API и вставьте их в текстовый файл, где написано "PUT YOUR API KEYS HERE".

Затем выделите весь текст в файле и скопируйте его. Откройте Visual Studio и начните новый проект Python, перейдя в File -> New -> Project -> Python App. Вставьте скопированный текст в левое пустое поле.

Замените текст "YOUR PROMPT HERE" на то, что вы хотите сгенерировать. Затем нажмите на маленькую кнопку "Play" в меню, чтобы выполнить код (или нажмите Ctrl+F5).

Появится новое командное окно. Подождите, пока она не покажет, что вы можете щелкнуть в любом месте, чтобы выйти. После этого образ будет сгенерирован и появится в том месте, куда вы установили новый проект. По умолчанию это:

C:\Users\YOURUSERNAME\source\repos\PythonApplication1\PythonApplication1

Вот и все! Возьмите салфетку и вытрите слезы! Повторите эти шаги с новыми подсказками, чтобы создать больше изображений. Счастливого творчества!