Как выглядят новые модели изображений Stable Diffusion 3 AI?

Модели Stable Diffusion 3 и Stable Diffusion 3 Turbo были представлены на предварительном просмотре в феврале. Теперь Stability AI наконец-то делает модели преобразования текста в изображения с помощью искусственного интеллекта (ИИ) доступными для некоторых пользователей. Компания предоставит разработчикам доступ к моделям искусственного интеллекта через API Stability AI Developer Platform. Компания сотрудничает с API-платформой Fireworks AI, чтобы предоставить модели общественности. Примечательно, что ИИ-модели нового поколения, созданные компанией, обладают улучшенными возможностями понимания и написания текста.

Stability AI объявила об ограниченной доступности моделей ИИ в своем новостном блоке и заявила: "Как показано в исследовательском документе Stable Diffusion 3, эта модель равна или превосходит самые современные системы генерации текста в изображение, такие как DALL-E 3 и Midjourney v6, по типографике и соблюдению сроков, основываясь на оценке предпочтений людей".

Новые модели преобразования текста в изображение имеют два заслуживающих внимания усовершенствования. Во-первых, улучшилось понимание текста подсказки. Теперь она лучше понимает контекстные знания, содержащиеся в подсказке, и может генерировать изображения, приближенные к желаемым пользователем. Кроме того, улучшены возможности правописания. Это поможет, когда пользователь хочет сгенерировать изображение с написанными словами. Ранее компания подчеркивала, что ИИ будет внимательнее относиться к написанному и предлагать более качественный результат. Также ожидается улучшение общего качества изображения.

В ближайшем будущем эти новые модели искусственного интеллекта также станут открытыми, по крайней мере, в некоторой степени. Компания заявила, что вскоре сделает модель весов доступной для самостоятельного хостинга с членством в Stability AI. Stability AI также пояснила, что для создания модели была использована новая архитектура Multimodal Diffusion Transformer (MMDiT).

Помимо генераторов изображений ИИ, Stability AI также пригласил ограниченное число пользователей принять участие в раннем выпуске своего помощника Stable Assistant, который в настоящее время находится в стадии бета-тестирования. ИИ-ассистент работает на базе Stable Diffusion 3 и Stable LM 2 12B, который добавляет разговорные возможности. Он может генерировать изображения из разговоров, генерировать контент, а также улучшать контент, чтобы он соответствовал сгенерированному изображению. В настоящее время неизвестно, когда компания может выпустить новые модели изображений ИИ для всех пользователей.