Как Scribble Diffusion преобразует скетчи в AI-изображения?

Что еще нужно, если искусственный интеллект может превратить ваши грубые каракули в изысканное изображение и сделать его похожим на шедевр? Инженер из компании Replicate под ником zeke на GitHub создал именно такую возможность.

Что такое Scribble Diffusion?

Scribble Diffusion - это приложение с открытым исходным кодом, которое может превратить ваш нарисованный от руки рисунок вместе с текстом-подсказкой в художественное произведение. Модель Scribble Diffusion построена на ControlNet - нейросетевой структуре, разработанной Лвмином Чжаном и Манешем Агравалой для управления большими диффузионными моделями с дополнительными входными условиями, которыми в данном случае являются человеческие каракули. Модель управляет Stable Diffusion с другими входными данными, такими как обнаружение краев, карты глубины и оценка позы.

ControlNet был выпущен всего три недели назад, а разработчики уже создают приложения на его основе. Другой разработчик создал приложение, которое генерирует изображения DreamBooth, ориентируясь на позу вводимой фигурки.

Как Scribble Diffusion связана со Stable Diffusion?

С момента выпуска Stable Diffusion с открытым исходным кодом разработчики и энтузиасты ML экспериментируют с ним для создания различных типов моделей.

Во-первых, проходит немного времени, как появляется новая технология, и пользователи начинают пытаться делать с ее помощью NSFW-контент. Именно это произошло с Unstable Diffusion. После выхода этой модели Stability AI оказался под пристальным вниманием.

Среди других моделей - Riffusion для создания музыки в реальном времени с помощью искусственного интеллекта путем преобразования аудиоизображений в звук. Подход включает в себя тонкую настройку Stable Diffusion для создания спектрограмм, которые являются визуализацией аудио. Другая модель, Amazing AI, была построена на основе Stable Diffusion 1.5, которая работает на macOS без использования интернета.