Создание 3Д-сцены по 2Д-изображению

Введение

Если искать ответ на вопрос о возможности помощи со стороны нейронных сетей в создании мультфильмов, то ответ будет безусловно положительный. Но если пользователь просто любит рисовать, то он также может превратить скучную 2D-картинку в реалистичную 3D-модель. Например, это можно выполнить превращение 2D-фигуры в 3D-объект при помощи приложения, такого как Paint 3D. Paint3D от Microsoft может позволить пользователю формировать 2D-изображения и 3D-объекты в цифровом формате.

Хотя процесс преобразования уже готового 2D-изображения в 3D-объект является достаточно непростой задачей, которая включает в себя набор строгих шагов, таких как проектирование, рисование, изменение размера, вращение и изменение положения объекта, но реализовать его грамотным пользователям вполне по силам.

Для того чтобы осуществить превращение 2D-изображение в 3D-сцену, пользователю необходимо вначале распознать 3D-качества изображения и выполнить анализ того факта, как объект может выглядеть в реальной жизни. Базируясь на коннотациях, пользователь сможет осуществить выбор трехмерных деталей для моделирования формы, которая может выглядеть более тонкой, более толстой, более округлой и так далее.

Создание 3Д-сцены по 2Д-изображению

Нейронная сеть справляется более легко с задачей создания 3Д-сцены по 2Д-изображению. Рассмотрим пример 3D анимации из плоской картинки от Миджорни. Для этого следует использовать:

1. Бесплатную программу Blender.
2. Нейронную сеть, которая может увеличивать изображения ImageUpscaler.
3. Нейронную сеть, которая позволяет убирать лишние объекты Runway.
4. Условно бесплатную нейронную сеть Midjourney.

Прежде всего, необходимо сгенерировать фон, что можно выполнить при помощи нейросети Midjourney. Можно использовать один из следующих запросов:

1. Для формирования аллеи, которая уходит вдаль.
2. Для формирования комнаты.

Эти запросы можно прогонять многократно и выбрать необходимый вариант. Выберем комнату, которая показана на изображении ниже.

Рисунок 1. Изображение комнаты. Автор24 — интернет-биржа студенческих работ

Затем можно воспользоваться кнопкой «Upscale Redo», для того чтобы получить наилучшее разрешение изображения в Midjourney, открыть его в браузере и сохранить полученную картинку. Эти действия условно можно представить следующим образом:

Upscale Redo → Detailed Upscale Redo → Клик по картинке → Открыть в браузере → Правой кнопкой на картинку → Сохранить изображение как

Но если и этого окажется недостаточно, то следует воспользоваться следующими бесплатными нейросетями, способными увеличить разрешение:

1. Нейросеть PixelBin.
2. Нейросеть BigJPG.
3. Нейросеть ImageUpscaller.

По мнению пользователей лучше всего и более оперативно с нарисованным изображением справляется ImageUpscaler, однако если нужно увеличить разрешение фото, то результат может оказаться другим.

Следующим шагом является создание глубины. Необходимо отметить, что существует несколько методов способов сделать глубину в такой «комнате». Самым простым из них является загрузка изображения в нейросеть Leiapix, которая может моментально сделать пользователю смешную лже-3д анимацию из загруженной картинки. И все, что требуется, так это необходимость регистрации, а пробная версия является бесплатной:

Рассмотрим еще один способ, для которого надо скачать приложение fspy, а также его плагин для Блендера. На сайте имеется подробнейшая инструкция по установке, а само приложение после загрузки должно выглядеть следующим образом.

Рисунок 2. Окно программы. Автор24 — интернет-биржа студенческих работ

Так выглядит окно приложения FSpy, то есть, бесплатной нейронной сети для формирования 3D из 2D. В данное окно необходимо перетащить созданное раньше изображение и указать программе, где находится верх, а где находится низ. То есть, следует расположить оси X, Y и Z вдоль линий на выбранном изображении. Можно показать данной программе, границы пола (с помощью зеленых линий оси Y) и высоту задней стенки (с помощью синих линий оси Z).

После того как пользователь решил, что все правильно, следует сохранить файл (File → Save As) с разрешением *.fspy. В Блендере также нужно установить и активировать одноименный плагин с их сайта. Установка плагина FSPY должна выполняться следующим образом:

Edit → Preferences → Addons → Install → Выбрать zip-архив с плагином → Нажать галочку для его активации.

Следующим шагом можно приступать к созданию псевдо 3D сцены. Необходимо открыть в Blender файл, который был создан программой FSpy. Выполняем загрузку файла из программы FSpy. Затем нужно открыть пустую сцену в Блендере и удалить все лишнее, а именно базовый куб, камеру и свет, можно приступать к формированию объема. Очередность действий должна быть следующая:

1. Необходимо загрузить файл с разрешением .fspy и переключиться на вид из камеры.
2. Требуется создать новую плоскость (Shift+A → Mesh → Plane).
3. Следует достроить из данной плоскости «коробку», которая будет похожа на выбранную комнату (Edit mode → E → G+Z и затем соединить потолок и заднюю стену при помощи F). Коробка теперь имеет в своем составе три стены, пол и потолок.
4. Необходимо наложить текстуру на вкладке Shading. Для этого надо создать для «коробки» новый материал, удалить стандартный Principled BDSF и нажать Ctrl+T (чтобы вызвать Node Wragler), и открыть пользовательскую текстуру из Midjourney.
5. Следует добавить пару модификаторов, а именно, Subdivision (Simple, 5, 5) и UVProject (UVMap, Aspect ratio является разрешением выбранного изображения, Object является сформированный файл *.fspy). А также нужно поменять в настройках текстуры «Repeat» на «Clip».
6. Далее необходимо дублировать камеру (Shift+D) и назначить ее основной (Правый клик → Set active camera). Предварительно нужно заблокировать старую, чтобы она не могла двигаться и вращаться.
7. Затем можно будет переключаться между камерой и сценой через NumPad 0. Смотрится все очень красиво.

На рисунке ниже показан итог данных семи шагов:

Рисунок 3. Итоговое изображение. Автор24 — интернет-биржа студенческих работ