Топ-7 нейросетей, которые рисуют аниме в 2023 году

Шел девятый месяц ИИ пандемии. В интернете остался 1% реально существующих пользователей, этот текст – письмо в бутылке, который выбросило на просторы интернета.

Если серьезно, то с каждой неделей нейросети становятся все более мощными и способными, и в 2023 году они продолжают поражать нас своим потенциалом, а машинное обучение становится одним из главных образовательных трендов. Сегодня обсудим более нишевую область работы нейросетей на примере аниме артов. В этой статье рассмотрим топ-7 нейросетей, которые рисуют аниме по фото или описанию бесплатно. Художники и иллюстраторы вам тоже будет полезно почитать, не уходите! 

Как нейросеть рисует картинки в стиле аниме?

Современные нейросети, способные генерировать аниме арты с нуля по промпту, называются генеративными состязательными сетями или GAN (Generative Adversarial Networks). Принцип работы этих нейросетей строится на «соревновании» между Генератором и Дискриминатором. 

Генератор отвечает за создание новых картинок, в нашем случае аниме артов. Он обучается генерировать реалистичные изображения, которые выглядят как настоящие аниме-рисунки.

Дискриминатор – пытается отличить сгенерированные изображения от реальных аниме-рисунков. Он обучается распознавать бракованные или непригодные для использования результаты работы генератора. Благодаря этому процессу генератор учится создавать более реалистичные и разнообразные аниме-изображения.

Эти GAN имеют возможность улучшаться и дополнительно настраиваться. Чтобы получать более комплексные или индивидуальные арты: предоставьте референсы, более комплексные запросы или настройте генератор на определенные атрибуты, такие как особенности персонажей, цветовые схемы или стили. Это позволяет GAN генерировать аниме-изображения, соответствующие желаемым характеристикам, указанным в промпте или запросе.

Топ-7 нейросетей, которые рисуют аниме арты

Существует множество нейросетей, которые могут создавать аниме арты. Вот семь самых популярных.

Thisanimedoesnotexist.ai

Вполне говорящее название для веб-сайта, который случайным образом генерирует аниме арты из воздуха. Сайт появился еще в 2021 году и с каждым днем становится все лучше. Раньше результаты генерации высмеивали на Reddit за абсурдность и нереалистичность некоторых деталей. Самое интересное, что на плагиат невозможно наткнуться – ИИ использует алгоритмы, которые постоянно смешиваются друг с другом. 

Изображения, отображаемые на веб-сайте, сгенерированы GAN, в частности, с использованием архитектуры StyleGAN2, которая является самой современной GAN, разработанной NVIDIA. GAN, используемый для ThisAnimeDoesNotExist.ai сделан на базе огромного количества аниме артов и изображений из интернета. Изображения генерируются в режиме реального времени по мере загрузки страницы, также можно двигать курсором в поисках того, что вы хотите. 

Результаты зависят от того, что вы хотите. Можно выкрутить ползунок «Creativity Slider» на максимум и удивляться авангардным аниме артам, либо наоборот – свести на минимум и вспомнить первые аниме арты из 2007 года. 

Самое забавное – video mode, который позволит прочувствовать всю суть GAN. В этом режиме аниме арты меняются, происходят метаморфозы и все это похоже больше на какой-то сюрреалистический трип.  

Me in Comics / Different Dimension Me

В прошлом году интернет заполонили фотографии и тик-ток фильтры, которые преобразуют фотографии и видео в реальном времени в аниме-изображение. Все благодаря Different Dimension Me, который сейчас улучшили и переименовали в Me In Comics. Сам сайт был запущен в ноябре 2022 года на платформе Tencent QQ. Веб-сайт использует основанный на модели искусственного интеллекта генератор под названием Stable Diffusion AI для создания аниме-версий загруженных изображений, а именно портретов людей, животных или даже мемов. 

Сайт породил и до сих пор порождает прецеденты, связанные с расовой предвзятостью из-за ошибочных алгоритмов и возможностей распознавания изображений. 

Чтобы избежать мемности результата, где вы окажетесь неким существом, никак не похожим на вас, используйте изображения с высоким качеством, хорошим освещением, а также избегайте фотографии с насыщенным фоном и большим количеством деталей. 

Нейросеть работает только онлайн и то еле как. Возможно, от всех этих новостей, связанных с расизмом и дискриминацией, сервис заблокирован в многих странах, включая Россию, поэтому для входа придется пользоваться VPN или Proxy. Ставьте любой азиатский IP. 

Интерфейс крайне плохо адаптирован под ПК версию браузеров. Лучше всего использовать телефон для генерации. Но улучшить работу фронта сайта можно при помощи вкладки «Просмотра кода страницы». 

В таком режиме кнопки буду работать исправно. 

Для генерации картинки нажимаем на кнопку «Play Now», добавить фотографию через «Add Photo» и подтвердить генерацию. Не понравился результат? Можно нажать «Paint again» и сгенерировать новую картинку. 

Жириновского омолодили на несколько десятков лет, вернув его в 90-е и сделали похожим больше на детектива из аниме. 

А вот Скалу сделали похожим на славянина из мемов про Восточную Европу.

Есть еще Different Dimension Me Online. Сервис работает по похожему принципу, только есть еще модель Stable Diffusion. Сервис бесплатный и прост в использовании. Но страница загружается очень долго, так что запаситесь терпением или используйте следующие модели в нашем списке. 

Чтобы запустить генерацию аниме арта: 

1. Примите пользовательское соглашение.
2. Загрузите исходную картинку.
3. Запустите генерацию. 

Если не нравится результат – попробуйте перезагрузить нейросеть несколько раз. 

Stable Diffusion

Stable Diffusion – это современная модель искусственного интеллекта, которая генерирует подробные изображения на основе текстовых описаний. 

Разработка Stable Diffusion финансировалась и формировалась стартап-компанией Stability AI, а техническая лицензия на модель была выпущена CompVis group Мюнхенского университета Людвига Максимилиана! Алгоритм основан на передовых идеях, таких как DALL-E 2 от Open AI, Imagen от Google, и других моделях генерации изображений с учетом множества оптимизаций.

Данная нейронка универсальна в том смысле, что ее можно использовать различными способами:

•  для генерации изображений только из текста (text2img) 
• для изменения изображений. Таким образом, вводимые данные – текст + изображение). 

Качественный контент можно получить, только набив руку в предоставлении ai качественного запроса. 

Сайты на модели Stable Diffusion

Есть как сайты на модели Stable Diffusion, так и мобильные приложения для генерации аниме-изображений: 

Вот какой результат получился по промпту “Naruto and Kakashi in samurai costumes fight with Luffy and Eren, Pastel color, high quality, realistic”

Как только вы введете промпт, бот предложит выбрать стиль, модель генерации и размер картинки. 

Стилей предостаточно, это значительно может облегчить работу с моделью Stable Diffusion, ведь дата сет уже собран и выдает результаты только высокого качества. 

Вот результат по промпту “Vantablack extremely photographic sequins everywhere illustration in the style of One Piece, highly detailed, digital painting, concept art, ((Lara Croft)), (anime face),black dress, brown hair”

Результат на голову выше веб аналогов на той же модели. 

Для любителей мобильных приложений: 

AnimeGAN 

AnimeGAN использует фреймворк GAN для создания изображений в стиле аниме из изображений и фотографий. Эта нейронка использует самую облегченную архитектуру для снижения вычислительных затрат и повышения быстродействия модели, из всего нашего списка.  

Сам сайт Animegan.js не имеет ничего лишнего – поле для загрузки фотографий и кнопки для запуска генерации аниме артов. Такой минимализм можно объяснить тем, что нейронка была создана группой студентов из Китая без какого-либо финансирования, но свою работу она выполняет отлично.

Чтобы получить аниме арт, нужно только:

1. Загрузить картинку исходника.
2. Выбрать размер.
3. Запустить генерацию арта. 

Единственный минус данной нейронки – отсутствие настройка параметров. Но проблема решается, если изменить исходник при помощи обработки в фотошопе или при помощи фильтров. Вот Трамп, укутанный во флаг Казахстана. 

Selfie2Anime 

Стандартная история нейронка + GAN, которая появилась еще в 2019 году. Selfie2Anime – это бесплатный веб-сервис, который позволяет пользователям загружать свою фотографию и создавать персонажа в стиле аниме на основе этой картинки. Сами разработчики заявляли, что нейросеть использовалась при создании Lineage 2.

С этой нейронкой есть определенные сложности, да и все еще удивительно, как за 4 года остались уязвимые баги по типу отсутствующих глаз, двух носов и тд. Тем более готовую картинку мы сможем получить только через полчаса генерации, а исправить косяки невозможно, ведь один раз можно подать запрос только на одну картинку. 

Чтобы создать аниме арт: 

1. Загружаем исходное фото.
2. Вводим email.
3. Даем ai творить.

StyleGAN

Над этой нейросеткой трудились специалисты из Nvidia на базе технологий преобразования данных в осмысленный образ и заимствования стиля оформления. Нейросеть работает с каждым слоем картинки отдельно, детализируя ее в порядке приоритетности — от основного изображения до фона. Причем нейронка создает все новые и новые аниме арты, избегая повторения или плагиата. 

Сразу дисклеймер – нейросеть не подойдет для новичков. Чтобы пользоваться ai, придется взаимодействовать с кодом. 

StyleGAN имеет открытый код, так что при желании можно подстроить генерацию аниме артов под свои нужды и запросы. 

Есть уже готовая онлайн модель от Anime StyleGAN2 (от Aaron Gokaslan), но здесь необходимо скачать модель на компьютер. Есть онлайн инструмент инструмент gAnime от Нолана Кента – это исследовательский инструмент с открытым исходным кодом, который можно использовать для создания аниме-лиц. 

Несколько онлайн ресурсов, которые позволяют использовать StyleGAN для создания аниме артов, но могут возникнуть сложности у тех, кто плохо знаком с кодом: 

• AnimeGANv2 на основе StyleGAN3. Есть видео гайд о том, как пользоваться моделью от канала C0.
• Создание аниме-персонажей с помощью StyleGAN2. 
• Анимация gAnime с помощью StyleGAN. 
• Аниме со стилем Gan. 

Из самых доступных вариантов для новичков или обычных юзеров – первый в нашем списке сайт This Anime Does Not Exist.

При освоении и кастомизации StyleGan имеет высокий потенциал к монетизации. Так что мы не забудем включить его в нашу подборку нейросетей, на которых можно заработать. 

Njji Journey

Доступ к генератору картинок могут получить только участники сообщества нейросети в Дискорде. Вот ссылка приглашение!

Как говорится: «Самое лучшее напоследок». На данный момент самая качественная нейросетка по генерации аниме артов. 

У каждого пользователя есть 25 бесплатных попыток, после чего придется покупать подписку на MidJourney за 30$ или создавать новый аккаунт в Дискорде. Также помните: при использовании Niji вы будете тратить свои попытки MidJourney!

Генерация изображения происходит при помощи текстового сообщения с командой /imagine в любом канале Discord «Image generation». Пользователи могут корректировать свои результаты с помощью кнопок U1, U2, U3 и U4 для увеличения масштаба своих творений и кнопок V1, V2, V3 и V4 для создания вариаций. 

Существующие пользователи Midjourney могут переключать режим Niji, добавляя «—niji» в свое приглашение при отправке сообщения боту MidJourney.

После запроса нейросеть генерирует 4 изображения, из которых нужно будет выбрать одно наиболее удачное, а после этого будет еще выбор из 4 картинок, которые были улучшены в деталях или качестве. 

Вот отличная статья по подбору максимально качественного промпта, чтобы не тратить просто так свои попытки.

Или попросите помощи у текстовых AI, про которые мы рассказывали в этой статье. 

Чтобы сгенерировать аниме арт: 

1. Перейдите на сервер Niji Journey. 
2. Выберите язык. 
3. В канале Image Generation впишите свой промпт.

Вот пример, на что способен этот ИИ: 

“Impressionistic Watercolor of Eren Yeager from Attack On Titan, Full Body in Fighting Position, HDR, DTM, Full HD Resolution, 8k, Ultra Detailed, by Artgerm, by Yoshitaka Amano, by Stefan Gesell, Realism, Excellent, Professional Color Grading, Soft Shadows, None Contrast, no text, clean focus, film photography —s 300 —ar 2:3 —niji —v 5.1”

Чтобы превратить свое изображение или существующую картинку в аниме арт, вам потребуется: 

Нажмите на + внизу экрана и загрузите боту ваше изображение.

Далее кликните правой кнопкой мыши на саму картинку и выберите «Копировать изображение».

Для этого нужно создать такой промпт:

Качество любого изображения, конечно, на высшем уровне, но часто вылезает такая ошибка: 

«Due to extreme demand we can’t provide a free trial right now. Please subscribe or try again tomorrow.»

Лучше всего делать запросы ночью, там народу меньше. 

Заключение

Прямо сейчас каких только нет нейросетей. Даже нишевые области интернет культуры, такие как аниме, уже могут быть созданы при помощи AI. Эти ИИ стали доступными как для обычных пользователей, так и для профессионалов в сфере иллюстрации, дизайна. Используя любые из вышеперечисленных ai инструментов, вы не только создадите уникальные аватары или аниме арты, но и почерпнете вдохновение в поисках новых визуальных стилей. При выборе подходящей нейросети обратите внимание на ограничения доступа, удобство использования и качество визуализации изображений.

Краткое резюме по статье

Какие нейросети генерируют аниме картинки по описанию? +

Мы советуем остановиться на двух самых лучших: Stable Diffusion и Niji Journey. Они различаются по степени детализации и качества, но многие сайты на модели Stable Diffusion бесплатные. Если судить по выдаваемым результатам, то Niji Journey, которая была обучена на больших датасетах аниме изображений и фреймах из манги – попадает прямо в нерв аниме стилистики.

В каком приложении можно сделать аниме из фото? +

Different Dimension Me, Animegan.js, Selfie2anime – лучше всего справляются с этой задачей. Арты из Different Dimension Me заполонили интернет еще в прошлом году, это приложение лучше всего справится с задачей предоставить качественное изображение. Selfie2anime и Animegan.js – могут выдать более интересный арт-концепт, но до идеала далеко. Если хотите иметь возможность генерировать аниме арты быстро и в одном приложении, то присмотритесь к приложениям на модели Stable Diffusion такие как, Make AI Art или Draw Things.

Как лучше написать запрос нейросети для генерации аниме изображений? +

Все дело в деталях. Например, можно указать, какой персонаж должен быть на картинке, какой должен быть фон, какие должны быть цвета и настроение (например muted pastel colors). В запросе можно использовать ссылаться на определенный стиль (например 80s anime). 

Попробуйте основываться на стиле рисовки знаменитых мангак и аниме рисовщиков, например Tsukasa Hojo или Toshihiro Kawamoto. Также можно загрузить исходное изображение и попросить нейросеть сделать из него картинку в стиле аниме.

Можно ли использовать нейросети для создания аниме-персонажей? +

Конечно, нейросети можно использовать для создания аниме-персонажей. Один из способов – это использование GAN сетей, генерирующие изображения в аниме стилистике. Niji 4 нарисует целую экшн сцену, если правильно составить запрос.