В этой подборке собраны ранжированные по качеству лучшие нейросети, преобразующие текст в картинку. Топ 10.
Факт: в 2022 году любой землянин может стать художником, причем в любой из областей так или иначе связанным с изобразительным творчеством — иллюстрации, карикатуре, дизайне, фотографии и прочих.
И для этого вовсе не нужно учиться (то есть нужно, но вовсе не просиживать часами за мольбертом). Достаточно быть способный правильно сформулировать и написать, то что вы хотите увидеть на картинке.
Да речь ниже пойдет о нейросетях (они же искусственный интеллект или коротко ИИ), способных создавать картинку из текста её описания.
Чтобы не мучить вас подробным и малопонятным описанием того, что такое нейросеть, но всё-таки понимать — что это (а это нужно для работы с ними), скажем просто: нейросеть это как модель человеческого мозга.
Мозг состоит из нейронов, которые связаны передающими электрохимические импульсы синапсами, а в нейросети роль нейронов играют вычислительные элементы. И как и мозг, они способны на две важные вещи: понимать и обучаться, совершенствоваться.
Конечно, цифровые нейросети пока в намного примитивнее человеческого мозга, но довольно простые (для мозга) задачи уже решать способны.
Нейросетям доверено распознавать лица в системах видеонаблюдения, диагностировать болезни при анализе данных пациентов, заменять человека в колл-центрах в роли голосовых помощников да даже привычные всем чат-боты тоже используют в своей основе принцип нейронных сетей. Сервисы по имитации голосов и созданию изображений-дипфейков построены также на нейросетях.
А в последнее время нейронным сетям доверили даже творческие задачи — написание стихов и рекламных слоганов, сочинение музыки и сценариев для фильмов, разработку и визуализацию промышленного дизайна. И превращать тексты в изображения.
В наши дни каждый может поэкспериментировать с генерацией изображений, сгенерировать фотореалистичного человека или кота, превратить набросок качества paint — во вполне сносный пейзаж, и всё такое прочее.
Важное замечание: вся эта история по большому счету начала развиваться совсем недавно, большинство в 2022 году, почти все нейросети еще «допиливаются».
За это время, как их называют, генеративные картины прошли путь от причудливых абстракций до качественных изображений, которые создаются за считаные минуты. Теперь уровень нейросетей, создающих картины из текста, столь высок, что в большинстве случаев реально получается то, что вы и хотели увидеть.
Не будем описывать области, где сгенерированные изображения могут быть полезны не только как развлечение, но и как реальный бизнес. Назовем лишь одно — теперь любой контент можно иллюстрировать без изображений, защищенных авторским правом. Вы сами можете создавать «свои» изображения в любом количестве.
В этой подборке собраны лучшие на данный момент нейросети — генераторы изображений по описанию (для краткости — «нейросети текст = картинка»), которыми может воспользоваться любой желающий. И, важный момент, их можно использовать бесплатно или, по крайней мере, они предлагают бесплатные пробные варианты.
Они расставлены в порядке с возрастающим качеством, удобством использования и популярностью. И помните, все, кроме одной, работают только на английском языке.
10 лучших нейросетей, преобразующих текст в картинку (описание в изображение)
10. DeepAI
Довольно простой генератор изображений DeepAI не имеет большого количества наворотов, и, несмотря на все это, он крут. Тем что просто делает то, что заявляет. Простое окошко — туда пишите текст на английском — он делает картинку.
Изображения правда представляют собой больше коллажей изображений, найденных в Интернете, чем любой реальной попытки создать что-то «новое».
9. Pixray
Это не столько самостоятельный сервис, сколько адаптация сразу нескольких моделей с открытым исходным кодом. Работает только в веб-версии, зато бесплатно и без ограничений или встроенных покупок.
Для генерации достаточно ввести текстовое описание на английском языке и выбрать одну из моделей для рендера: среди вариантов есть как популярные VQGAN и CLIPDraw, так и менее востребованные алгоритмы. Третьим пунктом можно ввести дополнительные настройки по приложенной инструкции, либо оставить поле пустым.
Результаты зависят от модели и настроек. Обычно работы далеки от реализма, но, как правило, передают запрос пользователя. Генерируются изображения от нескольких минут, а в процессе можно увидеть промежуточные варианты итоговой версии.
8. WOMBO Dream
Вообще это сервис для создания вертикальных обложек, например фонов для телефонов. Арты делаются легко: нужно сформулировать текстовый запрос, выбрать стилистику, а при желании — еще и прикрепить картинку-референс. Веб версия — бесплатная, а вот в приложениях (Android и Apple) стили доступны только по подписке.
Результат выглядит очень абстрактно, но почти всегда красиво. Особо примечательный арт можно купить в высоком качестве в виде реального постера.
7. Nightcafe
Nightcafe — приложение для преобразования текста в изображение. Введите любое простое английское предложение, и Nightcafe с помощью искусственного интеллекта превратит его в картину.
При создании нового изображения вы можете выбрать один из различных художественных стилей, таких как кубизм, масляная живопись, матовая живопись, сюрреализм, стимпанк и т. д.
Вы также можете добавить модификаторы художников, техник и культурных жанров. Затем вам нужно выбрать один из двух стилей ИИ: Художественный и Когерентный.
Как это работает:
- Первым делом открываем страничку в браузере в режим инкогнито. Это понадобиться, чтобы получить неограниченное количество создаваемых изображений.
- Заходим на сайт, выбираем нужный стиль готового изображения и вводим желаемый текст в строку. Текст вводить на английском. У кого туго с этим, пользуйтесь Google переводчиком.
- Выбираем нужный алгоритм между Artistic и Coherent. Разница в том, что Coherent лучше работает именно с описаниями.
- Жмём Create и ждём несколько минуток. И получаем готовый вариант. Во время ожидания, можете создать ещё несколько работ.
На сайте используются кредиты, и по умолчанию (пока) у вас их 5. Можно создать 5 работ, либо улучшать за счёт кредитов, получившуюся (например увеличить разрешение). Когда счётчик кредитов опуститься до нуля, просто перезапустите новую вкладку инкогнито и снова заходите на сайт со своими 5 кредитами.
Предупреждение: готовые варианты не всегда могут понравиться, но если поиграться подольше, думаю вы останетесь довольны некоторыми вариантами.
6. GauGAN 2
Американский технологический гигант — компания Nvidia также не остался в стороне от нейросетей. В 2019 году появилась нейронная сеть GauGAN (произносится как Гоген), генерирующая изображения на основе эскизов, а под конец 2021 года они создали GauGAN 2, чей фишкой стало умение создавать иллюстрации на основе текстовых описаний.
Nvidia — большая компания и у них там всё серьезно. Так что лучше посмотреть обучающее короткое видео вверху. Но тем, кто разберется, обещают более продвинутый уровень создания картин, чем у других ИИ. Осбоенность этой нейросети, что тут преобразование текста в картинку — лишь один из инструментов.
То есть вы можете рисовать, преобразовывать нарисованное и добавлять детали или большую часть картины текстом. GauGAN2 является одной из первых демонстраций, объединяющих различные модальности — текст, семантическую сегментацию, эскиз и стиль.
Например, пользователи могут ввести простое слово, чтобы сгенерировать основные особенности и объект изображения, такие как заснеженный горный хребет, а не рисовать каждую деталь воображаемого пейзажа. Эта отправная точка затем может быть скорректирована с помощью эскизов для увеличения высоты горы или облаков в небе. Она не ограничивается созданием реалистичных образов, художники также могут использовать его для создания самых странных визуальных образов.
NVIDIA выпустила 2 учебника, чтобы помочь пользователям изучить Gaugan 2. Введение в Gaugan 2 | Использование веб-демонстрации Gaugan (только на английском).
Приложение с поддержкой GauGAN2 можно установить только на компьютеры с NVIDIA RTX, поскольку используются тензорные ядра этих видеокарт.
5. Craiyon (ранее Dall-E Mini)
Увы, несмотря на расширение количества тестеров до миллиона, самая продвинутая нейросеть по генерации изображений на основе текста Dall-E 2 всё ещё остаётся не общедоступной. Из-за высокого качества создаваемых изображений они опасаются разного рода непредсказуемых последствий: от генерации фотореалистичного порно до создания политических фейков с провокациями.
Покуда о Dall-E 2 большинству остаётся только мечтать и листать созданные тестерами картинки, включая недавно добавленную опцию по «дорисовыванию» изображений в разные стороны — можно поэкспериментировать с упрощённой «сестрой» Dall-E 2 под названием Dall-E mini. Точнее, теперь Crayon.
Заходите по ссылке на сайт и там всё понятно. Создание изображения обычно занимает чуть более одной минуты, но при слишком большой нагрузке на сервер процесс может занять гораздо больше времени.
Есть приложение для устройств Android.
4. Imagen
Разработка Google. Imagen распознаёт практически любые, даже самые странные запросы (опять же на английском), и с высокой точностью их воспроизводит. По словам разработчиков, нейросеть Imagen превосходит DALL-E 2.
В качестве теста Google предложила выбрать лучшее изображение сгенерированное нейросетями разных компаний и большинство выбрали картинку Imagen.
Пример: Описание: В комнату проникает один луч света. Луч освещает мольберт. На мольберте стоит картина Рембрандта с изображением енота.
Пока что Google решила не публиковать исходный код или публичную демонстрацию Imagen из-за риска его неправильного использования. То есть любой желающий пока её воспользоваться не может, но вскоре она откроется для публичного доступа.
3. Dall-E 2
В апреле 2022 года компания OpenAI представила DALL-E 2 — усовершенствованную нейросеть, которая генерирует изображения по описанию. Она создаёт более детализированные и реалистичные иллюстрации в разрешении до четырёх раз выше, чем версия первого поколения.
Система работает как с описаниями, так и с загруженным изображением, изменяя его. Существует три основных способа создания изображения: текстовые подсказки, варианты и изменения. Возьмем сначала самый известный метод – текстовые подсказки.
Пока Dall-E 2 закрыта для всех. Но можно всё-таки пролезть в тестировщики. Вы можете зарегистрируйтесь в списке ожидания на сайте OpenAI.
С июля 2022 года объявлено, что DALL· E теперь доступен в бета-версии. Они приглашают 1 миллион человек из списка ожидания. Пользователи могут создавать с помощью DALL· E используя бесплатные кредиты, которые пополняются каждый месяц, и покупайте дополнительные кредиты с шагом в 115 кредитов за 15 долларов.
Аккаунт DALL· E в Instagram.
2. Midjourney
Эта нейросетка генерирует картинки, которые легко можно принять за произведения профессиональных иллюстраторов и художников. При этом на создание изображения требуются буквально секунды.
Как использовать Midjourney?
Прежде всего вам необходимо скачать, установить и зарегистрироваться в Discord.
Затем переходим на сайт. На сайте есть всего 2 кнопки: Кнопка Sign In with Discord связывает ваш дискорд-аккаунт с личной страницей на сайте, где вы можете посмотреть все ваши работы, а также получить доступ к публичной галерее с работами других людей.
Join the Beta дает вам приглашение на дискорд-сервер Midjourney, где и происходит всё волшебство. Вам нужно будет присоединиться к каналу. Там достаточно ознакомиться с правилами сообщества, затем ввести команду /imagen, после чего сформулировать запрос на английском языке.
И еще одна подробная инструкция по работе с Midjourney с подсказками и примерами.
Картинки получаются достаточно качественными и узнаваемыми, хоть и не без промахов. Бесконечно генерировать изображения не выйдет: есть лимит на каждого человека. Когда он будет исчерпан, можно остаться в сообществе и смотреть, что генерируют другие пользователи.
2.1 RuDall-E (ruDALL-E Kandinsky)
Второе место только за русскоязычность. Первая версия нейросети DALL-E была представлена в начале 2021 года. К концу года российские разработчики из Сбера создали на ее основе нейронку ruDALL-E, которая так же создает уникальные изображения но, в отличие от оригинала, поддерживает русский язык.
Что, кстати, не очень просто. Нужно было обработать массив данных из 120 миллионов пар текст-изображение. Пока это единственная в мире нейронная сеть, которая может генерировать изображения на основе текстового описания на русском языке.
- Запустить последнюю модель нейросети ruDALL-E пока можно в приложении «Салют» от Сбера. Старую версию — ruDALL-E Malevich можно попробовать прямо в браузере. В приложении достаточно просто сказать «Запусти художника», а затем голосом попросить художника ruDALL-E что-нибудь нарисовать.
- Также у них есть бот в Discord, где можно не только сгенерить картинки, но и посмотреть работы других пользователей. Например, такие…
1. Stable Diffusion
Появившаяся в середине августа 2022 года сеть Stable Diffusion генерирует изображения с разрешением 512×512 пикселей всего за несколько секунд при любых условиях. Масштабирование до более крупных изображений займет немного больше времени.
Эта система — более либеральная, чем все остальные, в которых «зашито» куча фильтров на всякий «неприличный», «нетолерантный» и «незаконный» контент. При этом Stable Diffusion не уступает им (а многие превосходит) в качестве.
Stable Diffusion совершило революцию — она не требует больших вычислительных ресурсов. Да, нужен мощный, но все-таки уже домашний компьютер. ИИ сможет использовать обыкновенные компьютеры геймерского сегмента, чтобы каждый желающий мог создать свой собственный шедевр. А значит вы можете у себя дома делать любые изображения почти без каких-либо цензурных фильтров (этого ранее также не было). По заявлению разработчиков, алгоритм будет бесплатным.
Для пользователей, которые предпочитают получать доступ к нему в Интернете, Stable Diffusion также, по-видимому, имеет менее строгие правила его использования. Хотя он включает в себя фильтры ключевых слов для предотвращения «неправильного» использования, Stability AI не имеет политики против изображений с общественными деятелями, в отличии от прочих.
Помимо синтеза изображений, нейронная сеть способна модифицировать картинки (кстати, как и некоторые другие ИИ в этом рейтинге). Для этого требуется шаблон и текстовые уточнения. Наконец, Stability AI не претендует на права на изображения, созданные Stable Diffusion.
Любой желающий может скачать рабочую модель и запустить её на собственных серверах, рассказали авторы проекта.
Создатели сообщают о требованиях для стабильной работы модели — у вас должна быть видеокарта с не менее 6,9 гигабайт памяти. Сейчас рекомендуется использовать видеокарты от Nvidia, но в ближайшее время модель планируют оптимизировать под чипсеты AMD, Apple M1 и M2 и другие популярные альтернативы.
Пользователи также могут протестировать работу нейросети в упрощённой версии модели прямо в браузере — сервис доступен по ссылке.
Также вы можете присоединиться к специализированному сообществу для Stable Diffusion в Discord, где есть разделы для разработчиков, творческих личностей и просто всех, кого вдохновляет эта тема.
Увидеть примеры работы модели можно, например, по хэштегу в твиттере.