Ничего не писал про видеогенерацию, хотя она уже год, как пошла в массы. Ждал пока она станет нормальной. Она стала более чем.
В этом году появилась бесплатная китайская генеративная ИИ-модель MiniMax. Пару дней назад там обновился интерфейс, т.к появилась огненная фишка image2video. Это очень радует.
Регистрации сначала не было совсем. Обходились одними куками, но сгенерированные видео заботливо сохранялись в личном кабинете. Теперь вроде появилась, но у меня просто понадобилось ткнуть в гуглоаккаунт. Некоторые говорили, что есть проблемы с некитайскими симками. У меня никаких проблем не было. Интерфейс китайский, но в Яндех-браузере переводится на лету. Да и нет там ничего сложного в тырфейсе.
1. Есть окошко для ввода промпта. Лучше писать по-английски. Промпты на русском понимает плохо.
2. Есть кнопка с ИИ-улучшайзером промпта. Результаты действительно лучше.
3. И появилась кнопка загрузки референса для img2video.
Это самая важная фишка. Уже было реализовано у других. Например в ИИ "Хайпер". Но там нет такой консистентности, как в МиниМах. И хоть можно загрузить до 3 референсов (начальный, средний и последний кадр), но результаты не радуют. А в МиниМах явно имеется мощная база и картина мира релевантная. Всякий там Пихар и Голливуд в датасетах присутствует. Так что смело пишите в промпты всяких Дарт Вейдеров и Скайуокеров. Хотя китайского в датасетах больше, и он любит нагенерить китайских лиц. Элайнмент присутствует минимально. Не даст сгенерить откровенную обнажёнку и "кровь-кишки".
Есть ограничение на длину ролика в 5 секунд. Но при желании можно слепить хоть целое кыно.
Если кто в этом сомневается, то вот пример от авторов МиниМакса:
Пробую генерить в нём уже больше месяца. Что получилось, выкладываю на свой рутубчик. набралось уже с полсотни роликов в МиниМакс.
Вот, вчера попробовал img2video и сгенерил "МиниМакс оживляет картины Вермеера":
Еще немного об ограничениях МиниМакс: Здесь нет, как в КлингАИ определения маршрута камеры (было и в Кандинском). Нельзя настроить формат видео (3:4, 16:9, 1:1). Но, тем не менее он делает лучше. И стал, пмсм, вторым по качеству после SORA, которая до сих пор закрыта от ширнармасс. И хоть МиниМакс до сих пор в стадии "Бета теста", но ушлые деятели (не дам ссылки, но легко находятся в поиске Яндех) уже берут деньги за генерацию в МиниМакс. Нехорошо это и некрасиво.
А китайцам - респект. Уделали пресловутую SORA.
Комментарии
Если бы он упорно не рисовал китайцев, было бы вообще замечательно. Впрочем, ожидаемо, какая обучающая выборка, таков и результат.
Ну, не прям всегда китайцев делает. Но примерно четверть лиц китайские. Но если генерить без референса, то Голливудских побольше.
Вот первая проба с картинки. Солдат получился полукитаец-полупиндос
Вот спасибо! Это же залипательный сайт. Пойду тестировать.
Когда уже сделают видеоплееры, которые на лету исправляют низкое качество видео на высокое?
И неинтересные фильмы на интересные!
А там, где с этим туго, раскрывают тему сисек.
А негров-эльфов превращают в нормальных каноничных эльфов. Лгбт персонажам меняют пол чтобы повесточки не было.
Да черт с ним, с этими видосами! Когда уже в игры завезут полноценный ИИ для ботов?! Чтоб с любым можно было бы как с Алисой хотя бы парой незаскрипотованых фраз перекинутся.
Видео, надо сказать, здорово напоминает нездоровый сон, после которого в холодном поту просыпаешься. Куча нестыковочек, но во сне их не критикуешь.
Это как раз понятно, если я правильно понимаю, они как раз эту механику и воспроизводят. Нейросеть "бредит на заданную тему".
это конечно круто, спасибо, но почему-то для фейсвопа по-прежнему используют иперовский диэфл который с 2018 года. ИИ где-то притормозил и пошел в разные ниши, но качественно не растет.
https://rutube.ru/shorts/393e0304e01ccf6d9f9c801aa75f23e0/
В работе программы: vivid ai, livensa, dream face, udio.
На выходе не китайцы.
На вкус и на цвет все фломастеры разные. Между Udio и Suno выбираю Суно, т.к. он тёплый и ламповый. Остальное - пластиковое.
Благодарю, интересно. Пробую.
Получилось, немного с косяком, но прикольно.
Жаль, что только на 5 сек. видео.
Да, 5 сек маловато. Хотя бы на 20 (лучше 30).
реклама на АШ порвала китайский сайт - пишут о тысячах людей в очереди передо мной и просят подождать
Такого не припомню. бывала очередь из примерно ста чел. Проходит за минуту. Потом генерация еще около минуты. лучше в МиниМаксе генерить ночью. Китайцы тоже все спят.
Хотя всё возможно. Эти два ролика выше за пару часов просмотрели около 2000 раз. Я прям обалдел. И с десяток подписчиков пришло в телегу и на рутубчик.
чо, на АШ никак не выкладываются видосики без ссылки внешней? )))
дичь изрядная нагенерилась. а видеоблоггерством не балуюсь ))
Не-а. Вконтактик или на Рутубчик выложи. С них АШ может встраивать видосы. Или в телегу.
да и фик с ними....
но надо сказать, впечатлен... и ряд дружочков выстроились в очередь, чтобы меня побить за издевательства над их фотками
Вот спасибо! Интересно глянуть.
Так и вправду можно и самому себе режиссером стать...
Пару дней назад тоже решил попробовать несколько нейросетей создающих видео. Ничего не понравилось. Одна сеть перегружена постоянно и всегда отвечает - зайдите позже. Другая генерирует 1.5 часа пятисекдное видео с сомнительным результатом. Третья как начала генерировать так и продолжала несколько дней. Haiper тоже разочаровал своими результатами. Но одна сеть была очень даже ничего. Эта сеть называется Runway. Результаты отличные и очень быстро генерит. Единственный минус всего 5 видео по 4 секунды в месяц. Просто издевательство какое то.
PS. Вот и дождался результата от вашего Hailuo. Прекрасно. Это уже не хуже чем Runway.
Ну SORA рендерит 3D модель и уже с ней работает по законам физического мира. Если здесь так же, то очень неплохо.
А так китайцы недавно сделали модельку на триллион параметров. Интересно какой получился результат.
С чего вы взяли, что в SORA где-то внутри рендер 3D модели? Который год наблюдаю такое недопонимание типа: "нейросети берут фотки с тырнета".
Нет. OpenAI заявляет, что это диффузная модель с трансформером, т.е в основе - белый шум. Простой довод в пользу этого: галлюцинации и изменение форм в некоторые моменты.
Она не рендерит 3D модель, а работает с собственной картиной мира, созданной при её обучении. SORA понимает не только то, что пользователь запрашивает, но и то, как эти вещи существуют в реальном физическом мире (цитата из ОпенАИ, если что).
По сути, это симулятор мира.
Попробовал подсунуть ИИ из статьи старое фото. Результат так себе (смотрите на лицо девушки).
Но вот появление пассажира в правой машине - очень интересный эффект.
В оригинале человека в авто практически не видно. У нейросети он получился удачнее переднего плана.
Оригинал фото:
Сгенерированное видео:
Что еще раз доказывает наличие в ней модели мира.
Вермеер местами прямо вплоть до "вау!"
Спасибо, вот так тема.
Попробовал загрузить несколько фото. Ставит в очередь ожидания минут на 10-12. Лица могут сильно исказиться при трансформации.
Не смог разобраться, как сгенерировать видео хотя бы по двум кадрам. Пишет, можно использовать одно изображение.
Да. Ажиотаж начался необыкновенный. Ночью генерил. Было больше 1000 очередь.
Никак. По 3-м опорным кадрам можно делать в Хайпере
Я ночью попробовал так: Брал готовую серию изображений, объединенных одним смыслом, и генерил сцены с каждого последовательно. Щас домонтирую и выложу на Рутубчик
Вот сгенерил анимацию заставки для канала из десятка других генераций в Кандинском. То, что башни Кремля и храмы на себя непохожи - это баги Кандинского, а не МиниМакса.
З.Ы. Вчера напугали, что МиниМакс с сегодня перейдёт на платный режим с бесплатными возобновляемыми кредитами на десяток генераций в день. Не заметил этого. Работает бесплатно. Может это шутка была.
Перешёл на платную генерацию, похоже. Пишет, что триальный период 3 дня.
Спасибо за наводку! С переменным успехом оживляю свои картины.
Оказываеца, не пугали. МиниМакс сегодня добавил в тырфейс подписку. Пока она не работает. Объявлен 3-дневный беспатный анлим для всех. И сколько там будет возобновляемых кредитов - непонятно.
Попробую за эти 3 дня нагенерить Максимум возможного.
Там уже очереди по 20 минут стали.