5 августа, «Жэньминь жибао» онлайн -- В Китае разработали модель генерации видео Vidu, которая создает короткие видеоролики в разрешении 1080р на основе текстового описания или фото. Недавно модель появилась в открытом доступе.

Разработанная исследователями Университета Цинхуа и компании Shengshu Technology модель Vidu была впервые представлена на ежегодной конференции Форума «Чжунгуаньцунь-2024» в апреле этого года. Чжу Цзюнь, заместитель директора Института исследования искусственного интеллекта Университета Цинхуа и главный научный сотрудник компании Shengshu Technology, рассказал, что Vidu может создавать видео в высоком качестве на основе текстового комментария и изображений, использовать высокодинамичные графические эффекты и поддерживать высокую плавность воспроизведения. На данный момент Vidu поддерживает однократную генерацию видеороликов продолжительностью до 32 секунд.

«Vidu может имитировать реальный физический мир, создавать сцены со сложными деталями, которые соответствуют законам физики, а также генерировать сверхреалистичный контент, сложный и глубокий по содержанию», – поделился Чжу Цзюнь. Он также отметил, что для научной фантастики, вестернов, романтических и анимационных фильмов Vidu может создавать короткие видео в соответствующем стиле, а также накладывать спецэффекты, такие как дым и блики. Кроме этого, Vidu может переключаться между различными видами крупности плана.

Видео, созданное моделью Vidu на основе текстового описания. Модель создает видео как в стиле аниме, так и в реалистичном стиле. На платформе пользователи могут загружать свои фотографии, а с помощью текстового описания добавить пожелания к деталям генерируемого видео.

Для работы в Vidu нужно зарегистрироваться, указав лишь адрес электронной почты или номер мобильного телефона.