.jpg?#)
OmniHuman-1: новый сервис от ByteDance создает реалистичные видео по фото
Для обучения OmniHuman-1 использовались более 18 700 часов видеоданных. Китайская компания ByteDance представила новую систему искусственного интеллекта под названием OmniHuman-1. Эта нейросеть способна преобразовывать обычные фотографии в реалистичные видеоролики, на которых люди двигаются, жестикулируют и даже говорят. OmniHuman-1 генерирует видео в полный рост, что выгодно отличает ее от предыдущих моделей ИИ, которые могли анимировать только лица или верхнюю часть тела. Новая система создает максимально естественные движения, включая мимику, жесты и синхронизацию с речью. «В последние годы сквозная человеческая анимация значительно улучшилась, но существующие методы все еще ограничены в масштабируемости и качестве. OmniHuman-1 преодолевает эти ограничения, предлагая более универсальное решение», — заявили разработчики. Для обучения OmniHuman-1 использовались более 18 700 часов видеоданных, на которых запечатлены люди в различных ситуациях. Нейросеть анализирует текст, аудио и движения тела, что позволяет ей создавать видео с высокой точностью. «Наша главная идея заключается в том, что включение множественных кондиционирующих сигналов, таких как текст, аудио и поза, значительно сокращает потери данных и улучшает качество результата», — пояснили исследователи.
Для обучения OmniHuman-1 использовались более 18 700 часов видеоданных.
Китайская компания ByteDance представила новую систему искусственного интеллекта под названием OmniHuman-1. Эта нейросеть способна преобразовывать обычные фотографии в реалистичные видеоролики, на которых люди двигаются, жестикулируют и даже говорят.
OmniHuman-1 генерирует видео в полный рост, что выгодно отличает ее от предыдущих моделей ИИ, которые могли анимировать только лица или верхнюю часть тела. Новая система создает максимально естественные движения, включая мимику, жесты и синхронизацию с речью.
«В последние годы сквозная человеческая анимация значительно улучшилась, но существующие методы все еще ограничены в масштабируемости и качестве. OmniHuman-1 преодолевает эти ограничения, предлагая более универсальное решение», — заявили разработчики.
Для обучения OmniHuman-1 использовались более 18 700 часов видеоданных, на которых запечатлены люди в различных ситуациях. Нейросеть анализирует текст, аудио и движения тела, что позволяет ей создавать видео с высокой точностью.
«Наша главная идея заключается в том, что включение множественных кондиционирующих сигналов, таких как текст, аудио и поза, значительно сокращает потери данных и улучшает качество результата», — пояснили исследователи.
