Vídeos gerados por IA com personagens e cenas consistentes? Teste prático do Vidu.com
Questões de inteligência artificial.
A Vidu.com afirma que sua IA pode gerar vídeos com personagens e ambientes consistentes. Isso significaria que o senhor poderia juntar várias sequências com os mesmos "atores" e, potencialmente, criar filmes (curtos) inteiros. Mas será que isso realmente funciona? Colocamos isso à prova.Christian Hintze (traduzido por DeepL / Ninh Duy) Publicado 🇺🇸 🇩🇪 ...
Veredicto - Grande potencial, mas ainda não chegou lá
O potencial (e os riscos) são impressionantes. A IA, sem dúvida, remodelará não apenas a criação de conteúdo, mas também os setores de filmes e jogos. Ter personagens, cenários e ambientes consistentes é um passo importante para tornar os geradores de vídeo com IA mais práticos do que apenas um uso inovador.
No momento, porém, não é bem assim. Qual é o objetivo se a pessoa permanece a mesma (supondo que ela continue a ser a mesma), mas depois atravessa objetos sólidos, duplica-se repentinamente ou cresce seis dedos em uma mão?
No momento, Vidu.com parece mais um brinquedo. É divertido, mas a tecnologia ainda não é confiável o suficiente para uso profissional em filmes, publicidade ou áreas semelhantes. Há simplesmente muitas falhas.
Pro
Contra
Preços e disponibilidade
Qualquer pessoa pode experimentar o Vidu.com gratuitamente depois de criar uma conta. O sistema funciona com base em créditos. Os novos usuários recebem alguns créditos iniciais, e o senhor pode ganhar mais por meio de determinadas ações.
Há também opções de assinatura mensal e anual.
Apesar das críticas válidas, consideramos a IA nesse espaço fascinante. Mas o resultado varia muito em termos de qualidade: por um lado, o senhor pode obter ambientes incrivelmente detalhados diretamente da sua imaginação. Por outro lado, as pessoas geradas por IA geralmente olham fixamente para o espaço ou se movem em uma estranha câmera lenta.
Por isso, demos ao novo gerador de vídeo de IA Vidu.com para dar uma olhada. Os desenvolvedores gentilmente adicionaram 500 créditos à nossa conta para testes. O principal modelo da plataforma, o Vidu Q1, pode processar até sete imagens de referência em uma única sequência de vídeo. Os elementos que faltam podem ser gerados por meio de avisos de texto.
O que o senhor pode fazer com o Vidu?
Com a Vidu, o senhor pode gerar vídeos com IA usando essas ferramentas:
- Texto para vídeo: Digite um prompt descrevendo o que deve acontecer no vídeo
- Image to Video (Imagem para vídeo): Gerar um vídeo a partir de uma única imagem. Ainda mais legal: defina um quadro inicial e um final, e o Vidu preencherá a transição
- Referência para vídeo: O recurso mais interessante. Carregue imagens de personagens, locais ou objetos, e a IA tentará mantê-las consistentes em um vídeo.
a saída é Full HD, 16:9, com formato opcional de smartphone. Os vídeos podem até ser aprimorados, por exemplo, para 4K.
Experiência prática - curva de aprendizado, avisos precisos
Nosso plano ambicioso:
- Cena 1: Um editor do Notebookcheck está em um escritório testando um laptop.
- Cena 2: Ele digita uma classificação medíocre.
- Cena 3: Corta para outro escritório, onde homens de terno observam a filmagem de vigilância do editor digitando essa classificação ruim.
- Cena 4: Um dos engravatados aperta um botão de alarme.
- Cena 5: Uma equipe do tipo SWAT é enviada.
No total, mapeamos 10 cenas aproximadas.
1. Cena: Editor testando um laptop
Usamos uma foto antiga e não totalmente atualizada de um de nossos editores como referência de personagem, além de uma foto de escritório para o cenário. Acrescentamos o logotipo do Notebookcheck, um laptop e um logotipo fictício de uma marca de PC ("Lavani"). Em seguida, demos a seguinte sugestão:
Em resumo: nosso editor (Imagem 1) deve estar no escritório (Imagem 2), testando um laptop. Na parede de tijolos ao fundo, o logotipo do Notebookcheck (Imagem 3) deve aparecer.
A renderização de um clipe de 5 segundos com o modelo Vidu Q1 leva apenas de 1 a 2 minutos e custa de 15 a 20 créditos. O resultado?
Não ficamos muito satisfeitos com os seguintes problemas:
- Por que o penteado do nosso personagem não combina com a foto de referência? Ele permanecerá consistente em cenas posteriores?
- Por que o nosso logotipo de referência foi transformado em "notobochech"?
- Por que não foi incluído o ângulo de câmera "over-the-shoulder" solicitado?
- Por que o editor fica falando em um microfone o tempo todo?
Para os cineastas, isso torna difícil obter os ângulos de câmera e as configurações exatas que eles descrevem.
Ajustamos nosso prompt, mas quanto mais detalhes acrescentávamos, mais problemas apareciam. Agora o penteado estava correto, mas de repente havia dois editores gêmeos na tela. Em seguida, nosso editor passou direto por uma mesa.
A IA também teve dificuldades com o posicionamento do primeiro plano. E, apesar das repetidas solicitações, ela nunca produziu a foto solicitada por cima do ombro. Em resumo, nossas entradas de texto não foram seguidas com precisão.
Imagem para vídeo
Deixamos de lado nossa ambiciosa ideia de curta-metragem e tentamos fazer transições de imagem para vídeo e entre duas imagens de referência.
a primeira funcionou razoavelmente bem. Por exemplo, nossa imagem de Illidan (de *Warcraft 3*) foi transformada em um clipe curto. A câmera deu um zoom no rosto do caçador de demônios enquanto ele fazia uma careta. Devido a questões de direitos autorais, não mostraremos a imagem ou o vídeo aqui.
Por fim, testamos uma transição entre dois quadros:
- Illidan está de pé em uma rocha.
- Illidan aterrissa no chão.
A ideia: Illidan deveria saltar da rocha (Imagem 1) e aterrissar no chão (Imagem 2). Mas no vídeo gerado, Illidan se transformou em uma sombra preta, semelhante a um pássaro, no meio. Completamente inutilizável.
Resumo
Gerar vídeos com a Vidu.com é muito simples. Mas obter as cenas, os ângulos de câmera e as ações exatas que o senhor deseja é tudo menos isso. Os prompts não são seguidos à risca, as imagens de referência são distorcidas (logotipo, penteado), os objetos perdem a consistência física (caminhar por uma mesa) ou ocorrem outras falhas (editor duplicado).
Em suma, é um pouco frustrante e atualmente torna quase impossível criar vídeos realmente consistentes e adaptados à sua visão.
