O Fish Audio Drama 3 permite que vozes de IA mudem de emoção no meio da frase

Fish Audio lançou o Drama 3, um modelo de conversão de texto em fala concebido para fazer com que os diálogos gerados por IA soem menos como alguém a ler um guião e mais como uma verdadeira interpretação. Lançado a 13 de outubro, o modelo permite aos criadores controlar as emoções, o ritmo e a expressão vocal usando linguagem comum.

Em vez de dependerem de predefinições básicas de voz, os utilizadores podem inserir instruções diretamente nos seus guiões. Uma personagem pode começar a falar calmamente, ficar cada vez mais frustrada e terminar uma frase num sussurro, tudo sem alternar entre gravações separadas. Até os atores sintéticos têm agora de seguir indicações de direção.

O Drama 3 também suporta conversas com várias personagens e 83 idiomas. As instruções podem ser aplicadas a palavras ou passagens individuais, permitindo aos criadores dar ênfase a expressões específicas sem alterar o resto do guião.

Segundo a Fish Audio, o modelo alcançou 93,2% de precisão no benchmark Pronunciation Robustness da Artificial Analysis, em comparação com 88,1% do seu antecessor, S2.1 Pro. No entanto, a precisão da pronúncia não garante necessariamente interpretações emocionais convincentes.

A empresa também está desenvolvendo duas ferramentas avançadas de edição. O Interactive Editing permitirá que os usuários refinem as interpretações por meio de instruções adicionais, enquanto o Audio Inpainting foi concebido para substituir palavras individuais sem gerar novamente gravações inteiras. Ambos continuam em testes limitados, disponíveis apenas por convite.

O Drama 3 está disponível no site, nos aplicativos móveis e na API da Fish Audio. Os pesos do modelo também podem ser baixados, embora o uso comercial esteja sujeito a restrições de licenciamento.

Até 12 de novembro, o acesso à API custa US$ 10 por milhão de caracteres, um desconto de 80% em relação ao preço normal de US$ 50. Novas assinaturas para criadores também têm desconto de 50% durante o período promocional.