Nvidia exibe NPCs interativos e reconstrução de raios DLSS 3.5 que chegarão a todas as GPUs RTX neste outono

Além de anunciar uma remasterização de Remasterização RTX do Half-Life 2 na Gamescom 2023, a Nvidia também mostrou algumas melhorias em suas tecnologias RTX. Elas incluem um modelo de linguagem grande (LLM) para personagens não jogáveis (NPCs) no jogo e uma atualização importante do DLSS 3.5 que oferece melhores efeitos de iluminação por meio da Reconstrução de Raios.

Nvidia ACE e NeMo SteerLM

Os NPCs contribuem para a imersão em um mundo de jogo, mas é uma tarefa hercúlea para os desenvolvedores programar distintamente todos os NPCs em um jogo. A Nvidia mostrou pela primeira vez seu Avatar Cloud Engine (ACE) durante a Computex 2023, que aproveita a IA para trazer inteligência aos NPCs.

O ACE se baseia em três componentes principais alimentados por IA - NeMo LLM, reconhecimento automático de fala (ASR) Riva e recursos de conversão de texto em fala (TTS), e Omniverse Audio2Face, que pode criar animação facial a partir de uma fonte de áudio.

Agora, a empresa está ampliando o ACE com o NeMo SteerLM, que é um LLM que acrescenta personalidade e emoção aos NPCs para aumentar o realismo. O SteerLM permite que os jogadores definam e ajustem a interação com o personagem de maneira semelhante à forma como os LLMs podem ser orientados usando avisos de linguagem natural. O SteerLM também permite que os desenvolvedores permitam que os modelos sejam influenciados por eventos no mundo do jogo.

O DLSS 3.5 traz a Reconstrução de Raios para todas as GPUs RTX

A Nvidia apresentou o DLSS 3 com Frame Generation que aproveita os núcleos Tensor de 4ª geração e os aceleradores de fluxo óptico nas GPUs da série RTX 40. Agora, na Gamescom 2023, a Nvidia está trazendo a capacidade de incluir pipelines de traçado de raio com o DLSS 3.5.

Um pipeline de traçado de raios tradicional coleta amostras de raios para reflexos e iluminação global que, em seguida, são submetidos à redução de ruído. No DLSS, isso é realizado em uma resolução mais baixa e, em seguida, é ampliado. No entanto, o uso de denoisers, embora essencial, pode resultar em iluminação imprecisa e, ao mesmo tempo, remover informações, como cores.

Atualmente, os desenvolvedores utilizam o Nvidia Real-time Denoiser (NRD), que é uma grande melhoria em relação à solução SVGF (Spatiotemporal Variance-Guided Filtering) usada anteriormente. Os rumores indicam que a Nvidia incluirá um acelerador de denoising diretamente no pipeline RT com as próximas placas RTX 50 Blackwell.

No entanto, isso é apenas especulação, e a RTX 50 ainda está a alguns anos de distância de ver a luz do dia. Por enquanto, a Nvidia pretende superar as limitações de denoising com o DLSS 3.5, que traz o Ray Reconstruction (RR) com tecnologia de IA.

Segundo a empresa, o RR é treinado com 5 vezes mais dados do que o DLSS 3 e é uma solução superior, treinada para reconhecer vetores de movimento e efeitos de traçado de raios, além de ser capaz de diferenciar pixels bons de pixels. A rede de IA também é treinada para reter informações vitais para gerar um upscale de alta qualidade.

De acordo com a Nvidia, a ativação do DLSS 3.5 não deve afetar muito o desempenho geral do jogo. Ao contrário do DLSS 3.0 Frame Generation (FG), que usa explicitamente os aceleradores de fluxo óptico nas GPUs da série RTX 40, o DLSS 3.5 RR funcionará em todas as placas RTX.

O DLSS 3.5 chegará neste outono a jogos como Cyberpunk 2077: Phantom Liberty, Portal com RTX e Alan Wake 2 e será compatível com plataformas como Omniverse, Chaos Vantage e D5 Render.