A Nvidia esclarece que o DLSS 5 infere em capturas de tela 2D mais vetores de movimento e não usa geometria, texturas ou iluminação existentes

Imediatamente após a reação do público provocada pelo anúncio do DLSS 5, a Nvidia forneceu informações adicionais sobre a tecnologia subjacente na qual a tecnologia futura se baseia, mas a maioria das declarações ainda não estava clara e passível de interpretação. O senhor Daniel Owen entrou em contato diretamente com Jacob Freeman, da Nvidia, para esclarecer todo o palavreado cuidadosamente elaborado das declarações oficiais e explicar o que o DLSS 5 realmente faz. A Nvidia optou por responder por e-mail em vez de organizar uma conversa ao vivo.

1. Owen começa com a pergunta mais importante. O que o DLSS 5 está realmente fazendo nos bastidores? O pessoal da Digital Foundry já sugeriram isso em sua análise extensa, então Owen foi em frente e perguntou se o DLSS 5 está apenas pegando um quadro 2D (uma captura de tela do que é exibido na tela) combinado com vetores de movimento e, em seguida, produz o resultado.
   
   O funcionário da Nvidia confirmou isso de forma clara e simples. Portanto, o DLSS 5 está transformando a saída da tela em sua entrada que, em seguida, passa por um modelo de IA generativo para "aprimorá-la". O resultado final é renderizado sobre o mecanismo de jogo
   
2. A próxima pergunta tem o objetivo de esclarecer se o DLSS 5 pode, de alguma forma, analisar a geometria e a profundidade 3D ou se está apenas reinterpretando a imagem 2D da melhor forma possível para torná-la mais realista com base na inferência.
   
   "O DLSS 5 é treinado de ponta a ponta para entender a semântica de cenas complexas, como personagens, cabelos, tecidos e pele translúcida, além de condições de iluminação ambiental, como iluminação frontal, traseira ou nublada - tudo isso analisando um único quadro."
   
   Aqui, a Nvidia parece se esquivar completamente da parte da geometria 3D, mas sua resposta sugere que o DLSS 5 não tem nada a ver com geometria 3D
   
3. Se a geometria e as texturas subjacentes permanecem inalteradas, como a Nvidia afirma em sua cartilha oficial, então por que alguns exemplos exibem texturas modificadas, embora sutilmente, mas ainda assim aparentemente diferentes em comparação com a renderização original? Owen inclui um exemplo com um personagem masculino de Starfield que parece ter mais cabelo em sua têmpora esquerda após o tratamento DLSS 5.
   
   A Nvidia se esquivou completamente dessa pergunta e afirmou que a geometria subjacente não foi alterada e que o que foi apresentado é apenas uma prévia da tecnologia. O senhor então se arrisca a dizer que a geometria pode não ser alterada, mas o resultado final que aparece na tela pode muito bem ser o que o DLSS 5 considerar correto por meio de inferência. Além disso, se essa é uma versão inicial, a Nvidia deve aproveitar todo o feedback e melhorar o que a tecnologia pode fazer
   
4. Na cartilha oficial, a Nvidia afirma que o DLSS 5 aprimora as propriedades de PBR em materiais. Owen quer esclarecer se o DLSS 5 está realmente usando as especificações PBR do desenvolvedor do jogo incluídas no mecanismo do jogo (propriedades do material, rugosidade, mapas normais etc.) como entradas ou se o DLSS 5 está apenas inferindo todas as propriedades PBR.
   
   A Nvidia responde que o DLSS 5 usa apenas o quadro renderizado e os vetores de movimento como entradas, enquanto os materiais são inferidos a partir do quadro renderizado. Owen argumenta que esse esclarecimento qualifica as declarações oficiais sobre o aprimoramento da propriedade PBR como enganosas
   
5. Essa pergunta é bastante complexa, pois trata da preservação da intenção artística. Essencialmente, Owen pergunta se os desenvolvedores de jogos podem controlar algo além da gradação de cores, além de diminuir a intensidade do recurso DLSS 5 ou mascará-lo completamente em objetos/personagens específicos. Ele dá um exemplo com a cena de abertura do RE: Requiemem que Grace originalmente parece não usar maquiagem, mas a renderização do DLSS 5 mostra que ela está usando maquiagem. Em outras palavras, os desenvolvedores podem, de alguma forma, instruir o DLSS 5 a renderizar Grace sem usar maquiagem?
   
   A Nvidia dá uma resposta longa que é tirada diretamente da cartilha e não fornece uma resposta sobre a possibilidade de instruir o DLSS 5 a renderizar algo de uma maneira específica. Da forma como está agora, parece que a versão inicial não pode realmente preservar a intenção artística, mas podemos ser otimistas e dizer que isso pode mudar com feedback suficiente
   
6. O DLSS 5 está realmente limitado ao espaço da tela e, portanto, não está ciente das fontes de luz fora da tela, dos reflexos, da oclusão do ambiente e das sombras?
   
   A Nvidia confirma que o DLSS 5 está realmente limitado ao espaço da tela, o que significa que ele nem mesmo entende o traçado de raios. Então, por que os jogadores ativariam o ray tracing nos jogos se o DLSS 5 não leva em conta esses cálculos complexos que exigem tanto poder de processamento? Devemos entender que o DLSS 5 pode substituir completamente o ray tracing e, em caso afirmativo, ele o faz de uma maneira mais eficiente que requer menos poder de processamento? O uso de duas placas RTX 5090 claramente não ajuda a demonstrar eficiência
   
7. A última pergunta não está diretamente relacionada ao DLSS 5, mas Owen pergunta se a introdução do DirectML ao DirectX para aceleração agnóstica de hardware de tarefas de ML em jogos pode significar que tecnologias proprietárias como o DLSS 5 podem, em algum momento, tornar-se código aberto para funcionar em qualquer marca de hardware.
   
   A Nvidia diz que não tem nada a anunciar a esse respeito no momento, portanto, não está negando completamente a possibilidade, de alguma forma deixando a porta ligeiramente aberta para um vislumbre de esperança.