Explication du super échantillonnage du Deep Learning (DLSS 2.0)

Le DLSS ou Deep Learning Super Sampling est la technique de Nvidia pour la mise à l'échelle intelligente, qui peut prendre une image rendue à une résolution inférieure et la mettre à l'échelle vers un écran de résolution plus élevée, offrant ainsi plus de performances que le rendu natif. Nvidia a introduit cette technique avec la première génération de la série de cartes graphiques RTX. Le DLSS n'est pas seulement une technique de mise à l'échelle ou de suréchantillonnage ordinaire, il utilise plutôt l'IA pour augmenter intelligemment la qualité de l'image qui a été rendue à une résolution inférieure afin de préserver la qualité de l'image. Cela peut, en théorie, fournir le meilleur des deux mondes car l'image affichée serait toujours de haute qualité tandis que les performances seront également améliorées par rapport au rendu natif.

Le DLSS peut même améliorer la qualité d'image dans Wolfenstein: Youngblood - Image: Nvidia

Besoin de DLSS

Alors, pourquoi avons-nous besoin de techniques de mise à l'échelle aussi sophistiquées pour obtenir plus de performances? Eh bien, la réalité est que la technologie des nouveaux moniteurs se développe à un rythme beaucoup plus rapide que la technologie de nos composants PC. Les moniteurs les plus récents peuvent fournir une résolution 4K nette avec des taux de rafraîchissement allant jusqu'à 144 voire 165 Hz. De nos jours, la plupart des joueurs considèrent le 1440p 144Hz comme le point idéal pour les jeux haut de gamme. La conduite de ces types de résolutions à ces taux de rafraîchissement nécessite beaucoup de puissance graphique. Dans les jeux modernes, seuls les meilleurs des meilleurs GPU peuvent gérer les jeux 4K 60 FPS avec tout réglé sur Ultra. Cela signifie que si vous souhaitez améliorer les performances mais que vous ne voulez pas trop compromettre la qualité de l’image, la technique de mise à l’échelle ou de suréchantillonnage DLSS peut être utile.



Le DLSS peut également être important pour les joueurs qui souhaitent viser une résolution 4K mais n'ont pas tout à fait la puissance graphique pour le faire. Ces joueurs peuvent se tourner vers DLSS pour cette tâche, car il rendrait le jeu à une résolution inférieure (par exemple 1440p), puis le passerait intelligemment à 4K pour une image nette mais toujours plus performante. Le DLSS peut être assez pratique pour les cartes graphiques RTX de milieu de gamme et d'entrée de gamme et permet aux utilisateurs de jouer à des résolutions plus élevées à des fréquences d'images confortables sans trop compromettre la qualité.



Tracé laser

Le Raytracing en temps réel est une autre grande fonctionnalité qui est poussée au premier plan du jeu sur PC. Nvidia a annoncé la prise en charge du raytracing avec sa nouvelle série de cartes graphiques RTX. Le lancer de rayons est une technique de rendu qui fournit un rendu précis du trajet de la lumière dans les jeux et autres applications graphiques, ce qui se traduit par une fidélité graphique beaucoup plus élevée, en particulier dans les ombres, les réflexions et l'illumination globale. Bien qu'il fournisse des graphismes époustouflants, le lancer de rayons a un impact important sur les performances. Dans de nombreux jeux, il peut en fait réduire de moitié le framerate, par rapport au rendu traditionnel. Entrez DLSS.



Le lancer de rayons s'accompagne d'un énorme succès en termes de performances - Image: Techspot

L'utilisation de la puissance du DLSS (et maintenant du DLSS 2.0 beaucoup amélioré) avec la série de cartes graphiques RTX peut atténuer une grande partie de la perte de performances associée au lancer de rayons et peut profiter d'une image raytraced plus fidèle tout en conservant un taux de rafraîchissement plus élevé. Cette technique est jugée extrêmement impressionnante par les critiques et le grand public en raison du fait qu'elle peut rendre le lancer de rayons réellement jouable à haute résolution, et il conserve presque exactement la même qualité d'image que l'image traditionnellement rendue. DLSS est une nécessité absolue avec Raytracing et Nvidia a fait un excellent travail en développant et en publiant ces deux techniques simultanément.

Upscaling traditionnel

Des techniques de mise à l'échelle et de suréchantillonnage ont également existé dans le passé. En fait, ceux-ci sont intégrés à presque tous les jeux modernes et même aux panneaux de contrôle de Nvidia et d'AMD. Ces techniques implémentent également la même méthode de mise à l'échelle de base que DLSS; ils prennent une image de résolution inférieure et la mettent à l'échelle pour l'adapter à un écran de résolution plus élevée. Alors, qu'est-ce qui les rend différents? La réponse se résume essentiellement à deux choses.



  • Qualité de sortie: La qualité de l'image de sortie des jeux traditionnellement mis à l'échelle est généralement inférieure à celle avec DLSS. En effet, DLSS utilise l'IA pour calculer et ajuster la qualité de l'image afin de minimiser la différence entre les images natives et mises à l'échelle. Un tel traitement n'existe pas dans les techniques de conversion ascendantes traditionnelles, de sorte que la qualité de l'image de sortie est inférieure à la fois au rendu traditionnel et au DLSS.
  • Coup de performance: Un autre gros inconvénient du suréchantillonnage traditionnel est la baisse des performances par rapport au DLSS. Cette mise à l'échelle peut rendre l'image à une résolution inférieure, mais elle n'apporte pas une amélioration des performances presque suffisante pour justifier la perte de qualité d'image. DLSS atténue ce problème en augmentant considérablement les performances, tout en conservant une qualité d'image extrêmement proche de la qualité native. C'est pourquoi DLSS est étiqueté comme «la prochaine grande chose» par de nombreux experts et critiques technologiques.

Ce qui rend DLSS unique

DLSS est une technologie qui a été développée par Nvidia, qui est le leader mondial des travaux révolutionnaires comme le Deep Learning et l'Intelligence Artificielle. Il est compréhensible que DLSS ait quelques astuces dans sa manche qui échappent aux techniques traditionnelles de mise à l'échelle.

Mise à l'échelle de l'IA

DLSS exploite la puissance de l'IA pour calculer intelligemment comment rendre l'image à une résolution inférieure tout en conservant une qualité maximale intacte. Il utilise la puissance des nouvelles cartes RTX pour effectuer des calculs complexes, puis utilise ces données pour ajuster l'image finale afin de la rendre aussi proche que possible du rendu natif. Il s'agit d'une technologie extrêmement impressionnante qui, nous l'espérons, continuera à se développer car beaucoup ont même surnommé le DLSS «l'avenir du jeu».

Tenseur de couleurs

Nvidia a mis des cœurs de traitement dédiés sur la série de cartes graphiques RTX, appelées Tensor Cores. Ces cœurs agissent comme des sites de calcul pour l'apprentissage en profondeur et les calculs d'IA. Ces cœurs rapides et très avancés sont également utilisés pour les calculs DLSS. La technologie DLSS utilise les fonctionnalités d'apprentissage en profondeur de ces cœurs afin de préserver la qualité et de fournir des performances maximales tout en jouant. Cependant, cela signifie également que DLSS est uniquement limité à la suite de cartes graphiques RTX avec des cœurs Tensor, et ne peut pas être utilisé sur les anciennes séries de cartes GTX ou sur les cartes d'AMD pour cette question.

Les cœurs Tensor de Nvidia gèrent le traitement requis pour DLSS - Image: Nvidia

Aucun impact sur la qualité visuelle

La caractéristique principale du DLSS est sa conservation extrêmement impressionnante de la qualité. En utilisant la conversion ascendante traditionnelle utilisant les menus du jeu, les joueurs peuvent certainement remarquer un manque de netteté et de netteté du jeu après qu'il a été rendu à une résolution inférieure. Ce n'est pas un problème lors de l'utilisation de DLSS. Bien qu'elle rende l'image à une résolution inférieure (souvent jusqu'à 66% de la résolution d'origine), l'image mise à l'échelle résultante est bien meilleure que ce que vous obtiendriez de la conversion ascendante traditionnelle. C'est tellement impressionnant que la plupart des joueurs ne peuvent pas faire la différence entre une image rendue nativement à une résolution plus élevée et une image mise à l'échelle par DLSS. Il s'agit d'un exploit révolutionnaire dans le domaine du jeu vidéo, car les joueurs recherchent toujours un équilibre entre qualité et performances. Avec DLSS, ils ont une chance d'obtenir les deux.

DLSS n'offre aucun compromis sur la qualité visuelle. - Image: Nvidia

Gains de performance significatifs

L'avantage le plus notable de DLSS et sans doute toute la motivation derrière son développement est l'augmentation significative des performances lorsque le DLSS est activé. Cette performance vient du simple fait que DLSS rend le jeu à une résolution inférieure, puis le met à l'échelle à l'aide de l'IA afin de correspondre à la résolution de sortie du moniteur. En utilisant les fonctionnalités d'apprentissage en profondeur de la série de cartes graphiques RTX, DLSS peut produire l'image dans une qualité qui correspond à l'image rendue nativement.

Contrôle à l'aide du mode Qualité DLSS offre des performances et une qualité d'image bien meilleures que le rendu natif - Image: Nvidia

Rend le lancer de rayons jouable

Le lancer de rayons est sorti de nulle part en 2018 et est soudainement devenu l'avant-garde du jeu sur PC avec Nvidia poussant cette fonctionnalité à fond et même en qualifiant ses nouvelles cartes graphiques de «RTX» au lieu de leur schéma de dénomination GTX habituel. Bien que le lancer de rayons soit une fonctionnalité intéressante et unique qui augmente la qualité visuelle du jeu, l'industrie du jeu n'est pas encore prête à passer complètement au rendu par lancer de rayons par rapport au rendu rasterisé traditionnel.

Une des principales raisons à cela est le succès des performances du Raytracing. En activant simplement le lancer de rayons, certains jeux peuvent subir une perte de performances allant jusqu'à la moitié de la fréquence d'images d'origine. Cela signifie que vous compromettez considérablement les performances, même sur les cartes graphiques les plus haut de gamme.

C'est là qu'intervient DLSS. DLSS peut réellement rendre cette nouvelle fonctionnalité jouable même dans les jeux les plus exigeants. En rendant l'image à une résolution inférieure et en la convertissant ultérieurement sans aucune perte de qualité visuelle, le DLSS peut compenser les performances que le Raytracing apporte normalement aux jeux. C'est pourquoi la plupart des jeux prenant en charge Raytracing prennent également en charge DLSS afin qu'ils puissent être utilisés ensemble pour une expérience presque parfaite.

Gains de performances significatifs dans le contrôle lorsque DLSS est activé avec RayTracing - Image: Nvidia

Préréglages personnalisables

DLSS 2.0 améliore encore le cadre établi par DLSS et introduit des préréglages plus personnalisables. Les utilisateurs peuvent désormais choisir parmi 3 préréglages appelés Qualité, Équilibré et Performance. Les 3 préréglages améliorent les performances à certains égards, tandis que le préréglage Qualité peut même améliorer la qualité de l'image par rapport au rendu natif! DLSS 2.0 a maintenant également introduit un préréglage Ultra Performance pour les jeux 8K avec la GeForce RTX 3090 qui rend réellement possible les jeux 8K.

Le nouveau DLSS 2.0 s'améliore massivement par rapport à la première génération - Image: Nvidia

Sous la capuche

Nvidia a expliqué les mécanismes derrière sa technologie DLSS 2.0 sur son site officiel. Nous savons que Nvidia utilise un système appelé Neural Graphics Framework ou NGX, qui utilise la capacité d'un supercalculateur alimenté par NGX à apprendre et à s'améliorer dans les calculs d'IA. DLSS 2.0 a deux entrées principales dans le réseau AI:

  • Images à faible résolution et alias rendues par le moteur de jeu
  • Basse résolution, vecteurs de mouvement à partir des mêmes images - également générés par le moteur de jeu

Nvidia utilise ensuite un processus appelé retour temporel pour «estimer» à quoi ressemblera la trame. Ensuite, un type spécial d'auto-encodeur AI prend l'image actuelle à basse résolution et l'image précédente à haute résolution pour déterminer pixel par pixel comment générer une image actuelle de meilleure qualité. Nvidia prend également simultanément des mesures pour améliorer la compréhension du supercalculateur du processus:

Pendant le processus de formation, l'image de sortie est comparée à une image de référence 16K rendue hors ligne et de très haute qualité, et la différence est communiquée au réseau afin qu'il puisse continuer à apprendre et à améliorer ses résultats. Ce processus est répété des dizaines de milliers de fois sur le supercalculateur jusqu'à ce que le réseau produise de manière fiable des images de haute qualité et haute résolution.

Une fois le réseau formé, NGX fournit le modèle AI à votre PC ou ordinateur portable GeForce RTX via des pilotes Game Ready et des mises à jour OTA. Avec les Tensor Cores de Turing fournissant jusqu'à 110 téraflops de puissance IA dédiée, le réseau DLSS peut être exécuté en temps réel simultanément avec un jeu 3D intensif. Cela n’était tout simplement pas possible avant Turing et Tensor Cores.

Soutien

DLSS est une technologie relativement nouvelle qui n'en est qu'à ses débuts. Alors que de plus en plus de jeux commencent à prendre en charge cette fonctionnalité, il existe encore un énorme catalogue de jeux plus anciens qui ne la prendront probablement jamais en charge. Cependant, nous pouvons nous attendre à d'énormes investissements dans DLSS et Raytracing car Nvidia et AMD prennent désormais en charge ces fonctionnalités (AMD est censé annoncer bientôt un concurrent DLSS), ainsi que les consoles de nouvelle génération, la PlayStation 5 et la Xbox Series X.

Récemment, avec la sortie de la série RTX 3000, Nvidia a élargi son catalogue de jeux prenant en charge cette fonctionnalité. DLSS 2.0 arrive maintenant sur Cyberpunk 2077, Call of Duty: Black Ops Cold War, Fortnite, Watch Dogs Legion, Boundary et Bright Memory: Infinite. D'autres titres notables qui prennent déjà en charge DLSS 2.0 incluent Death Stranding , Hymne , F1 2020, Control, Deliver Us The Moon, MechWarrior 5 et Wolfenstein: Youngblood.

La liste des jeux prenant en charge DLSS 2.0 continue de s'allonger - Image: Nvidia

Bien que cette bibliothèque ne soit en aucun cas gigantesque, il faut garder à l'esprit le potentiel futur d'une technologie aussi impressionnante que le DLSS. Avec son amélioration massive des performances et son ensemble de fonctionnalités diversifiées, DLSS peut être la pièce maîtresse du jeu dans un proche avenir, en particulier avec des technologies révolutionnaires telles que le Raytracing qui poussent au premier plan. Nvidia affirme également que sa technologie DLSS continue d'apprendre et de s'améliorer grâce à l'IA, ce qui est une bonne chose pour tous les joueurs sur PC désireux de profiter de visuels époustouflants à des fréquences d'images élevées.

Conclusion

DLSS ou Deep Learning Super Sampling est une technologie incroyablement impressionnante développée par Nvidia. Il offre une grande amélioration des performances par rapport au rendu natif traditionnel, sans compromettre du tout la qualité de l'image. Ceci est possible grâce à un travail approfondi dans les domaines de l'IA et de l'apprentissage profond par Nvidia.

Tirant parti de la puissance de la série de cartes graphiques RTX, DLSS peut fournir une qualité d'image presque indiscernable à la résolution native, tout en offrant une grande bosse de framerate qui peut rendre le Raytracing et des résolutions plus élevées comme 4K jouables. DLSS continue d'élargir sa bibliothèque de jeux pris en charge et nous espérons qu'elle continuera à s'améliorer afin que les joueurs puissent profiter des visuels qu'ils aiment aux fréquences d'images qu'ils souhaitent.

29 novembre 2020 8 minutes de lecture