NVIDIA 神经纹理压缩提供比标准压缩高 4 倍的分辨率，内存减少 30%

　　在题为“材质纹理的随机访问神经压缩”的论文中，NVIDIA 提出了一种新的纹理压缩算法。这项工作针对的是对计算机内存日益增长的需求，它现在存储高分辨率纹理以及附加到它们的许多特性和属性，以渲染高保真和自然外观的材料。

　　据说 NTC 提供的分辨率比 BC(块压缩)高 4 倍(纹素多 16)，BC 是一种基于 GPU 的标准纹理压缩，可用于多种格式。NVIDIA 的算法将纹理表示为张量(三维)，但没有像块压缩那样的任何假设(例如通道数)。NTC 唯一假设的是每个纹理都具有相同的大小。

　　随机和本地访问是NTC的一个重要特征。对于 GPU 纹理压缩，最重要的是即使在应用高压缩率时，也可以无延迟地以较小的成本访问纹理。该论文称，这项研究的重点是将许多通道和 mipmap(不同大小的纹理)压缩在一起，通过这样做，质量和比特率优于 JPEG XL 或 AVIF 格式。

　　渲染中照片写实主义的不断进步伴随着纹理数据的增长，从而增加了存储和内存需求。为了解决这个问题，我们提出了一种专门为材质纹理设计的新型神经压缩技术。我们解锁了两个以上的细节级别，即多 16 倍的纹素，使用低比特率压缩，图像质量优于高级图像压缩技术，如 AVIF 和 JPEG XL。同时，我们的方法允许按需实时解压缩和随机访问，类似于 GPU 上的块纹理压缩。这将我们的压缩优势从磁盘存储扩展到内存。我们方法背后的关键思想是将多个材质纹理及其 mipmap 链压缩在一起，并使用小型神经网络，针对每种材料进行了优化，以对其进行解压缩。最后，我们使用自定义训练实现来实现实用的压缩速度，其性能超过一般框架(如 PyTorch)一个数量级。

　　— 材质纹理的随机访问神经压缩，NVIDIA

　　与需要定制硬件的常见 BCx 算法不同，该算法使用矩阵乘法方法，现在现代 GPU 对其进行了加速。根据该论文，由于较低的磁盘和内存限制，这使得 NTC 算法更实用、更强大。

　　根据该论文，神经纹理可以实时渲染，纹素比 BC 方法多 16 倍。4K 渲染的成本为 1.15 毫秒，高于 0.49 毫秒(在 RTX 4090 上测量)。更多信息将在 8 月 6 日的 SIGGRAPH 2023 上公布。