【GAMES101】Lecture 09 纹理贴图 点查询与范围查询 Mipmap

目录

纹理贴图

纹理放大-双线性插值

点采样纹理所带来的问题

Mipmap

各向异性过滤

纹理贴图

我们在之前的着色里面说过如何给物体上纹理，就是对于已经光栅化的屏幕点，就是每个像素的中心，去寻找对应纹理的映射位置的纹理颜色，去改变这个反射模型的反射系数kd

但如果直接简单这么做的话会出现一些问题，比方说我的渲染分辨率是这个4k的但是呢我的纹理图只有480p，那这个纹理就需要放大对不对，那就会出现多个像素映射到同一个纹理上，就会出现这种这个这个马赛克的感觉

如何来解决这个问题，可以看到中间的这个Bilinear，叫双线性插值

纹理放大-双线性插值

比分说下面这个红色的像素点要上纹理，那简单处理的话就选取离他最近的这个纹理给他，就是他右上方的黑点，那这样就会出现多个像素点是同一个纹理的情况，那么就会出现这个方块感

显然我们不喜欢这样，那双线性插值怎么做呢？考虑这个像素点对应的周围四个纹理 

去计算它到这个左下角水平和垂直的距离t和s，我们的这个纹理坐标之间的距离都是1，那么这个s和t就是0到1的范围，说白了这就是个比值

我们定义这样一种一维的线性插值操作，让lerp(x,v0,v1)的值在v0和v1之间，那这个值是多少呢，这个值的大小为v0+x(v1-v0)，这实际上就是v0到v1的一个平滑过渡

那双线性插值怎么做呢，先根据线性插值算出上下u0和u1两个点的纹理值 ，然后根据u0和u1再做线性插值算出像素点的纹理值就行了

这就是bilinear的效果，但是你可以看到右边这个Bicubic，这个叫什么双三次插值的效果要更好一些，那这个简单说一下怎么做的，bilinear是选取了周围临近的四个点计算是吧，这个bicubic选取了邻近的16个点进行计算，它是先四个四个计算一下，然后再计算四个得到的结果

然后这里我们讲了纹理放大的问题，实际上呢这个分辨率比这个纹理小也会出现一些问题，就是说这个纹理太大了

点采样纹理所带来的问题

那对于左边这个格子图如果我们直接使用之前的纹理一一映射就会出现这个右图的问题，近处会出现这个锯齿，远处会出现这个摩尔纹

为什么会这样呢，这是因为远处的这个像素点会覆盖到很多的纹理点，那像这个近处的像素点，我取像素中心对应的纹理说这个像素点的纹理就是这个，那这个没问题，但是对于远处的像素点，它明明覆盖了很大的一片纹理区域是不是，如果还取像素中心对应的纹理作为这个像素的纹理那是不是不太对，应该取这一片纹理区域的平均值才对是不是

那这个和我们之前说的坑锯齿有点像是不是，之前说的MSAA超采样，对于一个像素点，我把它变成多个小像素点进行采样，再去计算这个像素值，下面就是1变512的效果，这个有用还是有用，就是贵是不是，消耗大

其实我们想要的就是这个覆盖区域的平均值，如果我们能够立刻得到这个像素点对应的覆盖纹理区域的平均值是不是就行了，这就是Mipmap做的

Mipmap

Mipmap允许做快速的、近似的、方形的范围查询

对于一幅纹理图，我们可以将它进行平均处理，每次进行2×2的平均，得到log2张图，这里我们增加的存储消耗是原来的三分之一，你可以做一个等比求和，当然闫神给出了更巧妙的计算方法，对于原来这个level0的图，level1的图是不是可以覆盖它的四分之一，如果放上三份level1的图是不是会剩下一个角，这个角是不是可以放下三份level2，然后又会剩下一个角，又可以放下三份level3

依次类推可以放下三份增加存储，即增加的存储是原来的三分之一

那这些图有什么用呢，这里其实是提前计算出一定大小的方形区域内的平均值，这样在上纹理的时候，如果知道我这个像素点覆盖了多少纹理，就知道处于哪个level，就可以立即知道这个纹理区域的平均值是多少了

那怎么知道这个像素覆盖了多少纹理呢？对于一个像素点来说，我们取它两个方向的邻居，去找出它们在纹理坐标上的最大距离L

 然后这个距离L，就作为我这个纹理覆盖区域方向的边长，那么level就是log2L

这样做还是有点问题是什么呢，就是这个level它不一定是整数，我们的层级都是离散的，那我处于level0和level1之间怎么办呢

没错就是在两个层级之间用插值，又称为三线性插值，Trilinear Interpolation，先在两层做一次这个双线性插值，然后再做一次线性插值

 这样看起来就会光滑许多

各向异性过滤

其实用了这个Mipmap效果还是有点不太好，有点过度模糊了，为什么呢？

这是因为Mipmap做的是近似的方形查询，那我这个像素点覆盖的纹理区域不一定是这个方形的，有这个矩形的，还有这个斜着的，那不就出事了

那这里就又出现了这个各向异性过滤， 提供不同方向的压缩，这就提供了矩形的查找，然后这个增加的空间消耗是向三倍靠拢，考虑极限原来的纹理占据空间的四分之一

那还是不太行啊，我这个斜着的用矩形也不对啊，这就出现了这个EWA过滤，用这个椭圆，多次查询去处理这个不规则的压缩