Learning Controllable ISP for Image Enhancement
本文是首尔国立大学2023年发表在TIP期刊上的一篇文章,主要提出一种可控的图像信号处理器(Controllable Image Signal Processor,简称CRISP
),用于图像增强,且允许用户灵活地控制图像的风格。点击最后的阅读原文
查看论文全文
Introduction
传统的ISP由于调参过程复杂,常常会将参数固定下来,只能生成单一风格的图像输出,难以满足用户对多样化图像风格的需求。同时,现有的深度学习方法计算量大或存储需求大(如需要存储3D LUT),效率较低。针对这些问题,作者提出了可控的图像信号处理器(Controllable Image Signal Processor,CRISP),用一个神经网络根据用户的喜好生成ISP的参数。主要的贡献点有:
首创可控ISP: 提出了一个基于自编码器的可控ISP(CRISP),能够通过调整ISP的参数生成多种高质量的图像风格。
高效的插件式ISP: CRISP采用了一个高效的即插即用 ISP,仅包含19个参数,每像素所需的计算量少于100 FLOPs。
多种风格控制场景: CRISP可以通过将图像风格编码成低维特征向量,轻松控制输出图像风格,并适用于多种实用的风格调整场景。
性能优越: CRISP在图像质量(MOS, PSNR)和模型效率(计算量, 参数数量)方面均