PixRestore 香港理工联合OPPO推出的统一图像修复模型
PixRestore是什么
PixRestore 是香港理工大学与 OPPO 研究院联合推出的统一图像修复模型。模型采用像素空间 Diffusion Transformer 直接在像素层面进行 flow matching，避免细节损失。PixRestore通过 DINO 驱动的自适应层特征路由，仅 53.7M 参数的轻量模型即可高效处理超分辨率、去噪、去模糊、去雨、去雾等 8 种退化任务，单步推理仅需 44 毫秒，在保真度与效率上均达到领先水平。
PixRestore的主要功能
超分辨率 ：将低分辨率图像恢复为细节丰富的高清图像。
图像去噪 ：去除画面中的随机噪声颗粒，还原干净纹理。
运动去模糊 ：消除因运动或失焦造成的模糊，恢复锐利边缘。
雨线去除 ：清除密集雨线对画面的干扰，还原背景内容。
雨滴去除 ：消除玻璃或镜头表面的雨滴遮挡，恢复清晰视野。
图像去雾 ：驱散大气雾霾导致的朦胧感，提升画面通透度与色彩。
去雪处理 ：去除图像中的雪花噪点，恢复场景原本面貌。
低光照增强 ：提升暗光环境下的亮度与细节，改善画面可见性。
PixRestore的技术原理
像素空间扩散 Transformer ：PixRestore 直接在像素层面执行 flow matching，完全摒弃 VAE 编码器，避免潜在空间压缩导致的高频细节丢失，同时摆脱对 T2I 预训练模型的依赖，确保修复结果与原始内容高度一致。
自适应层特征路由 ：模型利用 LQ–HQ 图像的 DINO 特征相似度，动态评估视觉编码器各层特征的可靠性；将可靠层融合为密集条件注入 DiT，对不可靠层则施加更强的高质量特征监督，从而自适应地去除不同退化。 单步高效推理 ：在完整训练后，PixRestore 通过基于 DINO 的对抗目标进一步微调为单步生成器，仅 53.7M 参数即可在 44ms 内完成推理，在保真度、感知质量与计算效率之间实现最佳平衡。
如何使用PixRestore
环境配置 ：从 GitHub 克隆 PixRestore 代码仓库并安装所需依赖。 模型获取 ：从 Hugging Face 下载预训练的模型权重文件。 图像准备 ：准备待修复的低质量图像，支持超分辨率、去噪、去模糊等 8 种退化类型。 执行推理 ：运行推理脚本，模型默认单步推理，约 44ms 即可输出修复结果。 结果保存 ：获取并保存高质量修复图像，直接用于后续应用。
PixRestore的核心优势
像素级保真 ：直接在像素空间进行扩散建模，彻底规避 VAE 编码导致的高频细节丢失与内容伪影。
极致轻量高效 ：仅 53.7M 参数，单步推理仅需 44 毫秒，计算开销远低于主流潜在扩散修复方案。
统一多任务覆盖 ：单一模型可处理超分辨率、去噪、去模糊、去雨、去雾、去雪、低光照增强等 8 种退化。
自适应退化感知 ：通过 DINO 特征相似度动态评估各层可靠性，实现退化去除与细节保留的智能权衡。
独立训练范式 ：无需依赖任何文本到图像预训练模型，完全从头训练，避免生成先验引入的内容偏差。
性能全面领先 ：在公开基准与真实世界测试集上，保真度、感知质量与退化去除能力均优于现有统一修复模型。
PixRestore的项目地址
项目官网 ：https://csslc.github.io/pixrestore-page
GitHub仓库 ：https://github.com/csslc/PixRestore
HuggingFace模型库 ：https://huggingface.co/VCLab-PolyU/PixRestore
arXiv技术论文 ：https://arxiv.org/pdf/2608.16793
PixRestore的同类竞品对比
对比维度 | PixRestore | PixelHacker
对比维度 | PixRestore | PixelHacker |
|---|---|---|
核心任务 | 统一图像修复（UIR）：去除超分辨率、去噪、去模糊、去雨、去雾、去雪、低光照增强等 8 种退化 | 图像修复（Inpainting）：根据掩码填充图像中的缺失区域，恢复结构与语义一致性 |
技术架构 | 像素空间 Diffusion Transformer，无 VAE，从头训练 | 潜在扩散模型（Latent Diffusion），基于 VAE 编码器，将特征从像素空间转换到潜在空间 |
参数量 | 53.7M（轻量） | 未公开具体参数，基于标准扩散 U-Net，参数量通常在数亿级别 |
推理效率 | 单步 44ms，计算量约 658G FLOPs | 多步迭代去噪，需数十步采样，推理延迟显著更高 |
条件输入 | 仅需低质量（LQ）图像，自动感知退化类型 | 需输入图像 + 掩码（Mask），明确指定待修复区域 |
训练数据 | 大规模多样化场景与退化配对数据 | 1400 万张图像-掩码对，基于前景（116 类）与背景（21 类）标注 |
特征注入方式 | DINO 驱动的自适应层特征路由，动态融合多层视觉特征 | 潜在类别引导（LCG），通过线性注意力间歇性注入前景/背景嵌入 |
PixRestore的应用场景
手机端实时拍照增强 ：用 44ms 超低延迟，在 OPPO 等移动设备上实时修复夜景噪点、运动模糊与雨滴遮挡，提升成片质量。
自动驾驶与无人机视觉 ：在雨雾雪等恶劣天气下，统一去除图像退化，恢复道路标志与障碍物细节，增强感知系统可靠性。
监控视频画质修复 ：对老旧或低码率监控录像进行超分辨率与去噪处理，还原人脸与车牌等关键信息，辅助安防取证。
老照片与历史档案数字化 ：统一修复褪色、划痕、霉斑与低光照问题，将珍贵历史影像高效转换为高保真数字档案。
医学影像增强 ：提升内窥镜、显微镜等在低光照下的成像质量，去除噪声与模糊，辅助医生更清晰地观察病灶细节。
