如何在 iPhone 上用 AI 提升老视频画质——AI App ReMaster 的使用方法与原理

在 iPhone 上用 AI 提升老视频画质

用早年的智能手机、数码相机或功能机拍的视频,放到如今的 iPhone 或电视上看会显得模糊,压缩造成的方块状噪点也很明显。这是因为分辨率只有 640×480 或 1280×720 的老视频,被拉伸到了更大的屏幕上。

ReMaster 是一款 iPhone 和 iPad App,可以用 AI 将这类视频和照片放大至最高 4 倍并提升画质,还能把卡顿的 30fps 画面变成流畅的 60fps。本文将介绍它的使用方法、App 内部的工作原理,以及它为什么不需要订阅。

画质究竟能提升多少

先来看看效果。我们把一张照片缩小到 640×360 像素(大约相当于早年手机拍的视频),再用 JPEG 压缩,做成“老视频中的一帧”。然后把它放大 4 倍到 2560×1440,并裁切出一部分。

左边是用许多播放器和剪辑 App 采用的方法(Lanczos 算法)直接放大的结果;右边是用 ReMaster 的 AI 超分辨率放大的结果。右边使用的是与 App 相同的 AI 模型和处理代码,并保持默认设置。

同一张低分辨率图像放大 4 倍后的对比:左侧为普通放大(日文标注意为“直接放大 4 倍”),画面模糊;右侧为 ReMaster 的 AI 超分辨率(日文标注意为“ReMaster(AI 超分辨率)”),清晰得多
将 640×360 的图像放大 4 倍后裁切出的局部。左:直接放大(Lanczos,图中日文标注意为“直接放大 4 倍”);右:ReMaster 的 AI 超分辨率(默认设置,图中标注意为“ReMaster(AI 超分辨率)”)

直接放大无法凭空生成原图中没有的信息,所以轮廓会晕开,整体显得模糊。使用 AI 超分辨率后,键帽上的字母以及信封和电话图标的轮廓变得清晰锐利,连木块的边角和木纹都能看清,压缩产生的噪点也不再明显。

视频的每一帧都会经过这样的处理。

使用方法

1. 选择视频

在初始界面中选择视频或照片。

  • 从“照片”中选取:可直接选取“照片” App 中的视频和照片。选取多个即可一起处理
  • 从“文件”中选取…:选取“文件” App 中的视频
  • 处理整个文件夹…:依次处理文件夹中的所有视频和照片

支持的格式:视频为 MOV / MP4 / M4V,照片为 JPEG / PNG。“照片” App 中的 HEIC 照片会在导入时自动转换为 JPEG。

ReMaster 的初始界面
初始界面。可以从“照片” App、“文件”或文件夹中选取(截图为英文界面)

2. 确定导出设置

选好视频后,会进入“导出设置”界面。

  • 放大方式:可选择“AI 超分辨率”或“标准(Lanczos)”。AI 超分辨率画质更高,但由于要用 AI 逐帧处理,耗时较长。赶时间时请选择“标准”
  • 分辨率:可从“原始尺寸(仅调整画质)”、HD、全高清、WQHD、4K、×2 至 ×4 中选择。列表中只显示比原视频更大的尺寸,默认选中比原视频大一档的尺寸
  • 帧速率:可选择“保持不变”“×2(更流畅)”或“转换为 60 fps”
  • 质感增强:调整轮廓的锐利程度。默认值为 AI 超分辨率 15%,标准 50%
  • 存储:选择格式(视频为 MP4 / MOV,照片为 JPEG / PNG)、文件名以及存储位置(照片图库 / 文件)
ReMaster 的导出设置界面
导出设置界面。图中为将照片放大到 4K 的示例

3. 导出

轻点“导出”即开始处理,进度会以百分比显示。处理期间屏幕不会自动锁定,请保持 App 打开并耐心等待。

处理完成后会显示“导出已完成”,你可以在“照片” App 中查看或共享。

正在导出的界面
正在导出的界面。AI 正在逐帧处理

4. 批量处理

在“照片” App 中选取多个视频,或通过“处理整个文件夹…”选取文件夹,即可用相同的设置逐个依次导出。

尺寸可以用“×2”这样的倍率指定,也可以用“全高清(长边 1920)”这样的长边长度指定。即使中途有文件处理失败,处理也不会中断,最后可以在列表中查看结果。

批量处理界面
批量处理界面。用相同设置导出 4 个文件

原理:App 内部发生了什么

AI 超分辨率(Real-ESRGAN)

提升画质的 AI 采用的是开源的 Real-ESRGAN(realesr-general-x4v3)。

Real-ESRGAN 是用成对的图像训练而成的模型:一张是清晰的图像,另一张是对它刻意进行模糊、添加噪点、压缩等处理后劣化的图像。它学会了“从劣化的图像推测出原本清晰的图像”,因此输入老视频中的一帧,就会输出一张补全了轮廓和质感、尺寸为原来 4 倍的图像。

ReMaster 会把每一帧切分成 512×512 像素的图块交给 AI 处理,放大 4 倍后再重新拼合。相邻图块会重叠 32 像素进行处理,并在重叠区域的中间拼接,因此不会出现接缝。要输出为所选尺寸时,会把放大 4 倍后的图像缩小到相应大小。例如选择“×2”时,就是先放大 4 倍再缩小一半。

视频的每一帧都要这样处理。30fps 的视频每分钟有 1,800 帧,因此 AI 超分辨率比较耗时。

不过,AI 并不能找回原本没有拍到的东西,而是根据学到的知识,推测并补画出“可能存在的细节”。像远处的街景这样在原图中只占几个像素的细小物体,有时会呈现出类似绘画的质感。如果介意,可以调低“质感增强”,或与“标准(Lanczos)”的结果进行对比。

帧插值(RIFE)

让动作变流畅的,同样是开源的 RIFE(v4.25)。它会根据前后两帧推测“什么东西朝哪个方向移动了”,并生成两帧之间的新画面。

  • ×2(更流畅):在每两帧之间各插入 1 帧。30fps 会变为 60fps,60fps 会变为 120fps
  • 转换为 60 fps:按每 1/60 秒的时间点生成画面,可将 24fps 或 30fps 的视频转换为 60fps

帧插值在原始分辨率下进行,生成的帧也会经过 AI 超分辨率处理。转换为 60fps 后帧数会翻倍,处理时间也会相应变长。

视频的读取与写入

视频的读取和导出使用的是 iOS 的内置功能。导出的视频在长边超过 1920 像素时用 HEVC(H.265)压缩,否则用 H.264 压缩。音频如果原本就是 AAC 则直接沿用,否则会转换为 AAC。

一切都在 iPhone 上完成

两个 AI 模型都已转换为 Apple 的 Core ML 格式并内置在 App 中。处理由 iPhone 和 iPad 的神经网络引擎和 GPU 完成,视频不会被发送到任何地方。只有在通过 App Store 验证购买时才会连接网络,也无需注册账户。

为什么不采用订阅制

大多数 AI 视频画质提升服务都会把视频上传到服务器,用云端 GPU 处理。GPU 服务器价格昂贵,费用会随处理的视频时长增加。因此这类服务往往采用月费,或按处理时长计费的点数制。视频越长,费用和上传时间也就越多。

ReMaster 让开源 AI 模型直接在 iPhone 上运行,从而摆脱了这种成本结构。

  • 没有服务器费用:Real-ESRGAN 采用 BSD 3-Clause 许可证,RIFE 采用 MIT 许可证,两者都允许集成到 App 中。所有处理都在用户自己的 iPhone 上完成,因此我们不会因每个视频产生服务器费用
  • 所以可以免费使用:包括 AI 超分辨率、60fps 转换和批量处理在内,所有功能都可以免费使用。唯一的限制是导出的视频会带有水印(App 图标)。照片不会添加水印
  • 去除水印只需一次性买断:只要购买一次“ReMaster Premium”,就能导出不带水印的视频。无需支付月费
  • 视频不会被发送到任何地方:家庭录像等私人视频也可以放心处理,也没有上传等待时间或容量限制

相应地,处理速度取决于你所使用的 iPhone 或 iPad 的性能。把较长的视频转换为 4K 需要一些时间,建议边充电边处理。

感谢公开 AI 模型的 Real-ESRGAN(Xintao Wang 等)和 RIFE(hzwer 等)的开发者们。许可证全文可以在 App 初始界面的“开源许可”中查看。

使用技巧

  • 低分辨率视频效果最明显:640×480 或 1280×720 的视频会变得焕然一新。全高清及以上的视频本身已足够清晰,变化相对有限
  • 先用短视频试一试:确定好设置后再处理长视频或进行批量处理,可以避免浪费时间
  • 动作较多的视频可转换为 60fps:运动会和体育比赛的视频使用“转换为 60 fps”后会更加流畅。在场景切换频繁的视频中,切换前后的画面可能会不自然。这时请与“保持不变”的结果进行对比
  • 赶时间就用标准(Lanczos):不使用 AI 进行放大,很快就能完成
  • 导出的视频会存储为新文件:拍摄日期和时间不会被保留,因此在“照片” App 中会排在导出当天的位置

总结

  • ReMaster 是一款在 iPhone 和 iPad 上运行 AI 超分辨率(Real-ESRGAN)和帧插值(RIFE),为老视频和照片提升画质的 App
  • 开源模型在设备端运行,没有服务器费用,因此可以免费使用。去除水印的 Premium 为一次性买断
  • 视频不会被上传,也无需注册账户
  • 支持 iOS 26 或更高版本的 iPhone 和 iPad

→ 查看 ReMaster 详情