如何在 iPhone 上用 AI 提升舊影片畫質——AI App ReMaster 的使用方法與原理

在 iPhone 上用 AI 提升舊影片畫質

用早期的智慧型手機、數位相機或傳統手機拍的影片,放到現在的 iPhone 或電視上看會顯得模糊,壓縮造成的方塊狀雜訊也很明顯。這是因為解析度只有 640×480 或 1280×720 的舊影片,被拉伸到了更大的螢幕上。

ReMaster 是一款 iPhone 和 iPad App,能用 AI 將這類影片和照片放大至最高 4 倍並提升畫質,還能把卡頓的 30fps 畫面變成流暢的 60fps。本文將介紹它的使用方法、App 內部的運作原理,以及它為什麼不需要訂閱。

畫質究竟能提升多少

先來看看成果。我們把一張照片縮小到 640×360 像素(大約相當於早期手機拍的影片),再用 JPEG 壓縮,做成「舊影片中的一個影格」。接著把它放大 4 倍到 2560×1440,並裁切出一部分。

左邊是用許多播放器和剪輯 App 採用的方法(Lanczos 演算法)直接放大的結果;右邊是用 ReMaster 的 AI 超解析度放大的結果。右邊使用的是與 App 相同的 AI 模型和處理程式碼,並維持預設設定。

同一張低解析度影像放大 4 倍後的比較:左側為一般放大(日文標示意為「直接放大 4 倍」),畫面模糊;右側為 ReMaster 的 AI 超解析度(日文標示意為「ReMaster(AI 超解析度)」),清晰許多
將 640×360 的影像放大 4 倍後裁切出的局部。左:直接放大(Lanczos,圖中日文標示意為「直接放大 4 倍」);右:ReMaster 的 AI 超解析度(預設設定,圖中標示意為「ReMaster(AI 超解析度)」)

直接放大無法憑空產生原圖中沒有的資訊,因此輪廓會暈開,整體顯得模糊。使用 AI 超解析度後,鍵帽上的字母以及信封和電話圖示的輪廓變得清晰銳利,連木塊的邊角和木紋都看得清楚,壓縮產生的雜訊也不再明顯。

影片的每一個影格都會經過這樣的處理。

使用方法

1. 選擇影片

在初始畫面中選擇影片或照片。

  • 從「照片」中選擇:可直接選擇「照片」App 中的影片和照片。選擇多個即可一起處理
  • 從「檔案」中選擇…:選擇「檔案」App 中的影片
  • 處理整個檔案夾…:依序處理資料夾中的所有影片和照片

支援的格式:影片為 MOV / MP4 / M4V,照片為 JPEG / PNG。「照片」App 中的 HEIC 照片會在匯入時自動轉換為 JPEG。

ReMaster 的初始畫面
初始畫面。可以從「照片」App、「檔案」或資料夾中選擇(截圖為英文介面)

2. 決定輸出設定

選好影片後,會進入「輸出設定」畫面。

  • 放大方式:可選擇「AI 超解析度」或「標準(Lanczos)」。AI 超解析度畫質較高,但因為要用 AI 逐格處理,比較耗時。趕時間時請選擇「標準」
  • 解析度:可從「原始尺寸(僅調整畫質)」、HD、Full HD、WQHD、4K、×2 至 ×4 中選擇。清單中只會列出比原影片更大的尺寸,預設會選取比原影片大一級的尺寸
  • 影格速率:可選擇「維持不變」「×2(更流暢)」或「轉換為 60 fps」
  • 質感強化:調整輪廓的銳利程度。預設值為 AI 超解析度 15%、標準 50%
  • 儲存:選擇格式(影片為 MP4 / MOV,照片為 JPEG / PNG)、檔案名稱,以及儲存位置(照片圖庫 / 檔案)
ReMaster 的輸出設定畫面
輸出設定畫面。圖中為將照片放大到 4K 的範例

3. 輸出

點一下「輸出」即開始處理,進度會以百分比顯示。處理期間螢幕不會自動鎖定,請讓 App 保持開啟並耐心等候。

完成後會顯示「輸出已完成」,你可以在「照片」App 中查看或分享。

正在輸出的畫面
正在輸出的畫面。AI 正在逐格處理

4. 批次處理

在「照片」App 中選擇多部影片,或透過「處理整個檔案夾…」選擇資料夾,就會以相同設定逐一依序輸出。

尺寸可以用「×2」這類倍率指定,也可以用「Full HD(長邊 1920)」這類長邊長度指定。即使中途有檔案處理失敗,處理也不會中斷,最後可以在清單中確認結果。

批次處理的畫面
批次處理的畫面。以相同設定輸出 4 個檔案

原理:App 內部發生了什麼事

AI 超解析度(Real-ESRGAN)

提升畫質的 AI 採用的是開源的 Real-ESRGAN(realesr-general-x4v3)。

Real-ESRGAN 是用成對的影像訓練而成的模型:一張是清晰的影像,另一張是刻意對它進行模糊、加入雜訊、壓縮等處理後劣化的影像。它學會了「從劣化的影像推測出原本清晰的影像」,因此輸入舊影片中的一個影格,就會輸出一張補足了輪廓和質感、尺寸為原本 4 倍的影像。

ReMaster 會把每個影格切分成 512×512 像素的區塊交給 AI 處理,放大 4 倍後再重新組合。相鄰區塊會重疊 32 像素進行處理,並在重疊區域的中間接合,因此不會出現接縫。要輸出為所選的尺寸時,會把放大 4 倍後的影像縮小到相應大小。例如選擇「×2」時,就是先放大 4 倍再縮小一半。

影片中的每個影格都要這樣處理。30fps 的影片每分鐘有 1,800 個影格,因此 AI 超解析度比較耗時。

不過,AI 並不能找回原本沒拍到的東西,而是根據學到的知識,推測並補畫出「可能存在的細節」。像遠處的街景這類在原圖中只占幾個像素的細小物體,有時會呈現出類似繪畫的質感。如果在意,可以調低「質感強化」,或與「標準(Lanczos)」的結果比較看看。

影格插補(RIFE)

讓動作變流暢的,同樣是開源的 RIFE(v4.25)。它會根據前後兩個影格推測「什麼東西往哪個方向移動了」,並產生兩者之間的新影格。

  • ×2(更流暢):在每兩個影格之間各插入 1 個影格。30fps 會變成 60fps,60fps 會變成 120fps
  • 轉換為 60 fps:按每 1/60 秒的時間點產生影格,可將 24fps 或 30fps 的影片轉換為 60fps

影格插補會在原始解析度下進行,產生的影格也會經過 AI 超解析度處理。轉換為 60fps 後影格數量會加倍,處理時間也會跟著變長。

影片的讀取與寫入

影片的讀取和輸出使用的是 iOS 的內建功能。輸出的影片在長邊超過 1920 像素時以 HEVC(H.265)壓縮,否則以 H.264 壓縮。音訊若原本就是 AAC 則直接沿用,否則會轉換為 AAC。

一切都在 iPhone 上完成

兩個 AI 模型都已轉換為 Apple 的 Core ML 格式並內建在 App 中。處理由 iPhone 和 iPad 的神經網路引擎與 GPU 執行,影片不會被傳送到任何地方。只有在透過 App Store 驗證購買時才會連上網路,也不需要註冊帳號。

為什麼不採用訂閱制

大多數 AI 影片畫質提升服務都會把影片上傳到伺服器,用雲端 GPU 處理。GPU 伺服器價格昂貴,費用會隨著處理的影片長度增加。因此這類服務往往採用月費,或依處理時間計費的點數制。影片越長,費用和上傳時間也就越多。

ReMaster 讓開源 AI 模型直接在 iPhone 上執行,從而擺脫了這種成本結構。

  • 沒有伺服器費用:Real-ESRGAN 採用 BSD 3-Clause 授權,RIFE 採用 MIT 授權,兩者都允許整合到 App 中。所有處理都在使用者自己的 iPhone 上完成,因此我們不會因每部影片產生伺服器費用
  • 所以可以免費使用:包括 AI 超解析度、60fps 轉換和批次處理在內,所有功能都能免費使用。唯一的限制是輸出的影片會帶有浮水印(App 圖像)。照片不會加上浮水印
  • 移除浮水印只需一次買斷:只要購買一次「ReMaster Premium」,就能輸出不含浮水印的影片。不需支付月費
  • 影片不會被傳送到任何地方:家庭影片等私人影片也能放心處理,也沒有上傳等待時間或容量限制

相對地,處理速度取決於你使用的 iPhone 或 iPad 的效能。把較長的影片轉換為 4K 需要一些時間,建議一邊充電一邊處理。

感謝公開 AI 模型的 Real-ESRGAN(Xintao Wang 等人)和 RIFE(hzwer 等人)的開發者們。授權全文可以在 App 初始畫面的「開放原始碼授權」中查看。

使用小技巧

  • 低解析度影片效果最明顯:640×480 或 1280×720 的影片會變得煥然一新。Full HD 以上的影片本身已經夠清晰,變化相對有限
  • 先用短影片試試看:先決定好設定,再處理長影片或進行批次處理,就不會浪費時間
  • 動作多的影片可轉換為 60fps:運動會或體育比賽的影片使用「轉換為 60 fps」後會更加流暢。在場景切換頻繁的影片中,切換前後的影格可能會不自然。這時請與「維持不變」的結果比較看看
  • 趕時間就用標準(Lanczos):不使用 AI 進行放大,很快就能完成
  • 輸出的影片會儲存為新檔案:拍攝日期與時間不會保留,因此在「照片」App 中會排在輸出當天的位置

總結

  • ReMaster 是一款在 iPhone 和 iPad 上執行 AI 超解析度(Real-ESRGAN)與影格插補(RIFE),為舊影片和照片提升畫質的 App
  • 開源模型在裝置上執行,沒有伺服器費用,因此可以免費使用。移除浮水印的 Premium 為一次買斷
  • 影片不會被上傳,也不需要註冊帳號
  • 支援 iOS 26 或以上版本的 iPhone 和 iPad

→ 查看 ReMaster 的詳細資訊