ビデオの高画質拡大ツールVideo Enhance AIを3ヵ月使って気付いたこと【クーポンあり】

Topaz Video Enhance AIのアイコン
Topaz Video Enhance AI

写真を高画質に拡大できるツールTopaz Gigapixel AIとほぼ同時に、ビデオ版であるVideo Enhance AIも買っていました。起動する機会はより少ないとはいえ、思い出したように時々使っていたので、こちらも追加レポートしておきましょう。やはり、ある程度のトライ&エラーを経て初めて気付くこともあるもの。続き物として読んでみてくださいね。

アプリケーションのアップデートがわかりづらい!

この記事時点のVideo Enhance AIはバージョンは1.5.1なんですが、アップデートが出ていても、通常のアプリケーションのように、起動時に自動通知されません。ふと、ウインドウ右下を見ると、クラウドからのダウンロードのようなアイコンが表示されていました。『何だろう?』と思ってクリックしたら、アップデートが出ていた、というオチです(いつから!?)。この辺りの操作性も含めて、とてもイレギュラーかつワイルドなアプリケーションです。

Video Enhance AIで使う処理の種類が選べる!

そのアップデートで反映されたのが、新しいAIモデルです。ウインドウ右上の「Processing」>「A.I. Models」で、処理に使えるAIの種類と設定が増えました。

AIモデル選択メニュー
新しいAIモデル

各モデルには、「Theia:ティアー」「Gaia:ガイア」「Artemis:アルテミス」と、なぜか中二病的にギリシャ神話の神々の名前が付けられていますw 後に続く各略号の意味は後述のとおり。

Theia-Fidelity: EU,P
Theia-Detail: EU,P
Gaia-HQ: P,HQ
Gaia-CG: P,CG,HQ
Artemis-HQ: P,HQ,MC
Artemis-LQ: P,LQ,MC

P:プログレッシブビデオのみ
EU:エンハンスとアップスケールの同時処理
HQ:ノイズやブロックノイズの少ない高画質処理
LQ:ノイズやブロックノイズの多い低画質処理
CG:CGで生成されたコンテンツ用
MC:フリッカーを抑えた動きの一貫性維持

モデルTheia-Fidelity
モデルTheia-Fidelityの設定

また、最初の2つ「Theia-Fidelity: EU,P」「Theia-Detail: EU,P」だけは、「Sharpen:シャープ処理」「Restore Detail:細部を補完」「Reduce Noise:ノイズ低減」が数値で設定できるようになっています。

処理を開始すると、AIモデルがイニシャライズされますが、これが約5分。しばし我慢。

AIエンジンの初期化
AIエンジンの初期化

メモリとグラフィックカードのリッチな環境が必須

Video Enhance AIの処理
Video Enhance AIの処理

B Roll by Videezy

ディテールの再現はやはり素晴らしいです。上記のスクリーンショットとは別ですが、圧縮が掛かりまくった古いSDのビデオなども、4Kまでアップスケールしなくても、2倍程度の拡大でもクオリティーは確実にアップします。ピントの甘い画面も、スッキリ。動く人物の髪の毛や黒子などのディテールもキレイに表示されます。
この辺りは、『モノによっては、先にPhotoshopでシャープフィルタを掛けておいた方がよさそう』な、Gigapixel AIの時とはやはり違います。テロップ(字幕)が乗っているようなビデオも、テキストのエッジが非常にキレイに処理されるので、一度見たら、うっかり『もう全部これで処理しよう!』といいたくなるほど。

ただ、それは非現実的。時間や予算の縛りがない、趣味のビデオならまだしも、仕事だと気軽に使うわけにはいきません。仕事振りは非常に丁寧なものの、とにかく時間が掛かりすぎるこだわりの職人のようなw扱いの難しさとでもいうか。

1日と12時間の処理予定
1日と12時間の処理予定

ビデオをSDからHDにアップスケールすると、約0.4秒/フレームといわれています。ただそれは、標準のベストな環境の場合。私が使っているiMacはAMD Radeon Pro 570X/4 GB VRAM(つまり、非推奨環境)。一方、Topaz Labsが公式に推奨しているのは、NVIDIA GTX 1080以上/3 GB VRAM 以上。パフォーマンスのスコアは2倍以上の差があるので、遅いのは当たり前。

実際、他のアプリケーションや不要なシステム書類を終了させ、Video Enhance AIをフロントにして処理しても、0.74秒/フレーム程度掛かっていました。単純計算でも約56%のパフォーマンスしか出てない…。

AMD Radeon Pro 570X:4.2 約0.74秒/フレーム
NVIDIA GTX 1080:9.7 約0.4秒/フレーム

やはり、本格的に使うとしたら、十分なGPUとメモリ、ハイエンドのグラフィックカードを搭載した、Video Enhance AIレンダリング専用マシンを用意し、スリープしない設定にしてほったらかしが正解でしょう。もちろん、カスタマイズしたWindowsマシンなんかが最適でしょうね。複数のGPUを搭載した環境だと、1つの処理に複数のGPUを割り当てることはできませんが、複数の処理にそれぞれ個別のGPUを割り当てることは可能です。

ただそれなら、ネットワークで繋いだ複数のマシンを利用した、高速分散レンダリングができるようなオプションが欲しくなります。リモートのラップトップからは設定と進捗だけチェックして、実際の処理は会社のデスクトップマシンや、クラウドサービスで処理できればスマートなんですが。この辺りは、ちょっと物足りなさを感じるプロフェッショナルもいるはず。