kotobato 
写真を高画質に拡大できるツールTopaz Gigapixel AIとほぼ同時に、ビデオ版であるVideo Enhance AIも買っていました。起動する機会はより少ないとはいえ、思い出したように時々使っていたので、こちらも追加レポートしておきましょう。やはり、ある程度のトライ&エラーを経て初めて気付くこともあるもの。続き物として読んでみてくださいね。
忙しい！って人は、最新記事からがいいかも。
アプリケーションのアップデートがわかりづらい！
まず、この記事時点のVideo Enhance AIはバージョンは1.5.1なんですが、アップデートが出ていても、通常のアプリケーションのように、起動時に自動通知されません。ふと、ウインドウ右下を見ると、クラウドからのダウンロードのようなアイコンが表示されていました。『何だろう？』と思ってクリックしたら、アップデートが出ていた、というオチです（いつから！？）。この辺りの操作性も含めて、とてもイレギュラーかつワイルドなアプリケーションです。
［追記：2021/03/06］ バージョン2.0でUIが激変！やっと使いやすくなっているというか、実質コレが一般向けリリースの1.0だなぁw ちなみに、AIモデルもアップデートされてます。
Video Enhance AIで使う処理の種類が選べる！
そのアップデートで反映されたのが、新しいAIモデルです。ウインドウ右上の「Processing」>「A.I. Models」で、処理に使えるAIの種類と設定が増えました。
各モデルには、「Theia：ティアー」「Gaia：ガイア」「Artemis：アルテミス」と、なぜか中二病的にギリシャ神話の神々の名前が付けられていますw 後に続く各略号の意味は後述のとおり。
Theia-Fidelity: EU,P
Theia-Detail: EU,P
Gaia-HQ: P,HQ
Gaia-CG: P,CG,HQ
Artemis-HQ: P,HQ,MC
Artemis-LQ: P,LQ,MC
P：プログレッシブビデオのみ
EU：エンハンスとアップスケールの同時処理
HQ：ノイズやブロックノイズの少ない高画質処理
LQ：ノイズやブロックノイズの多い低画質処理
CG：CGで生成されたコンテンツ用
MC：フリッカーを抑えた動きの一貫性維持
また、最初の2つ「Theia-Fidelity: EU,P」「Theia-Detail: EU,P」だけは、「Sharpen：シャープ処理」「Restore Detail：細部を補完」「Reduce Noise：ノイズ低減」が数値で設定できるようになっています。
処理を開始すると、AIモデルがイニシャライズされますが、これが約5分。しばし我慢。
メモリとグラフィックカードのリッチな環境が必須
B Roll by Videezy
ディテールの再現はやはり素晴らしいです。上記のスクリーンショットとは別ですが、圧縮が掛かりまくった古いSDのビデオなども、4Kまでアップスケールしなくても、2倍程度の拡大でもクオリティーは確実にアップします。ピントの甘い画面も、スッキリ。動く人物の髪の毛や黒子などのディテールもキレイに表示されます。
この辺りは、『モノによっては、先にPhotoshopでシャープフィルタを掛けておいた方がよさそう』な、Gigapixel AIの時とはやはり違います。テロップ（字幕）が乗っているようなビデオも、テキストのエッジが非常にキレイに処理されるので、一度見たら、うっかり『もう全部これで処理しよう！』といいたくなるほど。
ただ、それは非現実的。時間や予算の縛りがない、趣味のビデオならまだしも、仕事だと気軽に使うわけにはいきません。仕事振りは非常に丁寧なものの、とにかく時間が掛かりすぎるこだわりの職人のようなw扱いの難しさとでもいうか。
［追記 2022/01/12］ 申し訳ありません。読者の方からのご指摘で、sec./frameの解釈にミスがありましたが、この記事は訂正済みです。ありがとうございました 😀
ビデオをSDからHDにアップスケールすると、処理に掛かる時間が約0.4秒/フレームといわれています。ただそれは、標準のベストな環境の場合。私が使っているiMacはAMD Radeon Pro 570X/4 GB VRAM。つまり、完全に非推奨環境です。一方、Topaz Labsが公式に推奨しているのは、NVIDIA GTX 1080以上/3 GB VRAM 以上。パフォーマンスのスコアは2倍以上の差があるので、遅いのは当たり前。この点を注意の上、あくまで参考としてご覧ください。
実際、他のアプリケーションや不要なシステム書類を終了させ、Video Enhance AIをフロントにして処理しても、0.74秒/フレーム程度掛かっていました。単純計算でも約56%のパフォーマンスしか出てない…。
AMD Radeon Pro 570X：4.2 約0.74秒/フレーム（数値が小さいほど、処理が高速）
NVIDIA GTX 1080：9.7 約0.4秒/フレーム（同上）
やはり、本格的に使うとしたら、十分なGPUとメモリ、ハイエンドのグラフィックカードを搭載した、Video Enhance AIレンダリング専用マシンを用意し、スリープしない設定にしてほったらかしが正解でしょう。複数のGPUを搭載した環境だと、1つの処理に複数のGPUを割り当てることはできませんが、複数の処理にそれぞれ個別のGPUを割り当てることは可能です。カスタマイズしたゲーミングPC的なWindowsマシンなんかが最適でしょうね。
ただそれなら、ネットワークで繋いだ複数のマシンを利用した、高速分散レンダリングができるようなオプションが欲しくなります。リモートのラップトップからは設定と進捗だけチェックして、実際の処理は会社のデスクトップマシンや、クラウドサービスで処理できればスマートなんですが。この辺りは、ちょっと物足りなさを感じるプロフェッショナルもいるはず。
「アプリケーションを隠す」と、処理が落ちる！？
私のmacOS環境の場合、「システム環境設定」>「省エネルギー」>「可能な場合はハードディスクをスリープさせる」をオフにしていても、マシンがスリープすると、それまで唸りを上げて回っていたファンが、段々と静かになっていき、処理が落ちます。
また、スリープしなくても、Video Enhance AIアプリケーションを隠しても、処理に時間が掛かってしまいます。Video Enhance AIをフロントで起動した状態から、テキストエディタのような軽いアプリケーションをフロントにして「ほかを隠す」に切り替えると（option-クリック）、これでも処理は落ちます。『おや？何だか静かだな…』と思って、またVideo Enhance AIをフロントに戻すと、なぜか数字が大きく（時間が長く）なっていた推定処理時間が、一瞬の後すぐ元に戻って処理が続く、といった挙動です。まるで『おい、ちゃんと仕事してんのか？』と聞いた瞬間に、『あー、今やろうと思ってたんスよぉ！』と返事する部下みたいなw
アクティビティモニタでVideo Enhance AIをチェックしたところ、どうもそれらしいCPU/GPUの負荷でした。ウインドウを開きっぱなしにしていれば、バックグラウンドで画面の端から飛び出させようが、きちんと処理は進むようです。
この辺り、全然詳しくないんですが、アプリケーションが隠されると、マシンがスリープしているかどうかに関係なく、サスペンド状態に入ってしまうのかもしれません。思い返せば、一部のビデオ変換ユーティリティーでも似たような経験があるので、常に動作する専用のレンダラーでも別にない限り、フロントにしておくのが正解なんでしょうね。
［追記 2022/01/12］ その後、Apple M1 Macでも走らせてみたので、関連記事もご覧ください。いつかMac Proで試したい…
結局、基準に満たないマシンスペックでどう処理するか？
Video Enhance AIアプリケーションを、インストールまたはアップデートして真っ先に飛ばされるのは、公式ブログの注意事項ページ。曰く、『マシンスペック満たしてないと、超遅いからね！』。ちゃんと購入前のページでも、しっかり推奨環境やFAQで書かれているんですが、よっぽど苦情が相次いでいるのかもw
ただ、マシンスペックが基準に満たなくても、時間が掛かるだけで、ちゃんと処理はされます。なので、夜間や週末、遊ばせているマシンを使えば、問題はクリアできなくはないんです。
とはいうものの、私だったら、Video Enhance AIは重要なシーンにだけ使うでしょうね。それ以外は、ff•WorksやMovavi Video Converterを使うか、結局、Premiere ProやAfter Effectsで直接リサイズしてシャープフィルタで処理することを優先すると思います。
もし、子供が小さかった頃に4Kビデオカメラが手元にあったら、そりゃ親は4Kで撮影したいと思うはずなんですよ。二度とない貴重な想い出ですから。
とはいえ、素材が高画質でも、YouTubeにアップロードしたりDVDに焼いたり処理はさらにあって、その過程でどうしても画質は落ちます。また、データが増えれば、扱いや管理も面倒に。作業プロセス全体と、時間やコストを含むリソースのバランスが妥当かどうかを、冷静に判断する必要はあります。30日間の無料トライアルで感触だけ確かめておいて、本格的に必要になった時にまた検討すればいいでしょう。
［追記 2022/12/01］ 折角、いろいろな方にここの記事をいろいろ読んでいただいて、アフィリエイトリンクから購入して支援いただいたのに、Topaz Labs社からいきなりアカウントを強制閉鎖されてしまいました :'(
理不尽さには憤るものの、いちユーザーとしてできることは限られるのでここ数ヶ月モヤモヤしています…
https://topazlabs.com/