kotobato 
AIを使ってビデオ画像を処理し、高画質に拡大できるというTopaz Labs Video Enhance AIを試してみました。写真の拡大ツールとしてGigapixel AIを試した時よりも、効果がしっかり感じられ、期待以上にキレイな仕上がりに驚きました。プロは検討する価値がありますよ。
ちなみに、最新記事はこちら。アップデートの話込みでオススメですから、合わせて読んでみてください。
Topaz Labsという同じ会社が開発・販売している、写真を高画質に拡大できるソフトウェアGigapixel AIは、以前試してみました。確かに、Photoshopで拡大するよりはキレイで一定の効果は感じられましたが、いろいろな写真全部で『すっげーっ！』ってレベルではなかったんです。例えば、漢字とカタカナにひらがなまで混じる日本語の看板などは、やはり文字として認識できませんでしたし（この辺りはまた後日テストしてます）。
『家電みたいに、売るためなら何にでも「AI」って付ければいいと思ってるんじゃないだろな！？』ということでもないんですがw 今回はビデオ版のVideo Enhance AIをテストしてみました。
Video Enhance AIはこんなツール
写真と同じで、ビデオも単純に拡大するとどうしても画質が落ちます。それをAIを使って解析し、不足している情報を補間しながら、高画質なビデオに自動変換するプロフェッショナルツールが、このVideo Enhance AIです。まずは基本的な特長だけをざっと。
- AI技術を採用した、高画質ビデオの拡大変換ソフトウェア。
- デフォルトで最高で8K出力が可能。また、8 bit png/8 bit tif/16 bit tifのシークエンスとしても書き出せるので、理論的には8K以上の大きさにも出力可能。
- 対応するビデオフォーマットはmp4のみ。
- macOS/Windows両プラットフォーム対応。
- 価格は$199.99の買い切り（だが、実際にはサブスクリプションに近い）。
［追記 2022/08/20］ 一時期、大幅値上げで$299.99に爆上げされていましたが、元に戻りました。いいのか、こんな乱高下！？円安の2022年8月時点の為替レートで23,500円程度。もうクーポン無しでは買えない…
Video Enhance AIをオススメできる人
- Adobe Premiere ProやAfter Effects、DaVinci、Final Cut Proなどの、ビデオ編集アプリケーションユーザー
- ビデオや画像編集のプロ、ビデオエンジニア
- SDサイズなど、小さなビデオ素材を4K/8K画質にしたいビジュアル系クリエーター
- 大画面に高画質な映像を流したい、ビデオアーティスト
- 昔撮影したサイズの小さな子供の運動会や家族旅行、友だちと一緒に撮ったビデオを少しでもキレイに残しておきたかったり、友達から結婚パーティーで流す映像なんかを頼まれてしまった、ちょっとハイアマチュアなファミリーユーザー
Video Enhance AIのココがいい！
- Adobe Premiere Proで拡大するよりも高画質。
- これ以上ないほどシンプルな操作。ビデオアプリケーションを使ったことがない人でも使えるレベル。
- 複数ファイルをバッチ処理でき、個別の設定で処理が可能。
- マシンパワーが足りない環境でも、クラウドで処理できるオプションあり（未検証）。
- 入力ソースは、ビデオに限らず、連続するシークエンスの静止画でもOK。
- Topaz Labsは、他にも写真の高画質拡大やノイズリダクションツールなどを開発する企業。
- ライセンスがサブスクリプションでなく買い切り。しかも、1つのライセンスでMac/Windowsどちらでも使える。
- トライアル版で事前チェック可能（画面中央にロゴが大きく出るだけで、フル機能を試せる）。
Video Enhance AIのココはイマイチ…
- UIに非常に癖がある。画面サイズ以外のビデオの基本情報が、どこにも表示されない。できることが限られているので必ずしも使いにくくはないが、AppleのUser Interface Gudelinesに合っていない。
［追記 2022/01/12］ 最大の難点だったこれ以外も、その後のアップグレードで劇的に改善されました！詳しくは、関連の最新記事をご覧ください。
- シンプルにビデオの拡大のみ。回転やカラー処理、フレームレート、インターレースなどの設定は何もできない。 Gigapixel AIが持っていた、人物の顔に特化したエンハンス処理機能や、顔のぼかしなどもない。
- CPU/GPUには大きな負荷が掛かり、処理時間も長い。マシンのプロセッサーや仮想ディスクなどの割り当てはできない。
- プロセスの進行具合が把握しづらく、予想時間は全くあてにならない。プレビューをチェックするだけでも非常に時間が掛かり、どこか途中のフレームを確認できない（キャンセルもすぐに反応しない…）。
- ビデオフォーマットはmp4のみで、HEVC (H.265)に対応していない。
- 設定ファイルを保存できないので、一度アプリケーションを終了すると、同じ設定のまま参照するファイルだけ入れ替えたりができない。
- オリジナルファイルがあるディレクトリ以外に、書き出し場所を設定できない。
- 処理が完了しても、通知センターやオーディオなど、通知が何も設定できない。
- ライセンスは買い切りだが、アップデートは購入後1年間限定（事実上、サブスクリプションですよね、コレ…）。
- Adobeのクリエイティブツールは、何れAdobe Senseiで同等以上の機能を実装するんじゃないか…
Premiere Proの処理と比べてみた
ビデオを4倍に拡大し、Adobe Premiere Proを使った場合と比べてみました。テストで使ったのは、ライセンスフリーのビデオ素材です。カメラが水平にパンし、ディテールがよく分かる人物の肌や髪の毛が映っているフッテージです。処理に時間が掛かることを考えて、オーディオが無い、短くて画面サイズも小さなファイルを使いました。
Video by Pressmaster from Pexels
Video Enhance AIの使い方は、シンプルそのもの。メインウインドウにビデオをドラッグ&ドロップして登録し、拡大率を設定して、スタートさせるだけ。長さのトリミングもできます。そもそもビデオの拡大しかできないので、シンプル操作は当たり前。ちなみに、オーディオに関する設定が何も表示されないので、ビデオにオーディオがあっても、この先以降のスクリーンショットに違いはありません。
○オリジナル
データサイズ：6.1 MB
画像サイズ：w 1280 x h 720 px
オーディオ：なし（以下同様）
秒数：17:03（以下同様）
フォーマット：mp4 H.264
フレームレート：25fps（中途半端ですがそのまま、以下同様）
○Premiere Pro (x4)
データサイズ：15 MB
画像サイズ：w 5120 x 2880 px
フォーマット：HEVC (H.265)
変換処理時間：55秒
○Video Enhance AI (x4)
データサイズ：147.2 MB
画像サイズ：w 5120 x 2880 px
フォーマット：mp4
変換処理時間：1時間15分
ちなみに、HandBrakeやAdapterなど、簡単なユーティリティーを使った場合の違いも確認してみました。まずHandBrakeは、ビデオのクロップや縮小、フォーマット変換はできても、拡大ができません（初めて知った！）。また、AdapterはPremiere Pro以上に超高速（20秒弱！）でしたが、やはり肝心の画質はPremiere Proとは大差ありませんでした。
処理が重いのは想定内、だけれど…
当然ですが、Video Enhance AIの処理には、Gigapixel AIで写真を処理した時よりも、マシンに負荷が掛かります。プレビューするだけでも、さらにそのプレビューを停止するのにも、かなり時間を要しました。テストに使った、20秒もないビデオの想定処理時間（ETA）は、最初6分08秒と表示されましたが、実際に掛かったのは何と1時間15分！
After Effectsユーザーなら、別に何も珍しくないことでですね。アクティビティモニタで確認するまでもなく、ファンが必死に動き続けます。基本的には、処理をしている間は、Webブラウズも含めて他の作業は何もせず、放置でしょう。
ただ、処理の終了が分からないのが辛い。よくあるように、通知センターにポップアップが表示されたり、チャイムが鳴ったり、せめてDockのアイコンに残り時間が表示されて欲しいところです。
Video Enhance AIの処理は、想像以上にキレイ！
処理の違いがそこまではっきりとは出なかったGigapixel AIで拡大した写真と違い、Video Enhance AIで4倍に拡大したビデオは、想像以上に違いが出ました！Photoshopで同じフレームのプレビューをチェック。フォーマットの違いはあれど、人物の顔や髪の毛部分は、Video Enhance AIの方が遙かにキレイな仕上がりでした。その代わり、ファイスサイズは約10倍。
ビデオは、静止画のようにフレーム単位でじっくり見るものではなく、動きの間を脳が補完してくれるとはいえ、編集者としてはできるだけキレイな素材を使いたいので、これは嬉しい誤算でした。
条件を見極めれば、強力なプロ用ツール
拡大とトリミング以外の処理が必要ないビデオなら、Video Enhance AIで処理する時間が確保できれば、使うメリットはあるでしょう。
ただ、大抵の場合は、ビデオの単純なリサイズだけでなく、回転やカラー補正、トリミング、エフェクト、テロップ、オーディオの編集などの処理も不可欠です。一旦、Video Enhance AIで元の素材を拡大した上で、わざわざ他のツールで読み込んで別の処理をするか？シャープフィルタを掛けるだけでも十分じゃないか？結局、最終的な再生環境に合わせて、フレームレートを最適化しなければならないじゃないか！
確かにVideo Enhance AIの処理が高画質とはいえ、いろいろな条件を総合的に考えると、使うシーンは限定されるはずです。予算と納期が十分にあるプロジェクトか、採算をある程度無視しても画質を求めたい成果物とかね。社内プレゼンや結婚式披露宴のビデオにはあまり意味がないでしょうけど、重要な取引先のコンペや展示会の映像、ビデオアート作品なら十分価値が期待できます。
Gigapixel AIの時にも感じましたが、『これがPremiere ProやAfter Effectsのプラグインだったらいいのに…』とは、正直思います。マシン1台をVideo Enhance AI専用にして、夜中や週末にバッチで処理すればいいですし、今回は確認できなかったクラウドでの処理もちょっと気になります。使い方やメリットを見極めれば、強力なプロ用ツールとしてチョイスするのは、十分ありだと思いました。
Topaz Labs製品のユーザーはそれほど見掛けないので、使い勝手やTipsなど、ぜひ教えてください 😀
［追記 2022/12/01］ 折角、いろいろな方にここの記事をいろいろ読んでいただいて、アフィリエイトリンクから購入して支援いただいたのに、Topaz Labs社からいきなりアカウントを強制閉鎖されてしまいました :'(
理不尽さには憤るものの、いちユーザーとしてできることは限られるのでここ数ヶ月モヤモヤしています…
https://topazlabs.com/