kotobato 
結論。
Apple Silicon M1チップに未対応アプリケーションなのに速いよ！しかも推奨環境じゃないラップトップなのに！やっと使いやすくなったのは、コレが実はver. 1.0だろ！w 期待に大きく胸と鼻の穴を膨らませていたわけでも、まったくあてにしなかったわけでもないんですが、すみません、割と舐めてました 😛
［追記 2022/12/01］ 折角、いろいろな方にここの記事をいろいろ読んでいただいて、アフィリエイトリンクから購入して支援いただいたのに、Topaz Labs社からいきなりアカウントを強制閉鎖されてしまいました :'(
理不尽さには憤るものの、いちユーザーとしてできることは限られるのでここ数ヶ月モヤモヤしています…
https://topazlabs.com/
AIで、ビデオを高画質に拡大処理できるツールTopaz Video Enhance AI。過去、何度か記事を公開しましたが、画質の点では、静止画を拡大できる同社のGigapixel AIよりも、むしろ高画質なんじゃないか！？というレベルでした。ただ、それなりのマシンスペックが前提で処理時間も掛かるため、プロが仕事でバリバリ使うのは条件次第だなと感じていました。
それが、2020年11月に、爆速パフォーマンスのApple Silicon M1 Macがリリースされ、Video Enhance AIもバージョン2.0でUIが大幅に変わって使いやすくなったんです。この組み合わせは試さないわけにいかない！ただし、私がゲットしたのは、ラップトップのMacBook Air。ファンレスで、MacBook Proよりややパフォーマンスは落ちますが、敢えてこの非対応のアプリケーション（そう、M1プロセッサーには未対応！）、ビデオ処理には向かない環境で走らせる無茶をしたら、さてどうなるのか？
Video Enhance AI 2.0はこんなツール
- AI技術を使った、ビデオの拡大と高画質化処理ソフトウェア。高画質な拡大（アップスケール）やノイズ除去、インターレース（走査線）除去、古いビデオの高画質処理、バッチ処理などの機能あり。
- 対応するフォーマットは、MP4 (H264)/MOV (ProRes HQ)/JPG/PNG/TIF (8 bit/16 bit)【UPDATE】。最高で8K UHD (w 7680 x h 4320 px)の変換が可能。また、8 bit png/8 bit tif/16 bit tifのシークエンスとしても書き出せる。
- 価格は$299.99の買い切り（3月下旬時点の為替レートで、末尾のクーポン利用で24,000円程度…もうクーポン無しで買えない :'(）。
- 1つのライセンスで、Mac/Windows両プラットフォームどちらでも使用可。ただし、Apple M1チップには未対応。
［追記：2021/06/05］ライセンスの関係でH.265とMKVが対象外になりましたが、新規のモデルがさらに追加され、処理速度も上がったようです。
Video Enhance AI 2.0をオススメできる人
- ビデオや画像編集のプロ、ビデオエンジニア
- Apple Silicon M1マシンユーザーのクリエイティブ関係者
- SDサイズなど、小さなビデオ素材を4K/8K画質にしたいビジュアル系クリエーター
- 大画面に高画質な映像を流したい、VJやビデオアーティスト
- Adobe Premiere ProやAfter Effects、DaVinci Resolve、Final Cut Proなど、ビデオ系アプリケーションユーザー
- 家族イベントのビデオを無理矢理頼まれたり、サイズの小さな子供の運動会や家族旅行、友だちと一緒に撮ったビデオを、少しでもキレイに拡大したい家庭人
Video Enhance AI 2.0のココがいい！
- Apple M1未対応でもこれだけ速いんだったら、ネイティブ対応したらどれぐらい爆速なのか！？嫌でも期待は高まる！
- ビデオ編集ツールでそのまま拡大するよりも、遙かに高画質。
- 操作はシンプルで、AIモデル【UPDATE】を選び、必要なら設定をカスタマイズして処理するだけ。アプリケーション内にチュートリアルあり【NEW】。
- トリミングをサポート【NEW】。
- デフォルトの設定を保存可能【NEW】。
- 複数ファイルをバッチ処理でき、個別の設定で処理が可能。
- 入力ソースは、ビデオに限らず、連続するシークエンスの静止画でもOK。
- Topaz Labsは、他にも写真の高画質拡大やノイズリダクションツールなどを開発する企業。
- トライアル版で、フル機能をタップリ事前チェック可能。
Video Enhance AI 2.0のココはイマイチだったり要注意…
- 後述のAIモデルがGPU/CPU/両方のどれを使うかは、Mac/Windowsで異なる。例えば、すべてのAIモデルで、NvidiaをサポートしているのはWindowsのみ。「Gaia（ガイア）」は、MacではCPUしか使わない。
- シンプルにビデオの拡大と高画質化だけ。回転やカラー処理、フレームレート、複数のビデオの合成などの機能はない。Gigapixel AIが持っていた、人物の顔に特化したエンハンス処理機能や、顔のぼかしなどもない。
- CPU/GPUには大きな負荷が掛かり、処理時間も長い。マシンのプロセッサーや仮想ディスクなどの割り当てはできない。
- hevc (h265)に対応していない。また、4K以上のサイズはmp4では非対応。
- 変換されたビデオは、なぜか1フレーム目が黒で潰されるので、ファイルのプレビューを見ただけで内容が判断できない。
- 価格が$100も値上がりした！ライセンスは買い切りなものの、Topaz Labsのアップデートは購入後1年間限定（事実上、サブスクリプションじゃん…）。
- Adobeのクリエイティブツールは、何れAdobe Senseiで同等以上の機能を実装するはず。実際、静止画だと最新版Photoshopで画像を拡大するときの補完処理が、かなり高画質になっているので、多分Premiere ProやAfter Effectsでも。
Video Enhance AI 2.0を使う手順
Video Enhance AIは、バージョン2.0へのアップデートで大幅にUIが変更されました。ちょっと乱暴ないい方をすると、今までのバージョン1.X系は、ギーク向け技術検証としてのアルファ版（ベータですらない）的な位置づけっぽいUIでしたからね。高画質化の処理は素晴らしいものの、UIは二の次といった超荒削り。とにかく、動けばいいだろう、という感じ。
それが今回、やっと普通のアプリケーションになりましたw 本当はこのバージョン2.0が、最初のコンシュマー向けリリースだったんじゃないか？というレベルです。今までは、使い方らしい使い方を説明するまでもなかったのでwここで改めて整理しましょう。
- Video Enhance AIをダウンロードし、インストールする。トライアルならそのままでOK。ユーザーは、1デバイスに1ライセンスの紐付けなので注意を（私の場合、iMacはログアウトして、MacBook Airにスイッチ）。
- Video Enhance AIを起動する。事前に、余計なアプリケーションやバックグラウンドで動作するシステム書類は、極力オフに。MacBook Airでは、Intel CPUではないので、拡張命令セットAVX (Advanced Vector Extensions) に対応していないというアラートが表示されるが、もちろん無視。
- 初期設定を確認。いろいろなパラメーターがあるものの、基本はデフォルトのままでもOK。
- アプリケーション内部にチュートリアルが装備された。ステップバイステップなので分かりやすい。ビギナーはチェックを。
- 変換したいビデオ（またはシークエンスの静止画）をウインドウにドラッグ&ドロップするだけ。ウインドウ右側の「AI Model：AIモデル」「Sizing：サイズ」「Additional Processing：追加処理」「Video Format：ビデオフォーマット」を設定する。
複数のビデオを登録し、それぞれに設定を変えることも可能なので、どのビデオにどのような設定をしているかはチェック。
- 「AI Model：AIモデル」は［AI Model Picker］ボタンで、目的に応じたAIモデルを選択する。詳しくは後述。
- 「Sizing：サイズ」は、プルダウンメニューでサイズを選択する。原寸のまま、ノイズやブロックだけ処理する高画質化も可能。
- 「Additional Processing：追加処理」は、粒子の量とサイズで、より自然な風合いを設定する。
- 「Video Format：ビデオフォーマット」も、プルダウンメニューで出力フォーマットを選択する。今回は4K以上のサイズにするので、movを選択した。
- この他、IN/OUTのトリミングがフレームで指定できるようになったので、必要に応じて設定する。
- ウインドウ右下の［Start Processing］ボタンでスタート。AIエンジンのイニシャライズは、少し待つものの高速になっている。
- 処理中は、余計なことはせずに、基本は放置。終了も特に通知されない。必要なら、ウインドウ右上の［Save Default］ボタンで設定を保存しておく。終わったら、変換後のビデオを確認して終了。
Video Enhance AI 2.0で充実したAIモデルの数々
［追記 2021/04/07］ バージョン2.1.1で、さらにモデルが15種類に強化されました 😀
UIの刷新は大歓迎として、肝心のAIの処理モデルはどうなったのか？各AIモデルには、従来通り、中二病的ギリシャ神話の神々の名前が付けられていますw フルネームとバージョンナンバーが表示されていますし、何より種類が増えてかなり本気モード！
［追記：2021/04/29］ArtemisとDioneは、この後さらに画質がアップし、より自然な仕上がりにチューニングされています。
Artemis High Quality：アルテミス 高画質
ビデオをアップスケール（拡大）したり、シャープ処理、モーションフリッカーの除去。
Artemis High Quality：アルテミス 中画質
上記の中画質のいいとこ取り。
Artemis High Quality：アルテミス 低画質
スピードは速いが高圧縮率。
Artemis Aliased & Moire：アルテミス エイリアスとモワレ
エイリアスとモワレパターン処理。CGやラインスキップ走査カメラ用。
Dione Interlaced：ディオン インターレース
480i/576i/720i/1028iビデオの、インターレース除去や拡大用。後述のDione DVやTVが上手くいかない時に。フレームレートは2倍にならない。
Dione Interlaced Digital Video：ディオン インターレースデジタルビデオ
DV/DVCPRO/DVCAM/720i/1028iビデオの、インターレース除去や拡大用。フレームレートは2倍になり、フィールド順は正しく設定される。
Dione Interlaced TV：ディオン インターレーステレビ
テレビ放送ソースのビデオの、インターレース除去や拡大用。アナログテレビやビデオカメラ、DVDからキャプチャーされた480i/576iビデオ用。フレームレートは2倍になり、フィールド順は正しく設定される。
Gaia High Quality：ガイア 高画質
ビデオの高画質な拡大。
Gaia Computer Graphics：ガイア CG
ビデオの高画質な拡大で、エイリアスとモワレパターン処理。CG向き。
Theia Fine Tune Detail：ティアー 精密詳細
ビデオの高画質な拡大。シャープ処理とブロックノイズ処理、ノイズ軽減の、精密処理のパラメーターを設定。
Theia Fine Tune Fidelity：ティアー 精密忠実
ビデオの高画質な拡大。シャープ処理とブロックノイズ処理、ノイズ軽減の、精密処理のパラメーターを設定。
Video Enhance AI 2.0でビデオを拡大・高画質化してみた
ということで、やっとテストをば。簡単ですが、以前使った同じサンプルを使ってみましょう。UIが全く違うのがわかるはず。
Video by Pressmaster from Pexels
今回も、400%拡大の w 5120 x h 2880 (5K UHD) で比較してみます。ただし、比較対象のツールはAdobe Premiere Proではなく、ff•Works。FFmpegのフロントエンドとして動く軽快なツールで、最近の私のお気に入り。「Passthru」という、ソースを再エンコードしない高速オプションがありますが、今回はオフにしています。条件が完全には揃っていないので、単純な比較はできませんが、取りあえずざっくりと。
オリジナル
データサイズ：6.1 MB
画像サイズ：w 1280 x h 720 px
オーディオ：なし（以下同様）
秒数：17:03（以下同様）
フォーマット：mp4 H.264
フレームレート：25fps（中途半端ですがそのまま、以下同様）
ff•Works + FFmpeg (x4)
データサイズ：76.1 MB
画像サイズ：w 5120 x 2880 px
フォーマット：MOV (H.264)
パラメーター設定：なし
変換処理時間：2分
Video Enhance AI (x4)
データサイズ：2.95 GB
画像サイズ：w 5120 x 2880 px
フォーマット：MOV (H.264)
パラメーター設定：Gaia High Quality
変換処理時間：22分
［追記 2022/01/12］ 申し訳ありません。読者の方からのご指摘で、sec./frameの解釈にミスがありましたが、この記事は訂正済みです。ありがとうございました 😀
まず、Video Enhance AIの処理スピードは3.1〜4.0 秒/フレーム（数値が小さいほど、処理が高速）で、掛かった時間は22分。同じように動作環境から外れているiMacで無理矢理走らせた時には、1時間15分掛かっていたわけですから、差は圧倒的！以前ネックだった、アプリケーションがフロントになっていないと、処理が落ちる様子は見られませんでした。一応、アクティビティモニタもチェックしますが、『MacBook Airはファンがないだけに、不安レス』とかそういうのはいいですかね… 😛
Photoshopで開いて細かくチェックしてみます。左がff•Worksで、右がVideo Enhance AI 2.0。やはり、人物の髪の毛や、目や口元などのディテールが一番よくわかりますね。肌に掛かった細かい毛やハイライト部分が、非常に美しく描かれて、色の再現も自然な仕上がり。画質のクオリティーという点では、今まで同様、十分満足できます。
一方、ファイルサイズは約3 GB弱と結構な大きさになってしまいました。一番リッチなAIモデルを使ったこともありますが、ディスクスペースに限りがある環境では要注意。ビデオ編集は、拡大して終わりではなく、これを素材としてさらに合成などの編集が続くわけで、この辺りは処理する目的や取り扱いとのバランスでしょうね。
正直、Video Enhance AIがApple Silicon M1に未対応の段階で、これほどパフォーマンスが向上しているとは思いませんでした。ある程度の時間的な余裕があるなら、設定だけして放置しておけばOKなので、すぐにでもネイティブ対応してもらえば、今のMacのラインナップで一番手頃なMac miniでも十分でしょう。もちろん、次に噂されている本命のM1X/M1X Proで走らせた時の実力にも、大きな期待が高まります。
一方、Windowsでは、グラフィックカードやメモリ、高速SSDでバキバキに増強してブン回す使い方もできるので、プラットフォームの選択肢が広がった気がします。1つライセンスがあれば、Mac/Windowsどちらでもスイッチできるのも心強いですし。
私はコレ、ようやく使う用途を考えられるようになりましたw 真っ先に思ったのは、仕事用ではなく、大昔にSONY Handycamで撮影した、親族や知人を撮影したビデオ（ギャラ出ないじゃん…）。ぜひ、このVideo Enhance AIで高画質化処理してみたい！手元にまだカメラがあるうちでよかった！
とはいえ、接続が今は懐かしのFireWire 400で、キャプチャーできるコンバーターを引っ張り出すのが面倒な上に、もうFireWireポート付きのPowerMacなどありません。さて、この別のタスクをどうしよう…（ま、結局、やることになるんですが↓）。
［追記 2022/12/01］ 折角、いろいろな方にここの記事をいろいろ読んでいただいて、アフィリエイトリンクから購入して支援いただいたのに、Topaz Labs社からいきなりアカウントを強制閉鎖されてしまいました :'(
理不尽さには憤るものの、いちユーザーとしてできることは限られるのでここ数ヶ月モヤモヤしています…
https://topazlabs.com/