kotobato 
AIエンジンによって、ビデオの高画質変換や拡大ができるアプリケーションTopaz Video Enhance AIが、ついに爆速Apple M1チップをネイティブサポート！macOS Monterey 12もリリースされたので、新たにレポートをお届けします。
Video Enhance AIは、今年の夏から秋に掛けてもたまに思い出したように地味にいろいろ、ベータ版でもテストしていました。2021年11月10日に正式リリースされた最新バージョン 2.6の雑感をご紹介します。
Video Enhance AIって、どんなアプリケーション？
Video Enhance AIの基本情報は、過去記事を読んでいただければと思いますが、いろいろ変わっているところもあるので改めて。
- ビデオを高画質処理する、AIエンジン搭載のアプリケーション。アップスケール（拡大）しなくても、ノイズやインターレース（走査線）の除去、古いビデオの変換など、プロ向けの機能が充実。
- 最高で8K UHD (w 7680 x h 4320 px)の変換が可能。また、8 bit png/8 bit tif/16 bit tifのシークエンスとしても書き出せる。バッチ処理をサポートしているのも魅力。
- フレームレートの変換もサポートして、24 FPSや30 FPSのビデオも、滑らかな60 FPSの映像に変換。さらに、スローモーションエフェクトでドラマチックな演出も可能に。
- 対応フォーマットは、MP4 (H264)/MOV (ProRes HQ)/JPG/PNG/TIF (8 bit/16 bit)。
- 1つのライセンスで、Mac/Windows両プラットフォーム対応。そしてついに、Apple M1チップをネイティブサポート！ただし、CPU/GPU/メモリなどは、それなりにリッチな環境が必須。
Mac macOS 10.14 Mojave 以上でCPUサポート/10.15 Catalina以上でGPUサポート
Windows 10 (build 19041 v2004)以上/Windows 11対応 - 価格は$299.99の買い切り（11月現時点の為替レートで、このクーポンを使って25,000円程度）。
［追記 2022/12/01］ 折角、いろいろな方にここの記事をいろいろ読んでいただいて、アフィリエイトリンクから購入して支援いただいたのに、Topaz Labs社からいきなりアカウントを強制閉鎖されてしまいました :'(
理不尽さには憤るものの、いちユーザーとしてできることは限られるのでここ数ヶ月モヤモヤしています…
https://topazlabs.com/
Video Enhance AIをオススメできる人
- Apple M1 Macを導入したか、買う予定がある、ビデオプロフェッショナル
- リッチなビデオ編集やゲーミングPC環境があるWindowsユーザー
- SDサイズしかないビデオ素材を使わざるを得ないビジュアル系クリエーターやVJ
- DaVinci ResolveやAdobe Premiere Pro、After Effects、Final Cut Proなど、プロ用ビデオ編集アプリケーションユーザー
- モーショングラフィックスにも興味が出てきた、2Dメインだったクリエイティブ系の皆さん
- 昔録った子供の運動会や家族旅行、親のビデオをキレイに拡大したい日曜ビデオマニア
Video Enhance AIのココがいい！
- ついにApple M1対応！もし、27インチiMacやMac Proがリリースされてそこで走らせたらどれほど爆速か！妄想は膨らむ。
- 本気を出した（？）バージョン2以降は、アップデートもベータ版もそれなりの頻度でリリースされ、AIモデルがさらに充実している。最新バージョンでは、ProteusとArtemis、DioneのAIモデルが改善。初期設定も、プリセットが管理しやすくなった。
Video Enhance AIのココはイマイチだったり要注意…
- Mac版は、変換するビデオのオーディオが無視される！おい、ダメじゃんコレ！！
ただ、手ぶれ補正や他のフィルタやエフェクトが一切ないので、結局、Premiere ProやAfter Effectsを使って、オーディオトラックを後から合成すればいいとはいえ、これはやはり不便。また、素材によっては音でシーンの切り替わりを判断することもあるので、ビデオクリップを［プレビュー］で確認するときにもオーディオが再生されないのも結構辛い。コミュニティーでもガッカリされていますが、とにかく早急な対応待ち。
［追記 2021/12/19］ 最新のベータ版では（いつから？）、変換時にオーディオを維持するオプションが付きました！プレビュー時には再生されないようですが、オーディオサポートは正義。
- アプリケーションの処理が無事に終了しても、途中でエラーが起きても、アラート音やダイアログボックスで知らせてくれない。
- 処理を一時停止（ポーズ、サスペンド）する機能がないので、途中で他のアプリケーションの処理を優先したり、バッチに別のビデオを追加したりもできない。一旦、処理を始めると、最後まで処理をするかキャンセルしかできない。
また、バッチの順番は、ドラッグ&ドロップで変えられない。一括して登録する時はファイル名順になり、個別のファイルで登録するなら登録した時の順番のまま移動できない。 - バッチをスタートさせると、一覧をスクロールできないので、いくつどんな順番でビデオファイルを登録したかがわからない。
バッチ処理が終わったクリップ上にはアイコンが表示されるが、バッチ処理中はここがグレーアウトするのと、一覧がスクロールできないので、何個目のファイルまで進んでいるのか知る方法がない。
また、バッチの登録は保存されないので、間違ってVideo Enhance AIを終了させたり、デバイスの再起動が必要になった場合は、また最初から登録が必要！実際に、バッチの途中でデバイスがスリープから復帰しなくなったことあり（原因不明）。 - 【これはVideo Enhance AIのせいではないものの要注意】Dropboxの機能であるスマートシンク（データサイズの大きなファイルをクラウドで同期する時、普段はファイルのインデックスだけをローカルデバイスに残しておいて、必要になったらサーバーからダウンロードする同期方法）を設定しているのを忘れて、ビデオを登録しようとすると、ビデオファイルの実態がないので当然エラーになる。
Video Enhance AIをテストした環境と素材
今回も、MacBook Airという非推奨な動作環境という点はご注意を。
- アプリケーションのバージョン：Video Enhance AI 2.6.0
- OS：macOS Monterey 12.0.1
- デバイス：MacBook Air 13.3 inch M1 2020
プロセッサ Apple M1チップ 8コア メモリ 8 GB - ストレージ：内蔵SSDのみで処理 Time Machine用ディスクはアンマウント
- ビデオの内容：家族や親戚たちの古いビデオ、旅行や集まりなど。被写体は昼間の人物や風景、車窓からの眺め。海水浴や花火のような、強いコントラストや暗いシーンはほぼなし。
- ソース：w 640 x h 480 px
- 再生時間：9:45（17541フレーム）
- フレームレート：26.42 fps
- データサイズ：271.6 MB
- コーデック：AAC H.264
理由がよくわかりませんが、Artemis Medium Quality: 200%よりも、Artemis High Quality: 400%で変換した時の方が、なぜか処理速度が3倍ほど速くなりました（再現性あり）。AIモデルと拡大率とのバランス？ここは要調査。
［追記 2022/01/12］ 申し訳ありません。読者の方からのご指摘で、sec./frameの解釈にミスがありましたが、この記事は訂正済みです。ありがとうございました 😀
- 変換AIモデルと速度：Artemis Medium Quality: 200%
0.09〜0.11 sec/frame（数値が小さいほど、処理が高速） - 予想変換時間：25分 実際の変換時間：34分
- 変換後：w 1280 x h 960 px（200 %）
- 再生時間やフレームレート、コーデック：（ソースと同じ）
- データサイズ：871.4 MB（約3.2倍、オーディオ無し）
- 変換AIモデルと速度：Artemis High Quality: 400%
0.29〜0.43 sec/frame（数値が小さいほど、処理が高速） - 予想変換時間：1時間28分 実際の変換時間：2時間01分
- 変換後：w 2560 x h 1920 px（400 %）
- 再生時間やフレームレート、コーデック：（ソースと同じ）
- データサイズ：2.92 GB（約10.7倍、オーディオ無し）
どのAIモデルを選ぶべきか？簡単に比較できるプレビュー
ビデオは、その内容によって処理に使うAIモデルを変えた方がパフォーマンスが向上します。Video Enhance AIは、ビデオに最適なAIモデルを自動判定しますが、手動で比較ながらの選択も可能です。使い方も簡単。
- ビデオの画質を比較しやすいフレーム（例：人の顔のクローズアップや被写体のディテール）まで再生ヘッドをドラッグし、［Preview］ボタンをクリックする。
- 3つの異なるAIモデルが自動的に選択され、必要なデータがダウンロードされて、それぞれ30フレーム分だけレンダリングされる。オリジナルを含めた4つのプレビューが分割表示される。
- ウインドウを最大化したり、ウインドウ右上の「Zoom」「View」を切り替えて見比べ、自分が使うAIモデルを選ぶ。
最新のAIモデルデータをダウンロードするには、常にネットワーク接続が必要です。当初は、処理を安定させて高速化しようと思って、ネットワークをいろいろなタイミングでオフにしてみたんですが、どうも、途中でネットワークを接続し直しても、認識しない様子でした。エラーは表示されなかったので、必要なタイミングで常にAIモデルデータをやり取りする一方、見つからなければ代替モデルを使っているのかもしれません（Wiresharkでチェックすべきだったかも…）。
かなりしつこくVideo Enhance AIでバッチ処理してみた
一度、処理に48時間以上掛かると予測された長尺のビデオを変換してみたところ、42時間ほどでまさかの強制終了！『夜中に退社前のマシンで処理を設定して、朝出社すると途中で死んでた！』なんて、まるでApple Computer時代、初代QuickTimeが開発者用に出た最適化ユーティリティーMoviePakじゃないか！
しかも、Finder >Appleメニュー>「最近使った項目」にアプリケーションの名前が出ない！アプリケーションを再起動し、リスタート後はしばらく0.12 sec/frameで推移…かと思えば、予想残り時間の分数が微妙に変化しているだけで、全然、進んでない！しかも、AIモデルのロード画面も消えない…結局、デバイスから再起動。原因は不明。挑戦者の苦悩は続くのでありました…
他にも、こんなことをテストしてみました。
- 処理を一旦スタートさせ、途中で不要なアプリケーションやシステムファイルを次々にオフにしても、変換速度にはほとんど違いが出なかった。
終了させたアプリケーションやユーティリティー：Webブラウザー/メール/ウイルスチェッカー/OS関連/Adobe関連/Dropbox関連/ATOK関連/FigmaなどのDaemon/その他、アクティビティモニタに表示される不要そうなもの - さらにしばらく処理を続け、途中でWi-FiとBluetoothをオフにしたところ、変換速度が0.16〜0.17 sec/frameに微妙に上がった。しかしこれは、その時のフレームで表示されている絵や動きなどの影響だと推測。
- 一旦、処理中に敢えてデバイスを強制的にスリープさせてみた。その状態のまましらばく放置した後で、デバイスをウェイクアップさせると、瞬間的に0.90 sec/frameという処理スピードが表示された（再現性あり）。ただし、これが本当に表示された速度で処理されていたことを示すのか、単に表示された数字の問題なのかは不明。
［追記 2022/12/01］ 折角、いろいろな方にここの記事をいろいろ読んでいただいて、アフィリエイトリンクから購入して支援いただいたのに、Topaz Labs社からいきなりアカウントを強制閉鎖されてしまいました :'(
理不尽さには憤るものの、いちユーザーとしてできることは限られるのでここ数ヶ月モヤモヤしています…
https://topazlabs.com/
Video Enhance AIを使う時、拡大せずにブロックノイズが消えたり、モーションブラーが除去されるだけでも、本当にとてもクッキリとキレイに見えます。走っている車から撮影した標識の文字がハッキリ見えるようになったり、木々の葉っぱが1枚ずつ視認できたり、これは、一度見てしまうとやらずにいられないクオリティー。人物の肌の処理エンジンも改善されている印象を受けました。
古いSD画質の8mm ビデオは本当に全部Video Enhance AIで変換したい！あの人もこの人も、あんな風景やそんな光景も懐かしすぎるし、映っているが誰なのかどこなのか、証言できる人がいるうちに何とかせねば… :'(
ただ、毎回いってますがソースからキャプチャーする手間と、膨大な処理時間をどうするんだ？というのが大問題。ブロックチェーン技術は、こういう目的の分散処理にもきっと有効なんでしょうね。目下、最大の課題は、FireWire（IEEE）デバイスが手元に1台も残っていないこと。次のレポートはやっぱりこっちだな。
