waifu2x-caffeでエロゲOPを高画質化した

今までやりたいなと思っていたが、waifu2xの環境構築に手間取ったりluaってなんだよ・・・とか思っていてなかなかやる気が起きなかった

しかし、waifu2x-caffeなるものを見つけ、環境構築をすることなくwaifu2xの派生を利用できること知り、実行に至った。

Windowsのみ対応で、現状のLinuxサーバーで動かすことはできないが、サーバーにGPUを積む気もないのでちょうど良い。

waifu2xとは

waifu2xとは、簡単に説明すと人工知能技術を利用した画像拡大ソフトです。

人工知能に、与えられた画像を圧縮画像と解釈させ「この圧縮画像の圧縮前の画像を求めよ」という問いの答えが出力される拡大ソフトです。(引用)

自分なりにまとめると、学習したものを参考にして2次元の嫁を高画質化してくれるって感じ。

waifu2x-caffeのダウンロード

waifu2x-caffeReleaseからダウンロードができる。

適当な場所に解凍して、その中にあるwaifu2x-caffe.exeがGUI版の本体。

動画から音声を抽出

$ ffmpeg -i {動画ファイル} -acodec copy {出力ファイル名}

動画から1フレームごとにpngを出力

sourceなどの適当なフォルダを作ってその中に出力させる

$ ffmpeg -i {動画ファイル} -f image2 source/%07d.png

waifu2x-caffeを用いて変換

GUIの入力パス欄に先ほどpng出力したフォルダをドラッグしてパスを指定。
sourceフォルダと同じところにconvertedなどのフォルダを作り、それをドラッグして出力パスを指定。

ノイズ除去レベルや拡大率、モデルや分割サイズなどはお好みで設定していざ実行。

  • 1280x720の1分55秒の動画(オトメ*ドメインOP)で5時間43分かかった。
    (GTX760 CUDA、ノイズ除去レベル3、拡大率2.0、2次元イラストRGB、分割128)
  • 1280x720の2分38秒の動画(Clover Day'sOP)と、同じく1分30秒(サノバウィッチOP)の2本いっぺん(合計4分8秒)で11時間7分
    (同上)
  • 1280x720の1分36秒の動画(恋と恋するユートピアOP)で4時間38分
    (同上)
  • 1920x1080の1分48秒の動画(千恋*万花OP)で8時間48分
    (同上)
  • 1280x720の2分30秒の動画(はつゆきさくらOP)で6時間16分
    (GTX760 cuDNN分割480、他同上)

pngファイルの合計サイズ

動画 source converted 倍率
オトメ*ドメイン OP 3.42GB 9.56GB 2.79
Clover Day's OP 4.10GB 10.0GB 2.43
サノバウィッチ OP 1.58GB 4.21GB 2.66
恋と恋するユートピア OP 2.06GB 5.44GB 2.62
千恋*万花 OP 4.50GB 11.8GB 2.62
はつゆきさくら OP 3.79GB 9.18GB 2.42

動画化

私的推奨

$ ffmpeg -r {フレームレート} -i converted/%07d.png -i {音声ファイル} -vcodec mjpeg -qscale 0 {出力ファイル名}

私的非推奨

こんな感じでやって音声の抽出を省くという手もあるが、ストリームの番号などの確認が面倒
mapの0:0は-iの0個目のファイルの0番ストリーム(ここでは元動画音声)
1:0:0:1は1個目のファイルの0番ストリームを1番ストリームとして書き出し(1:0 -> 0:1)

$ ffmpeg -r {フレームレート} -i {元動画ファイル} -i converted/%07d.png -acodec copy -map 0:0 -vcodec mjpeg -map 1:0:0:1 -qscale 0 {出力ファイル名}

動画のファイルサイズ

動画 source converted 倍率
オトメ*ドメイン OP 245MB 1640MB 6.69
Clover Day's OP 102MB 1440MB 14.11
サノバウィッチ OP 72.6MB 710MB 9.77
恋と恋するユートピア OP 114MB 818MB 7.17
千恋*万花 OP 98.1MB 1710MB 17.43
はつゆきさくら OP 91.5MB 1200MB 13.11

さいごに

一番画質の変化を感じられたのはオトメ*ドメインのOP動画でした。

時間もかかるしGPUの発熱も大きいので、エアコンを回しっぱなしにして回すことが大事。(できればPCケースの蓋を外してやる)

みなさんもぜひ挑戦してみてください!

CPUのみで変換をした勇者がいたらすごい!

waifu2x-caffeではCUI版も提供されているので、今回の流れをバッチ化したものを作るかも・・・?(フレームレートの指定あたりで詰まりそう

参考

Add a Comment

メールアドレスが公開されることはありません。