2 min read

waifu2x-caffeでエロゲOPを高画質化した

2016/07/25 03:08
PC

今までやりたいなと思っていたが、waifu2xの環境構築に手間取ったりluaってなんだよ・・・とか思っていてなかなかやる気が起きなかった

しかし、waifu2x-caffeなるものを見つけ、環境構築をすることなくwaifu2xの派生を利用できること知り、実行に至った。

Windowsのみ対応で、現状のLinuxサーバーで動かすことはできないが、サーバーにGPUを積む気もないのでちょうど良い。

waifu2xとは

waifu2xとは、簡単に説明すと人工知能技術を利用した画像拡大ソフトです。

人工知能に、与えられた画像を圧縮画像と解釈させ「この圧縮画像の圧縮前の画像を求めよ」という問いの答えが出力される拡大ソフトです。(引用)

自分なりにまとめると、学習したものを参考にして2次元の嫁を高画質化してくれるって感じ。

waifu2x-caffeのダウンロード

waifu2x-caffeのReleaseからダウンロードができる。

適当な場所に解凍して、その中にあるwaifu2x-caffe.exeがGUI版の本体。

動画から音声を抽出

$ ffmpeg -i {動画ファイル} -acodec copy {出力ファイル名}

動画から1フレームごとにpngを出力

sourceなどの適当なフォルダを作ってその中に出力させる

$ ffmpeg -i {動画ファイル} -f image2 source/%07d.png

waifu2x-caffeを用いて変換

GUIの入力パス欄に先ほどpng出力したフォルダをドラッグしてパスを指定。
sourceフォルダと同じところにconvertedなどのフォルダを作り、それをドラッグして出力パスを指定。

ノイズ除去レベルや拡大率、モデルや分割サイズなどはお好みで設定していざ実行。

  • 1280x720の1分55秒の動画（オトメ＊ドメインOP）で5時間43分かかった。
    （GTX760 CUDA、ノイズ除去レベル3、拡大率2.0、2次元イラストRGB、分割128）
  • 1280x720の2分38秒の動画（Clover Day'sOP）と、同じく1分30秒（サノバウィッチOP）の2本いっぺん（合計4分8秒）で11時間7分
    （同上）
  • 1280x720の1分36秒の動画（恋と恋するユートピアOP）で4時間38分
    （同上）
  • 1920x1080の1分48秒の動画（千恋＊万花OP）で8時間48分
    （同上）
  • 1280x720の2分30秒の動画（はつゆきさくらOP）で6時間16分
    （GTX760 cuDNN、分割480、他同上）

pngファイルの合計サイズ

動画 source converted 倍率
オトメ＊ドメイン OP 3.42GB 9.56GB 2.79
Clover Day's OP 4.10GB 10.0GB 2.43
サノバウィッチ OP 1.58GB 4.21GB 2.66
恋と恋するユートピア OP 2.06GB 5.44GB 2.62
千恋＊万花 OP 4.50GB 11.8GB 2.62
はつゆきさくら OP 3.79GB 9.18GB 2.42

動画化

私的推奨

$ ffmpeg -r {フレームレート} -i converted/%07d.png -i {音声ファイル} -vcodec mjpeg -qscale 0 {出力ファイル名}

私的非推奨

こんな感じでやって音声の抽出を省くという手もあるが、ストリームの番号などの確認が面倒
mapの0:0は-iの0個目のファイルの0番ストリーム（ここでは元動画音声）
1:0:0:1は1個目のファイルの0番ストリームを1番ストリームとして書き出し（1:0 -> 0:1）

$ ffmpeg -r {フレームレート} -i {元動画ファイル} -i converted/%07d.png -acodec copy -map 0:0 -vcodec mjpeg -map 1:0:0:1 -qscale 0 {出力ファイル名}

動画のファイルサイズ

動画 source converted 倍率
オトメ＊ドメイン OP 245MB 1640MB 6.69
Clover Day's OP 102MB 1440MB 14.11
サノバウィッチ OP 72.6MB 710MB 9.77
恋と恋するユートピア OP 114MB 818MB 7.17
千恋＊万花 OP 98.1MB 1710MB 17.43
はつゆきさくら OP 91.5MB 1200MB 13.11

さいごに

一番画質の変化を感じられたのはオトメ＊ドメインのOP動画でした。

時間もかかるしGPUの発熱も大きいので、エアコンを回しっぱなしにして回すことが大事。（できればPCケースの蓋を外してやる）

みなさんもぜひ挑戦してみてください！

CPUのみで変換をした勇者がいたらすごい！

waifu2x-caffeではCUI版も提供されているので、今回の流れをバッチ化したものを作るかも・・・？（フレームレートの指定あたりで詰まりそう

参考