イラストを3D風にして遊んでみた

最近Twitterを見ていると、2Dの画像を3Dの様にズームイン、アウトさせての動かしている動画ツイート流れてきます。調べたところ無料で簡単に加工できるようなのでやってみました。

そもそも僕が言ってる3D風画像ってなんぞやという人は、一度ハリボテ班のこのツイートを見てください。

作り方

ここからは、簡単に画像加工の手順を書いておきます。適当かつ自分のノートパソコンで動くことを確認しただけです。

まず最初に、グーグルアカウントにログインしていることを確認し、jpg形式の画像を用意します。（jpg以外の形式には対応していないらしい）

今回使ったサイトはこちらです→3D Photography using Context-aware Layered Depth Inpainting

上記ページを下までスクロールするとリンク欄があるので、右端のDemoをクリックしgoogle colabのページに飛びます。

google colabに飛ぶと、今回使う画像加工プログラムのコードがあります。Playgroundで開くをクリックし(①)、[]欄を上から順にクリックして(②)プログラムを実行していきます。

上から4つ目の欄で画像ファイルを選択します。

5つの項目の処理がすべておわったら、左端のファイルから、3d-photo-inpainting/video/と開いて、出力された動画をダウンロードします。現在は4パターンの動きを生成してくれるようです。

今回作った動画が最初に貼ったリンク先のツイートです。2018年学祭のハリボテ轟雷の写真。

やってみた感想

使った画像が悪いのかもしれないけど、ハリボテ轟雷の画像は正直かなり違和感あるなと。紹介ページの例のクオリティが高かっただけに、もう少し精度の高い補完を期待してしまいました。複雑な多面体が苦手なのか、蛍光灯の光が悪いのか。自分のイラストでは、背景のパースを写真に寄せているものは、違和感はあるものの良い感じに動かすことができました。機械学習とのことなので、時間が経てばもっと高精度の補完ができるのかな。