インターネット上の画像群からTime-lapse映像を自動生成する手法の概要

第33回目となる今回は、インターネット上の画像群からTime-lapse映像を自動生成する手法の概要について紹介します。

Time-lapseという言葉をご存知でしょうか?
Time-lapseは、一定間隔で写真を撮影し、それらをつなぎ合わせて作成した映像のことです(動画1)。雲がものすごく早く流れ一気に日が暮れていく映像や、植物が瞬く間に成長する映像などがその例です。

Time-lapseは、カメラを固定して一定間隔で撮影するのが一般的ですが、SIGGRAPH 2015でインターネット上の画像群から自動的にTime-lapse映像を生成する研究が発表されました。
今回はその、Time-lapse Miningという技術について紹介します(参考文献: Ricardo Martin-Brualla, David Gallup and Steve M. Seitz, “Time-lapse Mining from Internet Photos”, ACM SIGGRAPH 2015)。

動画1 Time-lapse映像

処理の流れ

図1はTime-lapse miningの一例です。多数の人が様々な角度から、長年にわたって撮影し、インターネット上にアップした写真から、Time-lapse映像を生成することができます。例えば、ノルウェーの氷河がどのように変化したかが一目でわかるTime-lapse映像を生成することができます。

図1 Time-lapse Miningの結果の一例

処理の流れは下記のとおりです。

■Step1: インターネット上の画像をクラスタリングし、同一のランドマークを含むクラスタに分類する
■Step2: 写真の撮影日時(Timestamp)をもとに、時系列順に画像を並べる
■Step3: 第19回の記事で紹介したSfM(Structure from Motion)により3次元再構成を行う(図2)

図2 3次元再構成の結果

■Step4: 基準とする画像(Reference Image)の視点に、その他の画像の視点を、SfMにより求めた3次元再構成結果を用いて変換する
■Step5: 照明条件やオクルージョン(物体で隠れてしまって見えない領域)を補正する

処理の結果

実験では8600万枚のインターネット上の画像から、2942個のランドマークのTime-lapse映像を合計10728個生成することに成功しています(動画2)。この技術が実用レベルになれば、身近なランドマークのTime-laps映像を手軽に楽しむことができるようになるかもしれません。また、インターネット上の画像群の代わりに、自分で長年取り溜めた、撮影時間や撮影角度の異なるお気に入りの場所の写真から、Time-lapse映像を手軽に作成することもできるでしょう。