使い方


■ヘルプ
ホットキーやマウス操作の説明です。
HキーまたはコンソールのHelpボタンで表示/非表示できます。


■View
画像や動画を表示するエリアです。
マウスの左ドラッグで向き、右ドラッグで大きさを調整します。


■ファイル
画像ファイルや動画ファイルを選択したり、各種設定を行います。
QキーまたはコンソールのFileボタンで表示/非表示できます。


■コンソール


動画のシーク操作や表示位置の調整などを行います。
CキーまたはコンソールのXボタンで表示/非表示できます。


１．サンプルファイルの再生
ファイル画面でPListタブ(プレイリスト)を選択し、imageを選択するとサンプル画像が表示されます。




View画面を左ドラッグして向きを調整します。右ドラッグで大きさを調整します。
左ダブルクリックでフルスクリーンにします。



■デプススケール
コンソールのDepthを左ドラッグしてデプススケール（立体化の押し出し具合）を調整します。Aキーを押しながら左ドラックでも調整できます。
調整中に右クリックすると 100にリセットします。
調整中はシークバーの下に数値が表示されます。




デプススケール 説明
1 ほぼ平面となります
50 静止画では これぐらいが丁度いいです
100 動画の標準です
200 動画の立体感を強調します

静止画は50〜100くらい、動画は100〜200くらいで調整してください。



■次のファイル
サンプル画像は複数あります。マウスのホイールを手前に回すかキーボードの←、→、コンソールのシークバーで次のファイルを表示します。
また、コンソールのスライドショーボタンまたはPキーで自動的に画像を更新することができます。
動画ファイルの場合はマウスのホイールが10秒送りとなりますので、右ボタンを押しながらホイールを回して次のファイルを再生します。


■任意のファイルを再生
ファイル画面でFileタブを選択しファイルを選択するか、Windowsエクスプローラーからファイルをドラッグアンドドロップして任意のファイルを再生できます。
ファイルが複数含まれるフォルダーをドラッグアンドドロップすることもできます。
ドロップされたファイルはPListタブのプレイリストへ追加されます。



２．基本操作


機能 ホットキー 説明
フルスクリーン ダブルクリック
Alt+Enter		 ディスプレイいっぱいに表示します
音量 ↑
↓		 音量を調整します
アプリケーション終了 ESC Depth Player 3Dを終了します
ファイル画面のMainタブにもアプリ終了ボタンがあります
一時停止、スライドショー P 動画の場合は一時停止
画像の場合はスライドショーを開始、停止
2ページ表示 D フォルダ再生の場合に 2枚ずつ画像を表示します
1ページ進める >
<		 2ページ表示のページのズレを解消するのに使います
VRモード V VRモードに切り替えます
インパクト スペース 物理処理で力を加えます
フィルター F フィルターのON/OFF
ONにすると輪郭が滑らかになります
     
スクリーン形状：フラット 7 2D画像、 2D動画用の四角いスクリーン
スクリーン形状：円形 8  VR動画用の円形スクリーン
スクリーン形状：VR 9  VR動画用180度スクリーン
スクリーン形状：自動 0  スクリーンを自動で切り替えます
     
ヘルプ表示 H  ヘルプ画面を表示します
ファイル画面表示 Q ファイル画面を表示します
コンソール表示 C コンソールを表示します
ファイルタブ W ファイル画面のファイルタブを表示します
プレイリストタブ E ファイル画面のプレイリストタブを表示します
メインタブ R  ファイル画面のメインタブを表示します
Depthタブ T  ファイル画面のDepthタブを表示します
ライセンスタブ L ファイル画面のライセンスタブを表示します



３．物理処理
スペースキーを押すことで立体画像に力を加えることができます（インパクト機能）。
そのほか、画像を表示したときやサイクルフォース、およびVRモードでも立体画像に対し物理処理が適用されます。


■物理処理


ファイル画面のDepthタブで物理処理の設定ができます。
最初はプリセットボタン[柔らかい]、[普通]、[硬い]から選択してください。
詳しい設定は物理処理設定を参照してください。


■サイクルフォース
サイクルフォース (Cycle force)をONにすると一定のリズムで力を加えることができます。
力は深度画像の青チャンネルの値が大きい箇所へ加わります。
白黒画像の場合 深度値と同じ値が青チャンネルに設定されているので、手前にある部位へ大きな力が加わり、奥の背景には殆ど力は加わりません。


■インパクト
Impactボタンまたはスペースキーを押すことで 力を加えます。


■インタラクション
VRモードでは左コントローラーのスティックを押すことでコントローラーの位置にボールが表示され立体画像に触れるようになります（インタラクション機能）。
またボールが表示されている間は BボタンおよびYボタンで掴むことができます。

※ 物理設定による柔らかいとか硬いといった質感の違いはVRモードで触った場合でないと実感できません。
通常のデスクトップモードでは動きが早くなったとか、動きが小さくなった、鈍くなったと言ったわずかな印象の差に留まります。



４．VRモード
Vキーを押すか、同梱のvr.batから起動するとVRモードになります。
VRモードでは立体画像に触ったり摘まむことができます（インタラクション機能）。
SteamVR等のOpenXRに対応したプラットフォームで利用できます。




■起動方法
SteamVRとMeta Quest版のVirtual Desktopを使った例を紹介します。

１ Meta Quest版 Virtual Desktop等でMeta QuestをPCへ接続する

２ Depth Player 3Dを起動

３ Vキーを押してVRモードにする

４ SteamVRが自動で起動する

５ VRモードが使えるようになる


■VRモードの使い方
VRモードになったらホームボタンを長押しして位置をリセットしてください。
スクリーンが中央に表示されない場合は グリップを押しながらAボタンでスクリーンの位置をリセットしてください。

トリガーを押しながらスティックの左右で再生するファイルを選択します。
トリガーを押しながらコントローラーを左右に動かしてシークします。
左コントローラーのスティックを押すとコントローラーの位置にボールが表示されてインタラクションモードになります。
インタラクションモードでは立体化した画像に触ったり Bボタン、Yボタンで摘まむことができます。


■操作方法
右のコントローラーで操作します（設定でコントローラーの左右を入れ替えることができます）。
操作 説明
グリップ スクリーン移動と回転
グリップ＋スティック グリップを押しながらスティックの左右でスクリーンの大きさを調整します
グリップ＋A スクリーンの位置や回転、スケールをリセットします
スティック スティックの左右で動画の場合10秒送り、画像の場合次のファイル
スティック押す スティックを押し込むと一時停止
画像の場合はスライドショーの ON/OFF
トリガー トリガーを押しながらコントローラーの位置を左右へ動かして シーク
トリガー＋スティック トリガーを押しながらスティックの左右で次のファイルを再生します
トリガー＋グリップ＋B アプリ終了
A デプススケール
B インパクト、インタラクションモードでは摘まむ
左コントローラーの
スティック押す		 インタラクションモード ON/OFF


※ 3Dモニター出力と同時に使うことはできません。

５．3Dモニター出力 （外部モニター出力）
PCへ3Dテレビや3Dプロジェクターを接続して3Dサイドバイサイド映像を使った3D映像体験ができます。



■3Dモニター出力方法
１ PCのHDMI出力端子へ3Dテレビ等を接続する


２ Windowsのディスプレイ設定のマルチディスプレイで「表示画面を拡張する」を選択する


３ Depth Player 3Dを起動してファイル画面の3Dタブから「3D Monitor Output」をONにする


４ HDMI等で接続された外部モニターへサイドバイサイドの3D映像が出力されます


５ 3Dテレビ等の設定で3Dサイドバイサイドを選択してください





※ VRモードと併用できません。
※ 「3D Monitor Output」を一度ONにするとメインモニターへ最大化されます。ウインドウモードで利用することはできません。
ウインドウモードへ戻すには 「3D Monitor Output」をOFFにして Depth Player 3Dを再起動してください。
※ アプリを終了するにはESCキーを押すか ファイル画面のメインタブからアプリ終了ボタンを押してください。

６．フォルダ再生機能
フォルダに含まれる複数の画像ファイルを一冊の本の様に扱います。
Windowsエクスプローラーからフォルダをドラッグアンドドロップしたり、プレイリストへフォルダを登録した場合に使えます。



リストへはフォルダ名で表示されます(フォルダ名がjpg等の場合は親フォルダの名前で表示されます)。
再生するとコンソールへ画像枚数と現在のファイル番号が表示され、シークバーで画像を選択できます。
フォルダ再生中はDキーで本の様に2面で表示することができます。
見開きのページがずれる場合は <キー、>キーで調整してください。


７．深度付きファイルの作成
Python用のスクリプトdav2videoで深度付き画像および、深度付き動画を作成できます。
ただし、PythonのセットアップやAI関連のファイルを利用者自身でダウンロードする必要があり導入はやや面倒となっています。

静止画に関してはオンラインで深度画像の作成ができるWebサイトも利用できます。
こちらは面倒なセットアップなしで、誰でも簡単に深度付き画像を作成できます。


■Webサイトで深度付き画像を作成する

１ Webサイトへアクセス
深度画像作成サイト：https://huggingface.co/spaces/depth-anything/Depth-Anything-V2


２ 画像をアップロードしてCompute Depthボタンで深度画像を作成する



３ グレイスケールの深度画像をダウンロードする



４ Webサイトで元画像と深度画像を結合して深度付き画像を作成する
画像結合サイト：https://www.quickpicturetools.com/jp/combine_images/



一番左上の箇所へ元画像、その隣に３でダウンロードした深度画像をそれぞれアップロードします。

画像作成ボタンを押すと深度付き画像がダウンロードされます（ファイル名 combine_images.jpg）。
ダウンロードした画像ファイルをDepth Player 3Dのウインドウへドラッグアンドドロップして視聴します。
■画像の立体化に適した 深度推定モデル
深度推定モデルには様々な特性を持ったものが無数に存在しています。
主に距離の正確さを元に性能の評価がされていることが多いように思いますが

　　距離が正確 ＝ 画像の立体化が上手くできる

ではないようです。
高性能を謳うモデルの中には人物の顔などがコインの表面に彫られた彫刻の様に平べったいものになってしまう場合があります。
そんななかDepth Anything V2は個別の設定や調整なしに多くの場面で上手く画像を立体化できるように思います。
dav2videoおよびここで紹介したWebサイトではDepth Anything V2が使われていますので、このクオリティを基準にもっとうまく立体化できる深度推定モデルがあれば良いのですが、比較せずに他の深度推定モデルを使うと損をするかもしれません。


また、動画に関してはdav2video以外は上手くいかないことが多いです。
これは フレーム毎に異なる深度値が出力されてしまい 動画として視聴するとガチャガチャした(フレーム毎に表示位置が前後に激しく動く)映像になってしまうためで”フレーム間の一貫性問題”として認知されています。
対策の取られた動画用深度推定モデルも開発されていますが、安定する一方で立体化はいまいちというのが現状の様で、結局、動画でもDepth Anything V2を使うのがベストと考えています。
dav2videoはフレーム間の一貫性問題の対策が取られており、Depth Anything V2をそのまま動画へ適用するより安定した良い結果が得られるようになっています。

Depth Anythingを動画で使う際に知っておきたいこと