3次元計測とフィルタリング
•Download as PPTX, PDF•
29 likes•13,937 views
精密工学会画像応用技術専門委員会 2017年第3回定例研究会 http://www.tc-iaip.org/research/
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Similar to 3次元計測とフィルタリング
Similar to 3次元計測とフィルタリング (20)
More from Norishige Fukushima
More from Norishige Fukushima (13)
3次元計測とフィルタリング
- 1. ３次元計測とフィルタリング 福嶋 慶繁 名古屋工業大学 http://fukushima.web.nitech.ac.jp/ 精密工学会 画像応用技術専門委員会 2017年度第3回研究会 2017/9/29 中央大学・後楽園キャンパス
- 3. デプスセンサ 3
- 4. センサのタイプ Structured Light Coding • Kinect V1, Xtion, RealSense F200, RealSense SR300 Time of Fight • Kinect V2, MESA SR4000, DepthSense525 Stereo Camera + Unstructured Light • RealSense R200, RealSense RS400 Stereo Camera 主なメーカー Microsoft Kinect V1, V2 Intel RealSense R/F xxx R: Rear F: Front 近年のデプスセンサの種類 4
- 5. Microsoft Kinect V1 5 RGBカメラ 640x480@30fps, 1280x960＠12fps デプスセンサ 640x480@30fps 方式 Light Coding 有効範囲 800~4000mm, (Nearモード設定時：400 ~ 3500mm) 発売時期 2010 接続 USB2.0 備考 室内限定．複数台置くと干渉．RGBカメラの質が相当低い． 商用のデバイスはプレミア価格．非商用は半額．
- 6. Microsoft Kinect V2 6 RGBカメラ 1080p@30fps デプスセンサ 512x424@30fps 方式 Time of Flight 有効範囲 800~4000mm．libfreenect2を使えば8m越えで使える． 発売時期 2014 接続 USB3.0 備考 室内限定．RGBカメラの質がだいぶ上がった．
- 7. Intel RealSense F200 7 RGBカメラ 1080p@30fps デプスセンサ 640x480@30fps 方式 Light Coding 有効範囲 200~1200mm 発売時期 2015 接続 USB3.0 備考 近距離用．発売終了．SR300が後継機．
- 8. Intel RealSense SR300 8 RGBカメラ 1080p@30fps, 720p@60fps デプスセンサ 640x480@60fps, 640x240@110fps 方式 Light Coding 有効範囲 20~120mm（この範囲でソフトウェアが最適化） 発売時期 2016 接続 USB3.0 備考 近距離用．室内限定．
- 9. Intel RealSense R200 9 RGBカメラ 1080p@30fps デプスセンサ 640x480@60fps 方式 Stereo + Unstructured Light Projection 有効範囲 500~3500mm．野外は10M．400~2800mm（この範囲でソフ トウェアが最適化） 発売時期 2015 接続 USB3.0 備考 ステレオカメラ．
- 10. Intel RealSense ZR300 10 RGBカメラ 1080p@30fps デプスセンサ 640x480@60fps 方式 Stereo + Unstructured Light Projection 有効範囲 500~3500mm．野外は10M．400~2800mm（この範囲でソフ トウェアが最適化） 発売時期 2017 接続 USB3.0 備考 ステレオカメラ．ジャイロや加速度が取れる． Linux用．R200に比べてデプスカメラの水平画角大きい． 魚眼カメラ VGA 60fps
- 12. Xtion2 12 RGBカメラ 2592ｘ1944@15fps, 1080p 30fps, 1280x720 60fps デプスセンサ 640x480@30fps 方式 Time of Flight 有効範囲 80mm~3500mm 発売時期 2017 接続 USB3.0．外部電源不要． 備考 OpenNI2.2で動作．
- 13. Intel RealSense 400 13 RGBカメラ N/A デプスセンサ N/A 方式 Stereo + Unstructured Light Projection 有効範囲 N/A 発売時期 2017（予定） 接続 USB3.0 備考 ステレオカメラ．R200の後継 ？
- 14. Structure Sensor 14 RGBカメラ N/A デプスセンサ 640x480@30fps, 320x240@60fps 方式 Light Coding 有効範囲 400mm~3500mm 発売時期 2014 接続 USB3.0 備考 iPad専用．iPadの内部カメラと連携する．室内限定．
- 15. ASUS Zenfone AR 15 RGB Camera Depth Sensor Tracking Camera Snapdragon 821 2.35GHz 4core 1000$ 2017/7 Google Project Tango
- 16. Lenovo Phab2 Pro 16 RGB Camera Depth Sensor Tracking Camera Chipset Qualcomm Snapdragon 652 for Tango 1.8GHz x 8core 500$ 2016/11 Google Project Tango
- 17. アプリケーションと SDK 17
- 18. Windows Kinect for Windows SDK 2.0 Intel RealSense SDK OpenNI：メンテナンス終了 Linux, MacOS OpenKinect: libfreenect, libfreenect2 librealsense（Windows用よりも機能が貧弱） STRUCTURE SDK OpenNI：メンテナンス終了 SDK一覧 18
- 20. C++，C# RGB，IR，デプスの取得，位置合わせ 人物スケルトン取得（最大6人まで同時） ハンドトラッキング，ハンドジェスチャ認識 顔認識・追跡 ３Dスキャン Kinect Fusion 背景差分・クロマキー合成 Kinect for Windows SDK 20
- 24. 24 複数台環境
- 25. センサ内・間キャリブレーション 25 センサ間の距離が近いため，キャリブ レーションの精度はそれなりで良い． センサ間距離が広いため，高いキャ リブレーション精度が要求される． チェスボードを使った キャリブレーション（OpenCV） • stereoCalibrate 関数 • センサ間のキャリブレーション • calibrateCamera 関数 • カメラ単体のキャリブレーション カメラ自身のキャリブ レーションも必要
- 29. センサとキャリブレーション結果のずれ 29 y = 0.9914x + 3.4665 1000.0 1500.0 2000.0 2500.0 1000 1500 2000 2500 キャリブレーションのZ値[mm] センサのZ値 [mm] オフセットと定数倍のずれ
- 30. ICPを使った外部キャリブレーション Iterative Closest Point（ICP） • 点集合マッチングの代表的な手法 • Point Cloud Library（PCL）を使って実装 異なる視点で取得されたポイントクラウド間で レジストレーションを行い， 𝑹と𝑻を推定 • 対応がない点であるアウトライヤ多いと動作しない ため，合わせるためにはトリミングが必須 • 初期値が大きく外れていると収束しないため妥当な 初期値を与える必要 センサ間キャリブレーションの改善 30
- 32. 𝑹と𝑻の推定（Z補正無し） 31 KINECTの座標系における外部パラ メータ行列𝑴 𝑴 = 𝑹 𝑻 𝟎 1 = 0.04 −0.02 −0.99 2.08 0.07 0.99 −0.01 0.13 0.99 −0.07 −0.04 1.91 0 0 0 1 三次元モデリング結果．
- 33. 𝑹と𝑻の推定（Z補正有り） 31 KINECTの座標系における外部パラ メータ行列𝑴 𝑴 = 𝑹 𝑻 𝟎 1 = 0.04 −0.02 −0.99 2.08 0.07 0.99 −0.01 0.13 0.99 −0.07 −0.04 1.91 0 0 0 1 三次元モデリング結果．
- 34. 𝑹と𝑻の推定（ICP） 31 KINECTの座標系における外部パラ メータ行列𝑴 𝑴 = 𝑹 𝑻 𝟎 1 = 0.01 −0.02 −0.99 2.05 0.08 0.99 −0.02 0.13 0.99 −0.08 0.01 1.97 0 0 0 1 三次元モデリング結果．
- 35. ToFの干渉 35 干渉無し 干渉有り 干渉があるため，できるだけ角度を開けて取るほうが良いが，角度を開けると キャリブレーションが難しくなる．ToFやStructure Light方式は本質的にはマルチ デバイスによる取得は推奨されない．複数台のためには，パターンプロジェク ション＋IRステレオがいい．
- 36. 複数台の接続 36 USB3.0 10GbE RGB: JPEG 8bit Depth: LZ4 16bit Clients Server Imaged decode (CPU) Rendering (GPU) 10GbE Hub Kinect V2(s) infiniband で接続して非圧縮通信でも可
- 37. デプスマップの精度 37
- 38. 取得デプスマップの問題点 (1/2) 38 取得不能オクルージョン ざらつき 輪郭の不一致アウトライヤ Kinectによる取得 ステレオマッチングによる取得
- 39. 取得デプスマップの問題点 (1/2) 39 ToFの特徴 • オクルージョンはない • 小さなホールが多数生じる • 干渉から，中間値が生じてフ ライングピクセルができる • 周辺の画素の推定精度が低い • 反射する物体では推定が不安 定
- 40. デプスのざらつき 40
- 42. フライングピクセル 42
- 45. マッチングの安定度による評価 LRのマッチング一致 マッチングコストのピーク メディアンフィルタ スペックル除去 分散の評価 etc… アウトライヤ除去２ 45 低基準 中基準 高基準
- 46. 有効画素率 全体の何％デプスが求まっているか？ • 不安定な場所やオクルージョンを無効化 値域の精度 Ｚが何ミリ以内か？ • 平滑化フィルタでスムージング・デノイジング 空間の精度 ｘ，ｙのエッジの位置がRGBとあっているか？ • RGB画像をガイドにしたフィルタによる復元 デプスマップの精度指標と対策 46
- 49. Kinect V1・V2の誤差平均，標準偏差 49 O. Wasenmüller and D. Stricker, Comparison of Kinect v1 and v2 Depth Images in Terms of Accuracy and Precision, Proc. ACCV2016.
- 51. 温度変化による精度の変化 51 O. Wasenmüller and D. Stricker, Comparison of Kinect v1 and v2 Depth Images in Terms of Accuracy and Precision, Proc. ACCV2016. 温度によるドリフト SLのほうが低消費電力．ToFはアクティブに空冷しないとだめ． V１は起動直後は安定しない．
- 52. ToFのデコード方法の改善 52 Felix Järemo Lawin, Per-Erik Forssén, Hannes Ovrén, Efficient Multi-Frequency Phase Unwrapping using Kernel Density Estimation, ECCV 2016． OpenKinectを使ってRAWデータからToFのデコード方法を実装している．
- 53. デプスマップのデータセットのリンク集 Michael Firman, “RGBD Datasets: Past, Present and Future,” in Proc. CVPR Workshops, 2016. http://www0.cs.ucl.ac.uk/staff/M.Firman/RG BDdatasets/ デプスマップのデータセット 53
- 54. フィルタリング 54
- 57. 中間値の除去 ショックフィルタベースの処理 erode, dilate後の値との差分で閾値処理するこ とで中間値を フライングピクセル対策 アウトライヤ除去 (2/2) 57 信号 中間値を閾値等で除去 周辺の最大値 周辺の最小値
- 60. バイラテラルフィルタ outputinput x 画素ごとにカーネルのウェイトが異なる • 中心の色に近いほど高い重み：値域ガウシアン • 中心の位置に近いほど高い重み：空間ガウシアン C. Tomasi, and M. Roberto, "Bilateral filtering for gray and color images," ICCV1998.
- 61. Gaussian Smoothing * * * input output Same Gaussian kernel everywhere Averages across edges ⇒ blur Slides taken from Sylvain Paris, Siggraph 2007
- 62. Bilateral Filtering * * * input output Kernel shape depends on image content Avoids averaging across edges Slides taken from Sylvain Paris, Siggraph 2007
- 69. 画素を混ぜないためのフィルタが必要 メディアンフィルタ Weighted Median Filter，Weighted Mode Filter バイラテラルフィルタの重みを考慮したメディ アンフィルタ，最頻値フィルタ 統計値フィルタのバイラテラルフィルタ拡張 統計値ベースのフィルタ 69
- 71. 繰り返しフィルタによる復元 71
- 74. 穴埋め・輪郭補正結果 74
- 76. 3次元モデリング モデリングの精度向上 リフォーカシング 輪郭とデプスの不一致から，輪郭のフォーカス外れておかし な画像になるのを防ぐ 合成・切り出し きれいな切り出し，マッティングのためには輪郭の精度が もっとも重要 デノイジング フォーカスの当たり方でノイズ量がちがうため，デプスを参 照してデノイジング可能 ICPの精度向上 法線ベクトル安定化してpoint to plane, plane to planeのICP の精度が向上 応用先 76
- 77. ガイド画像つきフィルタの組み合わせはデ プスマップだけではなく，そのほかの組み 合わせで色々な応用可能 デプスマップ × RGB画像 デプスマップ × IR画像 動きベクトル × IR画像 セグメンテーション × RGB画像 RGB画像 × IR画像 RGB画像 × RGB画像 （フラッシュ，フォーカス，ISO，絞り） ガイド・画像の組み合わせ 77
- 78. デュアルカメラスマホ 78 iPhone 7 Plus HUAWEI P9/Mata9/ P10 Honor 8 Pro LG V20/G6 Xiaomi Mi5S PlusZTE Nubai Z17mini/V8 Asus Zenfone 3 Zoom
- 79. フラッシュ・ノンフラッシュフォトグラフィ フラッシュ画像 光源の変化→影の消失 色合いが不自然 コントラストがはっきり ノイズが少ない 「フラッシュを焚いて撮影した写真と 焚かずに取った写真を計算して統合する方法」 ノンフラッシュ画像 色合いが自然 影が正しく撮影 コントラストが曖昧 ノイズが多い
- 80. 色温度高，影つき，ノイズ大
- 81. 色温度低，影無し，ノイズ小
- 82. フラッシュノンフラッシュ統合
- 83. Joint Bilateral Upsampling 83 高解像度の色情報をガイド にして補間する値を決定
- 85. 高速化 85
- 87. 様々な高速化アルゴリズムが提案 Compressive Bilateral Filter • K. Sugimoto and S. I. Kamata, "Compressive Bilateral Filtering," in IEEE Transactions on Image Processing, vol. 24, no. 11, pp. 3357-3369, Nov. 2015. • グレイスケールかつVGAなら，１０ｍｓ程度で任意の フィルタカーネルサイズで計算可能（しかもCPU） 乱択バイラテラルフィルタ • 藤田秀, 木村誠, 福嶋慶繁, "乱択化バイラテラルフィルタ による高速エッジ保持平滑化," 情報処理学会コンピュー タビジョンとイメージメディア研究会(CVIM), Jan．2016. • 乱数を使ってフィルタリングを間引くことで簡単に高速 化．カラーでも高速化可能． エッジ保存平滑化フィルタの高速化 87
- 88. Weighted joint bilateral filter with slope depth compensation filter for depth map refinement," in Proc. The 8th International Conference on Computer Vision Theory and Applications (VISAPP), Feb. 2013. 重み付きバイラテラルフィルタ出力と近傍の値へ の置き換えをすることで最頻値フィルタの近似を する Zhang, Qi, Li Xu, and Jiaya Jia. "100+ times faster weighted median filter (WMF)." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2014. WMFの近似高速化アルゴリズム．上の処理のほう がだいぶはやい． 最頻値フィルタの高速化 88
- 89. ノンローカルミーンフィルタ デノイジングフィルタ．バイラテラルフィルタではどうしてもノ イズが抑えられなかったらこれ BM3D 最高峰のデノイジングフィルタ．デプスマップのデノイズには， これほどの処理はいらない guided filter ボックスフィルタを組み合わせることで，ガイド画像を線形当て はめした出力（局所線形性）を出力 domain transform filter エッジ保存可能なIIRフィルタ．最も高速に動作するが，ノイズに 弱い Fast Global Smoother Filter 全画像をフィルタリングカーネルの対象にしたフィルタの近似高 速化．穴埋めにはこのフィルタのほうが強い その他のエッジ保存平滑化フィルタ 89
- 90. OpenCV デファクトスタンダート画像処理ライブラリ imgproc, photo, ximgproc, xphotoモジュールに 紹介したフィルタが実装されている OpenCP 福嶋が作ったエッジ保存平滑化フィルタ等を公 開したライブラリ https://github.com/norishigefukushima/OpenC P AVXに対応作業が進行中 実装 90
- 92. ドメイン固有言語：Domain Specific Language（DSL） 何かに特化した専用プログラミング言語 画像処理専用DSL Halide (http://halide-lang.org/) Darkroom (http://darkroom-lang.org/) Forma (https://github.com/NVIDIA/Forma) など，近年多数登場． 高速な実装・コンパイラ 92
- 96. 様々なデプスセンサが登場 Light Coding, Time of Flight, Stereo + Unstructured Light, Stereo センサは方式により精度，誤差の乗り方が 違う デプスマップのフィルタリングによる改善 方法，その高速化方法を紹介 謝辞：本研究はJSPS 科研費JP17H01764 の助成を受けた． まとめ 96