2015年7月20日に行われたCVPR2015勉強会（コンピュータビジョン勉強会@関東）で発表したスライド。

1. Sketch-based 3D Shape Retrieval
using Convolutional Neural Networks
発表:a-i-to

2. 書誌情報、著者に関して
Fang Wang, Le Kang, Yi Li, Sketch-based 3D
Shape Retrieval using Convolutional Neural
Networks, CVPR, 2015.
著者の方たちの所属
• NICTA (オーストラリアの情報系の研究機関）
• ANU (オーストラリア国立大学）
• University of Maryland at College Park

3. 目的
• 手描きのスケッチをクエリーにして3Dモデル
を検索したい
– 手描きのスケッチから、それと同じ「カテゴリ」の
3Dモデルを検索する

4. アプローチ
• “siamese CNNs”
– 入力を２つ取って、それぞれを同じCNNsにかけて特徴ベクトル抽出
– その特徴ベクトルのノルムが、元の入力の「近さ」を反映するようにする
– S. Chopra, R. Hadsell, and Y. LeCun. Learning a similarity metric
discriminatively, with application to face verification. で提案された手法

5. 損失関数
• y: 同じカテゴリなら0、違うカテゴリなら1
• LG: 同じカテゴリの時に使う損失関数
– EWが小さい … 同じカテゴリで似てる
– EWが大きい … 同じカテゴリなのに似てない
LGはEWに対し、単調増加するような関数にする
• LI: 違うカテゴリの時に使う損失関数
– EWが小さい … 違うカテゴリなのに似ちゃってる
– EWが大きい … 違うカテゴリで似てない
=> LIはEWに対し、単調減少するような関数にする

6. 損失関数
この論文で採用している損失関数

7. neural networkの全体構成
• スケッチ用のsiamese network
• 3Dモデル用のsiamese network
の２つを用意する
全体の損失関数を
• 各ドメインでの損失関数
• ドメイン間の損失関数
の和で表す
※ s: スケッチデータ, v: 3Dモデルのデータ
s1とv1が同じカテゴリ、s2とv2が同じカテゴリとする。
よってyはs1とs2が同じカテゴリかどうか(= v1とv2が同じカテゴリか）を表す

8. 各CNNsの構成
入力 畳込み層 + プーリング層

9. 3Dモデルの扱い
ランダムに生成した２種類のviewで2Dに写像す
る
– ３Dモデルは上下固定
– viewは45度以上、間隔があるもの
※「モデルごとにたくさんのviewで投影したもの
を用意する」のではなく、２種類のviewだけ用意
する

10. 3Dモデルの扱い
viewが決まったら、
Suggestive Contoursなどの技法を使って2Dの線で描画されたデータにする

11. 実験：データセット
• PSB/SBSR dataset
– The Princeton Shape Benchmark +
the Shape Based Shape Retrival
– 1814個の3Dモデル 、1814個のスケッチ、クラス数90
（訓練時）、92（テスト時）
• SHREC’13 dataset
– 1258個の3Dモデル、7200個のスケッチ、クラス数90
• SHREC’ 14 dataset
– 8987個の3Dモデル、13680個のスケッチ、クラス数
171
http://techtalks.tv/talks/sketch-based-3d-shape-retrieval-using-convolutional-
neural-networks/61590/ より

12. 実験：定性的な評価
• 大枠では、カテゴリを捉えている
• 人の絵を描いたら、人のモデルが出てくる
ただ本棚の絵を描いたら、四角い形状のものが出てしまうなど、細かいレベル
では間違った結果を返してしまう
• 向き（view）に対して、ロバストな感じ（赤枠と緑枠に注目）

13. 実験：定量的な評価
適合率-再現率曲線を描いてみた。
赤い線が本論文の提案手法。既存のものよりいい。

14. 実験：定性的評価
他の指標でも勝ってる

15. まとめ
• 新しいスケッチからの3Dモデル検索手法の提案
– 3Dモデルに対して、たくさんのviewを用意しなくてもよ
く
– 既存のものに比べて性能の良い
• 2つのSiamese CNNsを組み合わせて、
– ドメイン内（スケッチ同士、3Dモデル同士）
– ドメイン間（スケッチと3Dモデル）
で類似度を計算する方法の提案