SlideShare a Scribd company logo
非参照型メトリクスを用いた
動画の物理評価
大阪市立大学医学部附属病院
中央放射線部
片山 豊
2021 年 4 月 16 日
第 89 回 画像部会
Disclosure of conflict of interest
We have nothing to declare for this study.
the 77th Annual Meeting of the JSRT
Japanese Society of Radiological
Technology
自己紹介
[職歴]
• 1998 年: オートバイ用マフラーの開発・製造
• 2003 年: 大阪大学医学部附属病院
• 2004 年: 市立泉佐野りんくう総合医療センター
• 2006 年: 社会医療法人仙養会 北摂総合病院
• 2007 年: 大阪市立大学医学部附属病院
[研究歴]
• 2006 年: モンテカルロシミュレーションを用いた医療被ばくの線量評価
• 2010 年: スパースコーディングを用いたステレオマッチング
• 2013 年: バイラテラルフィルタを用いたデノイズ処理
• 2014 年: スパースコーディングを用いた超解像
• 2017 年: 深層学習を用いた超解像
• 2018 年: 超解像を用いたデノイズ処理
• 2019 年: 敵対的生成ネットワークを用いた放射線画像の生成
• 2020 年: 非参照型メトリクスを用いた放射線画像の評価
コンテンツ
• 放射線画像の物理評価
• 工学系の動画評価
• 非参照型メトリクスを用いた画像評価
• 非参照型メトリクスを用いた放射線動画の評価
放射線画像の物理指標 (画質指標)
• modulation transfer function (MTF)
• noise power spectrum (NPS)
• スクリーンフィルム系の頃から使用
• (ある程度) 絶対的な画質評価が可能
• 画質スコアとして使い易く広く普及
岸本健治.
一般撮影においてのフラットパネルディテクタの評価
(臨床技術講座). 日本放射線技術学会雑誌, 2002, 58.4: 455-461.
岸本健治, et al.
"FCR のオーバーオール MTF 測定: その 3 周波数処理による MTF の変化:
画像理論-3." 日本放射線技術学会雑誌 45.8 (1989): 1052.
放射線画像の評価
• MTF や NPS を算出するには,
階調処理の行われていない画像 (生データ) が必要
• 検出器が computed radiography (CR) から
flat panel detector (FPD) へと変化した現在では
各指標の算出に必要な生データの取出しが困難
• 放射線画像の評価としては視覚評価が一般的
• 医用画像は診断のために人間が観察するので,
主観評価で画質を評価することが妥当
• 訓練された人間の感覚は優秀
工学系の動画評価
• 動画コーデック
• 動画データを圧縮・変換・復元する方式
• H.264/AVC (2003 年)
• 4K 解像度,フレームレート 60 fps まで対応し,
PC ブラウザ,スマートフォン,Web などで利用
• H.265/HEVC (2013 年)
• 8K 解像度の動画だけでなく
携帯端末向けの映像配信での利用も想定
• H.266/VVC (2020 年)
• 4K,8K 解像度のSDR/HDR (Standard/High Dynamic Range) 動画,
360°パノラマ動画,Light-fieldカメラ,
スクリーンコンテンツなど広範な用途での利用
画質は同等で
データ量が半分
画質は同等で
データ量が半分
動画の画質は何を測定した値なのかが分かり難い
動画の画質に使われる指標
• 解像度
• 各フレームのピクセルサイズ (画素数)
• フレームレート
• frame per second (fps) とも言い,
単位時間あたりに処理される静止画数
⇒ 動画が 1 秒間に何枚の画像から出来ているのか
• ビットレート
• 動画が 1 秒間に何ビットのデータで作成されているか
⇒ 動画が 1 秒間のデータ量
1 Mbps の動画は,1 秒間に 0.125 Mbyte のデータ量
∵ 8 bit = 1 byte ⇒ 1 Mbit/8 = 0.125 Mbyte
動画の評価方法
• 動画コーデックやエンコードパラメータの優劣は
あるデータセットに対する BD-Rate を計算した
評価が一般的
• BD-Rate は RD-Curve から計算
• RD-Curve は
peak signal to noise ratio (PSNR) などの
評価指標から計算
PSNR
• 客観評価手法のうち,
頻用されている古典的なメトリクス
• このメトリクスは目標となる動画が必要
⇒ 完全参照型メトリクス
• 比較する動画を入力すると指標が得られる関数
• 指標の単位は
デシベル (英語: decibel,記号: dB) で得られる
PSNR
• 動画エンコードの評価では,
高画質の動画が必ずあるため PSNR を適用し易い
• 動画の PSNR は全フレームの平均値を結果とする
• 値が大きいほど高品質 (比較対象に差が少ない)
PSNR 値は同一画質であれば 8-bit データに比べて
16-bit データの方が値は大きくなる
目的 (信号の種類) によって良好とされる値が異なる
(MAX: 信号が取りうる最大ピクセル値)
RD-Curve
Fourth Annual MSU MPEG-4 AVC/H.264 Video Codec Comparison レポートより引用
http://compression.ru/video/codec_comparison/pdf/msu_mpeg_4_avc_h264_codec_comparison_2007_eng.pdf
RD-Curve
• RD-Curve の画像の善し悪しを表す指標には
PSNR がよく利用される
• PSNR を用いることに必然性はなく
別の指標を用いても良い
• RD-Curve を用いた放射線動画の評価では,
ビットレートは比較したい撮影パラメータ
(線量,撮影時間およびフレームレートなど) に,
画像の善し悪しを表す指標には
知覚品質とすることで実現可能
BD-Rate
• RD-Curve を比べることで,
複数のコーデックやパラメータの違いを観察可能
• 定量的にどれぐらいの差があるのか計算する方法を,
Gisle Bjøntegaard が 2001 年に ITU-T で提案
• この指標は提案者の名前を取って,
BD-PSNR (Bjøntegaard delta PSNR) と呼ばれる
• RD-Curve は PSNR が同一の時のビットレートの違い
• その時に得られる差は BD-Rate (Bjøntegaard delta bitrate)
画像評価のガイドライン
• 電子化文書の画像圧縮ガイドライン* では
画像評価に PSNR を推奨
• 人間の主観との相関はそれほど強くない
• 低 SNR 領域や PSNR 値が低い領域で
視覚評価と相関が悪くなる傾向
• 完全参照型メトリクスには
必ず対応した高画質な画像が必要
• 臨床検査の画像を対象とした
医用画像評価には不適
* 小箱雅彦. 標準化への道 標準化委員会報告 (3)
電子化文書の画像圧縮ガイドライン. 月刊 IM, 2011, 50.5: 21-24.
PSNR から知覚品質へ
• PNSR 値が高くなるように最適化
• 平均的に良いと思われる画像 ⇒ ボケる傾向
• 知覚品質と PSNR の関係性を定量的に評価
• The perception-distortion tradeoff*
⇒ 超解像では知覚品質と歪みにはトレードオフがある
⇒ 知覚品質と歪みの精度を同時に高めることは不可能
• 超解像による生成画像は知覚品質を用いて評価
• “Ma et al.” と言う指標で評価
* BLAU, Yochai; MICHAELI, Tomer. The perception-distortion tradeoff.
In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018. p. 6228-6237.
知覚品質
• ECCV 2018 PRIM Workshop で開催された
超解像コンペティションでは
知覚品質の歪みのトレードオフ問題を踏まえて,
従来の評価手法 (PSNR,SSIM) とは異なる
新しいメトリクスが導入
Perceptual score = 1/2((10 - Ma et al.) + NIQE)
• Ma et al.
3 つの低レベルの統計的特徴から 2 ステージの回帰モデルを構築することでスコアを算出する仕組み
• NIQE ⇒ 非参照型メトリクスの一種
モデルを学習させるために使用されるイメージデータベースから取得された特徴と
測定したいイメージから計算された natural scene statistic: NSS ベースの特徴の間の距離を測定
• 非参照型メトリクスは目標画像がなくとも画質評価が可能
非参照型メトリクスの種類
• 入力画像の統計的な特徴量を使用して画質評価
⇒ スコアが小さいほど知覚品質が良好
• Blind/Referenceless Image Spatial Quality Evaluator (BRISQUE)
• 既知の歪んだ画像から natural scene statistic (NSS) 特徴量を抽出し,
サポートベクター回帰を使用して画質スコアを予測
• 教師あり手法のため学習済みモデルが必要
• Natural Image Quality Evaluator (NIQE)
• モデル学習に使用されるデータベースから取得された特徴と
測定したい画像から計算された NSS 特徴との距離を測定する手法
• 教師あり手法のため学習済みモデルが必要
• Perception based Image Quality Evaluator (PIQE)
• PIQE はブロック単位の歪みを推定し,知覚される歪みのある
ブロックの局所分散を測定して画質スコアを計算
• 教師なし手法のため学習済みモデルを必要としない
非参照型メトリクスによる評価
• 放射線画像は,装置の幾何学的な制約や
患者被ばく低減の観点から
必要な画質が決定されており
理想的な目標画像を得ることが困難
• 旧来より用いられてきた指標では
臨床検査の動画を直接評価できない
• 非参照型メトリクスの中でも
PIQE のスコアを画像の善し悪しを表す指標に用い
RD-Curve を求める手法を放射線動画に適用
実験環境
撮影モード
リカーシブ
フィルタの強さ
撮影線量 [%]
Abdomen 弱い 100
Abdomen Low Dose 弱い 80
Abdomen Low Noise 強い 105
Neuro 強い 105
Cardiac 弱い 125
Cardiac Low Dose 弱い 60
• 使用機器: Artis zee BA Twin (SIEMENS)
• 管電圧: 65 [kV],撮影レート: 7.5 [fps]
• ファントム: 動態ファントム
• 線量: Cardiac > Neuro = Abdomen Low Noise > Abdomen > Abdomen Low Dose > Cardiac Low Dose
• リカーシブフィルタを加味すると,Cardiac と Abdomen の評価が高くなると考えれる
Abdomen Abdomen Low Dose Abdomen Low Noise
Neuro Cardiac Cardiac Low Dose
Abdomen Abdomen Low Dose Abdomen Low Noise
Neuro Cardiac Cardiac Low Dose
結果 - PIQE
15
17
19
21
23
25
Cardiac -> Abdomen -> Neuro -> Abdomen Low Dose -> Abdomen Low Noise -> Cardiac Low Dose
0
5
10
15
20
25
30
35
0 20 40 60 80
Frame
ー Abdomen
ー Abdomen Low Dose
ー Abdomen Low Noise
ー Neuro
ー Cardiac
ー Cardiac Low Dose
PIQE 値 PIQE 値
Abdomen
Abdomen
Low Dose
Abdomen
Low Noise
Neuro Cardiac
Cardiac
Low Dose
結果 - PIQE の比較
0
5
10
15
20
25
撮影線量: 100%
0
5
10
15
20
25
リカーシブフィルタ: 弱い
0
5
10
15
20
25
リカーシブフィルタ: 強い
リカーシブフィルタの強さ
Cardiac = Abdomen < Abdomen Low Noise
PIQE
Cardiac = Abdomen < Abdomen Low Noise
• 同一線量で比較
⇒ リカーシブフィルタが弱い方が良好
撮影線量
Cardiac > Abdomen > Abdomen Low Dose > Cardiac Low Dose
PIQE
Cardiac < Abdomen < Abdomen Low Dose < Cardiac Low Dose
• 同じリカーシブフィルタで比較
⇒ 線量が多いほど良好
撮影線量
Neuro > Abdomen Low Noise
PIQE
Neuro < Abdomen Low Noise
• 同じリカーシブフィルタで比較
⇒ 線量が多いほど良好
PIQE 値 PIQE 値 PIQE 値
Abdomen Abdomen
Low Noise
Cardiac Abdomen Abdomen
Low Dose
Cardiac Cardiac
Low Dose
Abdomen
Low Noise
Neuro
• 測定した結果は撮影条件に応じた結果
各パラメータでの比較
• 処理パラメータ
• i-Noise Reduction ⇒ Auto 1~7
• k-factor ⇒ Auto 1~7
• i-Noise Reduction
• 画像の周波数帯域ごとに
信号の強調やスムージングを行うマルチ周波数処理
• k-factor
• 過去の画像情報を重みづけを行い
リアルタイムの画像に重ね合わせを行う
加重平均化フィルタ (時間軸フィルタ)
• それぞれのパラメータを変化させ PIQE の値を比較
i-Noise Reduction: 1
k-factor: 1
i-Noise Reduction: 2
k-factor: 1
i-Noise Reduction: 3
k-factor: 1
i-Noise Reduction: 4
k-factor: 1
i-Noise Reduction: 5
k-factor: 1
i-Noise Reduction: 6
k-factor: 1
i-Noise Reduction: 7
k-factor: 1
i-Noise Reduction: Off
k-factor: Off
65.54 72.04 68.88 67.60
65.87 66.57 63.04 63.65
36 nGy/p
i-Noise Reduction: 1
k-factor: 1
i-Noise Reduction: 2
k-factor: 1
i-Noise Reduction: 3
k-factor: 1
i-Noise Reduction: 4
k-factor: 1
i-Noise Reduction: 5
k-factor: 1
i-Noise Reduction: 6
k-factor: 1
i-Noise Reduction: 7
k-factor: 1
i-Noise Reduction: Off
k-factor: Off
36 nGy/p
65.54 72.04 68.88 67.60
65.87 66.57 63.04 63.65
RD-Curve を用いた評価
60
62
64
66
68
70
72
74
76
78
0 10 20 30 40 50 60 70 80 90
ー i-Noise Reduction detail: 1
ー i-Noise Reduction detail: 2
ー i-Noise Reduction detail: 3
ー i-Noise Reduction detail: 4
ー i-Noise Reduction detail: 5
ー i-Noise Reduction detail: 6
ー i-Noise Reduction detail: 7
-- Off
PIQE 値
fluoroscopic dose per pulse (nGy/p)
マルチ周波数処理の違い
i-Noise Reduction: 4
k-factor: 1
i-Noise Reduction: 4
k-factor: 2
i-Noise Reduction: 4
k-factor: 3
i-Noise Reduction: 4
k-factor: 4
i-Noise Reduction: 4
k-factor: 5
i-Noise Reduction: 4
k-factor: 6
i-Noise Reduction: 4
k-factor: 7
i-Noise Reduction: Off
k-factor: Off
66.01 61.47 59.15 59.75
59.85 60.09 59.65 63.65
36 nGy/p
i-Noise Reduction: 4
k-factor: 1
i-Noise Reduction: 4
k-factor: 2
i-Noise Reduction: 4
k-factor: 3
i-Noise Reduction: 4
k-factor: 4
i-Noise Reduction: 4
k-factor: 5
i-Noise Reduction: 4
k-factor: 6
i-Noise Reduction: 4
k-factor: 7
i-Noise Reduction: Off
k-factor: Off
36 nGy/p
66.01 61.47 59.15 59.75
59.85 60.09 59.65 63.65
RD-Curve を用いた評価
55
57
59
61
63
65
67
69
71
73
0 10 20 30 40 50 60 70 80 90
ー k-factor: 1
ー k-factor: 2
ー k-factor: 3
ー k-factor: 4
ー k-factor: 5
ー k-factor: 6
ー k-factor: 7
-- Off
PIQE 値
fluoroscopic dose per pulse (nGy/p)
時間軸フィルタの違い
RD-Curve を用いた評価
• 放射線動画の品質を評価するには,
X 軸を撮影線量,Y 軸を PIQE 値とすることで
目標画像を必要とせず画質の優劣を評価可能
• PIQE 値は高鮮鋭度の画像が高評価となるの傾向
⇒ デバイスの視認性を反映
• PIQE は教師なし手法のためモデルを必要としない
⇒どの施設で検討しても同じ尺度で評価可能
• 臨床検査に使っている動画の評価が可能
⇒ 撮影線量で比較すれば異なった装置の比較も可能
謝辞
• 本講演を終えるにあたり,
このような発表の機会を与えて頂いた
鈴鹿医療科学大学 東出了先生,
ご助言を賜りました
大阪市立大学医学部附属病院 岸本健治先生,
実験にご協力頂いた,
大阪市立大学医学部附属病院 高尾由範先生,
大阪市立大学医学部附属病院 阪井裕治先生に
深く感謝申し上げます.

More Related Content

What's hot

時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
Fumihiko Takahashi
 
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
Yusuke Uchida
 
Attentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門までAttentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門まで
AGIRobots
 
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
Preferred Networks
 
[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...
[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...
[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...
Deep Learning JP
 
論文紹介:Grad-CAM: Visual explanations from deep networks via gradient-based loca...
論文紹介:Grad-CAM: Visual explanations from deep networks via gradient-based loca...論文紹介:Grad-CAM: Visual explanations from deep networks via gradient-based loca...
論文紹介:Grad-CAM: Visual explanations from deep networks via gradient-based loca...
Kazuki Adachi
 
[DL輪読会]Dense Captioning分野のまとめ
[DL輪読会]Dense Captioning分野のまとめ[DL輪読会]Dense Captioning分野のまとめ
[DL輪読会]Dense Captioning分野のまとめ
Deep Learning JP
 
Action Recognitionの歴史と最新動向
Action Recognitionの歴史と最新動向Action Recognitionの歴史と最新動向
Action Recognitionの歴史と最新動向
Ohnishi Katsunori
 
20090924 姿勢推定と回転行列
20090924 姿勢推定と回転行列20090924 姿勢推定と回転行列
20090924 姿勢推定と回転行列
Toru Tamaki
 
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
Deep Learning JP
 
SSII2019TS: Shall We GANs?​ ~GANの基礎から最近の研究まで~
SSII2019TS: Shall We GANs?​ ~GANの基礎から最近の研究まで~SSII2019TS: Shall We GANs?​ ~GANの基礎から最近の研究まで~
SSII2019TS: Shall We GANs?​ ~GANの基礎から最近の研究まで~
SSII
 
畳み込みLstm
畳み込みLstm畳み込みLstm
畳み込みLstm
tak9029
 
画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ
cvpaper. challenge
 
【チュートリアル】コンピュータビジョンによる動画認識
【チュートリアル】コンピュータビジョンによる動画認識【チュートリアル】コンピュータビジョンによる動画認識
【チュートリアル】コンピュータビジョンによる動画認識
Hirokatsu Kataoka
 
LiDAR点群と画像とのマッピング
LiDAR点群と画像とのマッピングLiDAR点群と画像とのマッピング
LiDAR点群と画像とのマッピング
Takuya Minagawa
 
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
Morpho, Inc.
 
モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化
Yusuke Uchida
 
モデルではなく、データセットを蒸留する
モデルではなく、データセットを蒸留するモデルではなく、データセットを蒸留する
モデルではなく、データセットを蒸留する
Takahiro Kubo
 
画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量takaya imai
 
SSII2018TS: 3D物体検出とロボットビジョンへの応用
SSII2018TS: 3D物体検出とロボットビジョンへの応用SSII2018TS: 3D物体検出とロボットビジョンへの応用
SSII2018TS: 3D物体検出とロボットビジョンへの応用
SSII
 

What's hot (20)

時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
 
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
 
Attentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門までAttentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門まで
 
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
 
[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...
[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...
[DL輪読会]A Higher-Dimensional Representation for Topologically Varying Neural R...
 
論文紹介:Grad-CAM: Visual explanations from deep networks via gradient-based loca...
論文紹介:Grad-CAM: Visual explanations from deep networks via gradient-based loca...論文紹介:Grad-CAM: Visual explanations from deep networks via gradient-based loca...
論文紹介:Grad-CAM: Visual explanations from deep networks via gradient-based loca...
 
[DL輪読会]Dense Captioning分野のまとめ
[DL輪読会]Dense Captioning分野のまとめ[DL輪読会]Dense Captioning分野のまとめ
[DL輪読会]Dense Captioning分野のまとめ
 
Action Recognitionの歴史と最新動向
Action Recognitionの歴史と最新動向Action Recognitionの歴史と最新動向
Action Recognitionの歴史と最新動向
 
20090924 姿勢推定と回転行列
20090924 姿勢推定と回転行列20090924 姿勢推定と回転行列
20090924 姿勢推定と回転行列
 
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
[DL輪読会]Vision Transformer with Deformable Attention (Deformable Attention Tra...
 
SSII2019TS: Shall We GANs?​ ~GANの基礎から最近の研究まで~
SSII2019TS: Shall We GANs?​ ~GANの基礎から最近の研究まで~SSII2019TS: Shall We GANs?​ ~GANの基礎から最近の研究まで~
SSII2019TS: Shall We GANs?​ ~GANの基礎から最近の研究まで~
 
畳み込みLstm
畳み込みLstm畳み込みLstm
畳み込みLstm
 
画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ画像生成・生成モデル メタサーベイ
画像生成・生成モデル メタサーベイ
 
【チュートリアル】コンピュータビジョンによる動画認識
【チュートリアル】コンピュータビジョンによる動画認識【チュートリアル】コンピュータビジョンによる動画認識
【チュートリアル】コンピュータビジョンによる動画認識
 
LiDAR点群と画像とのマッピング
LiDAR点群と画像とのマッピングLiDAR点群と画像とのマッピング
LiDAR点群と画像とのマッピング
 
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
 
モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化
 
モデルではなく、データセットを蒸留する
モデルではなく、データセットを蒸留するモデルではなく、データセットを蒸留する
モデルではなく、データセットを蒸留する
 
画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量
 
SSII2018TS: 3D物体検出とロボットビジョンへの応用
SSII2018TS: 3D物体検出とロボットビジョンへの応用SSII2018TS: 3D物体検出とロボットビジョンへの応用
SSII2018TS: 3D物体検出とロボットビジョンへの応用
 

Similar to 非参照型メトリクスを用いた放射線動画の評価

Bee Style:vol.007
Bee Style:vol.007Bee Style:vol.007
Bee Style:vol.007
spicepark
 
200511PRMUスポーツ動画像処理
200511PRMUスポーツ動画像処理200511PRMUスポーツ動画像処理
200511PRMUスポーツ動画像処理
Toru Tamaki
 
卒研発表 バースカ(確認済み)
卒研発表 バースカ(確認済み)卒研発表 バースカ(確認済み)
卒研発表 バースカ(確認済み)
Baasanchuluun Batnasan
 
PSpiceの活用方法 (2005年)
PSpiceの活用方法 (2005年)PSpiceの活用方法 (2005年)
PSpiceの活用方法 (2005年)
Tsuyoshi Horigome
 
SSII2014 チュートリアル資料
SSII2014 チュートリアル資料SSII2014 チュートリアル資料
SSII2014 チュートリアル資料Masayuki Tanaka
 
201910 up!magazine&amp;promotions 2019 autumn
201910 up!magazine&amp;promotions 2019 autumn201910 up!magazine&amp;promotions 2019 autumn
201910 up!magazine&amp;promotions 2019 autumn
nippongenetics
 
201910 up!magazine&amp;promotions 2019 autumn
201910 up!magazine&amp;promotions 2019 autumn201910 up!magazine&amp;promotions 2019 autumn
201910 up!magazine&amp;promotions 2019 autumn
nippongenetics
 
201910 up!magazine&amp;promotions 2019 autumn
201910 up!magazine&amp;promotions 2019 autumn201910 up!magazine&amp;promotions 2019 autumn
201910 up!magazine&amp;promotions 2019 autumn
nippongenetics
 
201910 up!magazine&amp;promotions 2019 autumn
201910 up!magazine&amp;promotions 2019 autumn201910 up!magazine&amp;promotions 2019 autumn
201910 up!magazine&amp;promotions 2019 autumn
nippongenetics
 
文献紹介:Video Description: A Survey of Methods, Datasets, and Evaluation Metrics
文献紹介:Video Description: A Survey of Methods, Datasets, and Evaluation Metrics文献紹介:Video Description: A Survey of Methods, Datasets, and Evaluation Metrics
文献紹介:Video Description: A Survey of Methods, Datasets, and Evaluation Metrics
Toru Tamaki
 
山手線ビーコンを使ったアイデアアプリコンテスト1
山手線ビーコンを使ったアイデアアプリコンテスト1山手線ビーコンを使ったアイデアアプリコンテスト1
山手線ビーコンを使ったアイデアアプリコンテスト1
Hackcampcorp
 
BeeStyle: vol.022
BeeStyle: vol.022BeeStyle: vol.022
BeeStyle: vol.022
Tsuyoshi Horigome
 
Structured Light 技術俯瞰
Structured Light 技術俯瞰Structured Light 技術俯瞰
Structured Light 技術俯瞰
Teppei Kurita
 
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィコンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
Norishige Fukushima
 
SSII2018TS: コンピュテーショナルイルミネーション
SSII2018TS: コンピュテーショナルイルミネーションSSII2018TS: コンピュテーショナルイルミネーション
SSII2018TS: コンピュテーショナルイルミネーション
SSII
 
文献紹介:Selective Feature Compression for Efficient Activity Recognition Inference
文献紹介:Selective Feature Compression for Efficient Activity Recognition Inference文献紹介:Selective Feature Compression for Efficient Activity Recognition Inference
文献紹介:Selective Feature Compression for Efficient Activity Recognition Inference
Toru Tamaki
 
Bee Style:Vol.037
Bee Style:Vol.037Bee Style:Vol.037
Bee Style:Vol.037
Tsuyoshi Horigome
 

Similar to 非参照型メトリクスを用いた放射線動画の評価 (20)

La76930
La76930La76930
La76930
 
L A76930
L A76930L A76930
L A76930
 
Bee Style:vol.007
Bee Style:vol.007Bee Style:vol.007
Bee Style:vol.007
 
JEITA4602B
JEITA4602BJEITA4602B
JEITA4602B
 
200511PRMUスポーツ動画像処理
200511PRMUスポーツ動画像処理200511PRMUスポーツ動画像処理
200511PRMUスポーツ動画像処理
 
卒研発表 バースカ(確認済み)
卒研発表 バースカ(確認済み)卒研発表 バースカ(確認済み)
卒研発表 バースカ(確認済み)
 
PSpiceの活用方法 (2005年)
PSpiceの活用方法 (2005年)PSpiceの活用方法 (2005年)
PSpiceの活用方法 (2005年)
 
SSII2014 チュートリアル資料
SSII2014 チュートリアル資料SSII2014 チュートリアル資料
SSII2014 チュートリアル資料
 
201910 up!magazine&amp;promotions 2019 autumn
201910 up!magazine&amp;promotions 2019 autumn201910 up!magazine&amp;promotions 2019 autumn
201910 up!magazine&amp;promotions 2019 autumn
 
201910 up!magazine&amp;promotions 2019 autumn
201910 up!magazine&amp;promotions 2019 autumn201910 up!magazine&amp;promotions 2019 autumn
201910 up!magazine&amp;promotions 2019 autumn
 
201910 up!magazine&amp;promotions 2019 autumn
201910 up!magazine&amp;promotions 2019 autumn201910 up!magazine&amp;promotions 2019 autumn
201910 up!magazine&amp;promotions 2019 autumn
 
201910 up!magazine&amp;promotions 2019 autumn
201910 up!magazine&amp;promotions 2019 autumn201910 up!magazine&amp;promotions 2019 autumn
201910 up!magazine&amp;promotions 2019 autumn
 
文献紹介:Video Description: A Survey of Methods, Datasets, and Evaluation Metrics
文献紹介:Video Description: A Survey of Methods, Datasets, and Evaluation Metrics文献紹介:Video Description: A Survey of Methods, Datasets, and Evaluation Metrics
文献紹介:Video Description: A Survey of Methods, Datasets, and Evaluation Metrics
 
山手線ビーコンを使ったアイデアアプリコンテスト1
山手線ビーコンを使ったアイデアアプリコンテスト1山手線ビーコンを使ったアイデアアプリコンテスト1
山手線ビーコンを使ったアイデアアプリコンテスト1
 
BeeStyle: vol.022
BeeStyle: vol.022BeeStyle: vol.022
BeeStyle: vol.022
 
Structured Light 技術俯瞰
Structured Light 技術俯瞰Structured Light 技術俯瞰
Structured Light 技術俯瞰
 
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィコンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
 
SSII2018TS: コンピュテーショナルイルミネーション
SSII2018TS: コンピュテーショナルイルミネーションSSII2018TS: コンピュテーショナルイルミネーション
SSII2018TS: コンピュテーショナルイルミネーション
 
文献紹介:Selective Feature Compression for Efficient Activity Recognition Inference
文献紹介:Selective Feature Compression for Efficient Activity Recognition Inference文献紹介:Selective Feature Compression for Efficient Activity Recognition Inference
文献紹介:Selective Feature Compression for Efficient Activity Recognition Inference
 
Bee Style:Vol.037
Bee Style:Vol.037Bee Style:Vol.037
Bee Style:Vol.037
 

More from Yutaka KATAYAMA

人工知能技術を用いた各医学画像処理の基礎 (2022/09/09)
人工知能技術を用いた各医学画像処理の基礎 (2022/09/09)人工知能技術を用いた各医学画像処理の基礎 (2022/09/09)
人工知能技術を用いた各医学画像処理の基礎 (2022/09/09)
Yutaka KATAYAMA
 
探求の道 Lead Clearly
探求の道 Lead Clearly探求の道 Lead Clearly
探求の道 Lead Clearly
Yutaka KATAYAMA
 
病院で働く技師による深層学習を用いた研究
病院で働く技師による深層学習を用いた研究病院で働く技師による深層学習を用いた研究
病院で働く技師による深層学習を用いた研究
Yutaka KATAYAMA
 
人工知能を用いた医用画像処理技術
人工知能を用いた医用画像処理技術人工知能を用いた医用画像処理技術
人工知能を用いた医用画像処理技術
Yutaka KATAYAMA
 
研究活動を通じた科研費取得の 1 モデル
 研究活動を通じた科研費取得の 1 モデル 研究活動を通じた科研費取得の 1 モデル
研究活動を通じた科研費取得の 1 モデル
Yutaka KATAYAMA
 
令和元年度 実践セミナー - Deep Learning 概論 -
令和元年度 実践セミナー - Deep Learning 概論 -令和元年度 実践セミナー - Deep Learning 概論 -
令和元年度 実践セミナー - Deep Learning 概論 -
Yutaka KATAYAMA
 
研究に使える便利なフリーソフト ImageJ
研究に使える便利なフリーソフト ImageJ研究に使える便利なフリーソフト ImageJ
研究に使える便利なフリーソフト ImageJ
Yutaka KATAYAMA
 
Sparse coding Super-Resolution を用いた核医学画像処理
Sparse coding Super-Resolution を用いた核医学画像処理Sparse coding Super-Resolution を用いた核医学画像処理
Sparse coding Super-Resolution を用いた核医学画像処理
Yutaka KATAYAMA
 
治療効果判定 モニタリングの現状
治療効果判定 モニタリングの現状治療効果判定 モニタリングの現状
治療効果判定 モニタリングの現状
Yutaka KATAYAMA
 

More from Yutaka KATAYAMA (9)

人工知能技術を用いた各医学画像処理の基礎 (2022/09/09)
人工知能技術を用いた各医学画像処理の基礎 (2022/09/09)人工知能技術を用いた各医学画像処理の基礎 (2022/09/09)
人工知能技術を用いた各医学画像処理の基礎 (2022/09/09)
 
探求の道 Lead Clearly
探求の道 Lead Clearly探求の道 Lead Clearly
探求の道 Lead Clearly
 
病院で働く技師による深層学習を用いた研究
病院で働く技師による深層学習を用いた研究病院で働く技師による深層学習を用いた研究
病院で働く技師による深層学習を用いた研究
 
人工知能を用いた医用画像処理技術
人工知能を用いた医用画像処理技術人工知能を用いた医用画像処理技術
人工知能を用いた医用画像処理技術
 
研究活動を通じた科研費取得の 1 モデル
 研究活動を通じた科研費取得の 1 モデル 研究活動を通じた科研費取得の 1 モデル
研究活動を通じた科研費取得の 1 モデル
 
令和元年度 実践セミナー - Deep Learning 概論 -
令和元年度 実践セミナー - Deep Learning 概論 -令和元年度 実践セミナー - Deep Learning 概論 -
令和元年度 実践セミナー - Deep Learning 概論 -
 
研究に使える便利なフリーソフト ImageJ
研究に使える便利なフリーソフト ImageJ研究に使える便利なフリーソフト ImageJ
研究に使える便利なフリーソフト ImageJ
 
Sparse coding Super-Resolution を用いた核医学画像処理
Sparse coding Super-Resolution を用いた核医学画像処理Sparse coding Super-Resolution を用いた核医学画像処理
Sparse coding Super-Resolution を用いた核医学画像処理
 
治療効果判定 モニタリングの現状
治療効果判定 モニタリングの現状治療効果判定 モニタリングの現状
治療効果判定 モニタリングの現状
 

非参照型メトリクスを用いた放射線動画の評価

  • 2. Disclosure of conflict of interest We have nothing to declare for this study. the 77th Annual Meeting of the JSRT Japanese Society of Radiological Technology
  • 3. 自己紹介 [職歴] • 1998 年: オートバイ用マフラーの開発・製造 • 2003 年: 大阪大学医学部附属病院 • 2004 年: 市立泉佐野りんくう総合医療センター • 2006 年: 社会医療法人仙養会 北摂総合病院 • 2007 年: 大阪市立大学医学部附属病院 [研究歴] • 2006 年: モンテカルロシミュレーションを用いた医療被ばくの線量評価 • 2010 年: スパースコーディングを用いたステレオマッチング • 2013 年: バイラテラルフィルタを用いたデノイズ処理 • 2014 年: スパースコーディングを用いた超解像 • 2017 年: 深層学習を用いた超解像 • 2018 年: 超解像を用いたデノイズ処理 • 2019 年: 敵対的生成ネットワークを用いた放射線画像の生成 • 2020 年: 非参照型メトリクスを用いた放射線画像の評価
  • 4. コンテンツ • 放射線画像の物理評価 • 工学系の動画評価 • 非参照型メトリクスを用いた画像評価 • 非参照型メトリクスを用いた放射線動画の評価
  • 5. 放射線画像の物理指標 (画質指標) • modulation transfer function (MTF) • noise power spectrum (NPS) • スクリーンフィルム系の頃から使用 • (ある程度) 絶対的な画質評価が可能 • 画質スコアとして使い易く広く普及 岸本健治. 一般撮影においてのフラットパネルディテクタの評価 (臨床技術講座). 日本放射線技術学会雑誌, 2002, 58.4: 455-461. 岸本健治, et al. "FCR のオーバーオール MTF 測定: その 3 周波数処理による MTF の変化: 画像理論-3." 日本放射線技術学会雑誌 45.8 (1989): 1052.
  • 6. 放射線画像の評価 • MTF や NPS を算出するには, 階調処理の行われていない画像 (生データ) が必要 • 検出器が computed radiography (CR) から flat panel detector (FPD) へと変化した現在では 各指標の算出に必要な生データの取出しが困難 • 放射線画像の評価としては視覚評価が一般的 • 医用画像は診断のために人間が観察するので, 主観評価で画質を評価することが妥当 • 訓練された人間の感覚は優秀
  • 7. 工学系の動画評価 • 動画コーデック • 動画データを圧縮・変換・復元する方式 • H.264/AVC (2003 年) • 4K 解像度,フレームレート 60 fps まで対応し, PC ブラウザ,スマートフォン,Web などで利用 • H.265/HEVC (2013 年) • 8K 解像度の動画だけでなく 携帯端末向けの映像配信での利用も想定 • H.266/VVC (2020 年) • 4K,8K 解像度のSDR/HDR (Standard/High Dynamic Range) 動画, 360°パノラマ動画,Light-fieldカメラ, スクリーンコンテンツなど広範な用途での利用 画質は同等で データ量が半分 画質は同等で データ量が半分 動画の画質は何を測定した値なのかが分かり難い
  • 8. 動画の画質に使われる指標 • 解像度 • 各フレームのピクセルサイズ (画素数) • フレームレート • frame per second (fps) とも言い, 単位時間あたりに処理される静止画数 ⇒ 動画が 1 秒間に何枚の画像から出来ているのか • ビットレート • 動画が 1 秒間に何ビットのデータで作成されているか ⇒ 動画が 1 秒間のデータ量 1 Mbps の動画は,1 秒間に 0.125 Mbyte のデータ量 ∵ 8 bit = 1 byte ⇒ 1 Mbit/8 = 0.125 Mbyte
  • 9. 動画の評価方法 • 動画コーデックやエンコードパラメータの優劣は あるデータセットに対する BD-Rate を計算した 評価が一般的 • BD-Rate は RD-Curve から計算 • RD-Curve は peak signal to noise ratio (PSNR) などの 評価指標から計算
  • 10. PSNR • 客観評価手法のうち, 頻用されている古典的なメトリクス • このメトリクスは目標となる動画が必要 ⇒ 完全参照型メトリクス • 比較する動画を入力すると指標が得られる関数 • 指標の単位は デシベル (英語: decibel,記号: dB) で得られる
  • 11. PSNR • 動画エンコードの評価では, 高画質の動画が必ずあるため PSNR を適用し易い • 動画の PSNR は全フレームの平均値を結果とする • 値が大きいほど高品質 (比較対象に差が少ない) PSNR 値は同一画質であれば 8-bit データに比べて 16-bit データの方が値は大きくなる 目的 (信号の種類) によって良好とされる値が異なる (MAX: 信号が取りうる最大ピクセル値)
  • 12. RD-Curve Fourth Annual MSU MPEG-4 AVC/H.264 Video Codec Comparison レポートより引用 http://compression.ru/video/codec_comparison/pdf/msu_mpeg_4_avc_h264_codec_comparison_2007_eng.pdf
  • 13. RD-Curve • RD-Curve の画像の善し悪しを表す指標には PSNR がよく利用される • PSNR を用いることに必然性はなく 別の指標を用いても良い • RD-Curve を用いた放射線動画の評価では, ビットレートは比較したい撮影パラメータ (線量,撮影時間およびフレームレートなど) に, 画像の善し悪しを表す指標には 知覚品質とすることで実現可能
  • 14. BD-Rate • RD-Curve を比べることで, 複数のコーデックやパラメータの違いを観察可能 • 定量的にどれぐらいの差があるのか計算する方法を, Gisle Bjøntegaard が 2001 年に ITU-T で提案 • この指標は提案者の名前を取って, BD-PSNR (Bjøntegaard delta PSNR) と呼ばれる • RD-Curve は PSNR が同一の時のビットレートの違い • その時に得られる差は BD-Rate (Bjøntegaard delta bitrate)
  • 15. 画像評価のガイドライン • 電子化文書の画像圧縮ガイドライン* では 画像評価に PSNR を推奨 • 人間の主観との相関はそれほど強くない • 低 SNR 領域や PSNR 値が低い領域で 視覚評価と相関が悪くなる傾向 • 完全参照型メトリクスには 必ず対応した高画質な画像が必要 • 臨床検査の画像を対象とした 医用画像評価には不適 * 小箱雅彦. 標準化への道 標準化委員会報告 (3) 電子化文書の画像圧縮ガイドライン. 月刊 IM, 2011, 50.5: 21-24.
  • 16. PSNR から知覚品質へ • PNSR 値が高くなるように最適化 • 平均的に良いと思われる画像 ⇒ ボケる傾向 • 知覚品質と PSNR の関係性を定量的に評価 • The perception-distortion tradeoff* ⇒ 超解像では知覚品質と歪みにはトレードオフがある ⇒ 知覚品質と歪みの精度を同時に高めることは不可能 • 超解像による生成画像は知覚品質を用いて評価 • “Ma et al.” と言う指標で評価 * BLAU, Yochai; MICHAELI, Tomer. The perception-distortion tradeoff. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018. p. 6228-6237.
  • 17. 知覚品質 • ECCV 2018 PRIM Workshop で開催された 超解像コンペティションでは 知覚品質の歪みのトレードオフ問題を踏まえて, 従来の評価手法 (PSNR,SSIM) とは異なる 新しいメトリクスが導入 Perceptual score = 1/2((10 - Ma et al.) + NIQE) • Ma et al. 3 つの低レベルの統計的特徴から 2 ステージの回帰モデルを構築することでスコアを算出する仕組み • NIQE ⇒ 非参照型メトリクスの一種 モデルを学習させるために使用されるイメージデータベースから取得された特徴と 測定したいイメージから計算された natural scene statistic: NSS ベースの特徴の間の距離を測定 • 非参照型メトリクスは目標画像がなくとも画質評価が可能
  • 18. 非参照型メトリクスの種類 • 入力画像の統計的な特徴量を使用して画質評価 ⇒ スコアが小さいほど知覚品質が良好 • Blind/Referenceless Image Spatial Quality Evaluator (BRISQUE) • 既知の歪んだ画像から natural scene statistic (NSS) 特徴量を抽出し, サポートベクター回帰を使用して画質スコアを予測 • 教師あり手法のため学習済みモデルが必要 • Natural Image Quality Evaluator (NIQE) • モデル学習に使用されるデータベースから取得された特徴と 測定したい画像から計算された NSS 特徴との距離を測定する手法 • 教師あり手法のため学習済みモデルが必要 • Perception based Image Quality Evaluator (PIQE) • PIQE はブロック単位の歪みを推定し,知覚される歪みのある ブロックの局所分散を測定して画質スコアを計算 • 教師なし手法のため学習済みモデルを必要としない
  • 20. 実験環境 撮影モード リカーシブ フィルタの強さ 撮影線量 [%] Abdomen 弱い 100 Abdomen Low Dose 弱い 80 Abdomen Low Noise 強い 105 Neuro 強い 105 Cardiac 弱い 125 Cardiac Low Dose 弱い 60 • 使用機器: Artis zee BA Twin (SIEMENS) • 管電圧: 65 [kV],撮影レート: 7.5 [fps] • ファントム: 動態ファントム • 線量: Cardiac > Neuro = Abdomen Low Noise > Abdomen > Abdomen Low Dose > Cardiac Low Dose • リカーシブフィルタを加味すると,Cardiac と Abdomen の評価が高くなると考えれる
  • 21. Abdomen Abdomen Low Dose Abdomen Low Noise Neuro Cardiac Cardiac Low Dose
  • 22. Abdomen Abdomen Low Dose Abdomen Low Noise Neuro Cardiac Cardiac Low Dose
  • 23. 結果 - PIQE 15 17 19 21 23 25 Cardiac -> Abdomen -> Neuro -> Abdomen Low Dose -> Abdomen Low Noise -> Cardiac Low Dose 0 5 10 15 20 25 30 35 0 20 40 60 80 Frame ー Abdomen ー Abdomen Low Dose ー Abdomen Low Noise ー Neuro ー Cardiac ー Cardiac Low Dose PIQE 値 PIQE 値 Abdomen Abdomen Low Dose Abdomen Low Noise Neuro Cardiac Cardiac Low Dose
  • 24. 結果 - PIQE の比較 0 5 10 15 20 25 撮影線量: 100% 0 5 10 15 20 25 リカーシブフィルタ: 弱い 0 5 10 15 20 25 リカーシブフィルタ: 強い リカーシブフィルタの強さ Cardiac = Abdomen < Abdomen Low Noise PIQE Cardiac = Abdomen < Abdomen Low Noise • 同一線量で比較 ⇒ リカーシブフィルタが弱い方が良好 撮影線量 Cardiac > Abdomen > Abdomen Low Dose > Cardiac Low Dose PIQE Cardiac < Abdomen < Abdomen Low Dose < Cardiac Low Dose • 同じリカーシブフィルタで比較 ⇒ 線量が多いほど良好 撮影線量 Neuro > Abdomen Low Noise PIQE Neuro < Abdomen Low Noise • 同じリカーシブフィルタで比較 ⇒ 線量が多いほど良好 PIQE 値 PIQE 値 PIQE 値 Abdomen Abdomen Low Noise Cardiac Abdomen Abdomen Low Dose Cardiac Cardiac Low Dose Abdomen Low Noise Neuro • 測定した結果は撮影条件に応じた結果
  • 25. 各パラメータでの比較 • 処理パラメータ • i-Noise Reduction ⇒ Auto 1~7 • k-factor ⇒ Auto 1~7 • i-Noise Reduction • 画像の周波数帯域ごとに 信号の強調やスムージングを行うマルチ周波数処理 • k-factor • 過去の画像情報を重みづけを行い リアルタイムの画像に重ね合わせを行う 加重平均化フィルタ (時間軸フィルタ) • それぞれのパラメータを変化させ PIQE の値を比較
  • 26. i-Noise Reduction: 1 k-factor: 1 i-Noise Reduction: 2 k-factor: 1 i-Noise Reduction: 3 k-factor: 1 i-Noise Reduction: 4 k-factor: 1 i-Noise Reduction: 5 k-factor: 1 i-Noise Reduction: 6 k-factor: 1 i-Noise Reduction: 7 k-factor: 1 i-Noise Reduction: Off k-factor: Off 65.54 72.04 68.88 67.60 65.87 66.57 63.04 63.65 36 nGy/p
  • 27. i-Noise Reduction: 1 k-factor: 1 i-Noise Reduction: 2 k-factor: 1 i-Noise Reduction: 3 k-factor: 1 i-Noise Reduction: 4 k-factor: 1 i-Noise Reduction: 5 k-factor: 1 i-Noise Reduction: 6 k-factor: 1 i-Noise Reduction: 7 k-factor: 1 i-Noise Reduction: Off k-factor: Off 36 nGy/p 65.54 72.04 68.88 67.60 65.87 66.57 63.04 63.65
  • 28. RD-Curve を用いた評価 60 62 64 66 68 70 72 74 76 78 0 10 20 30 40 50 60 70 80 90 ー i-Noise Reduction detail: 1 ー i-Noise Reduction detail: 2 ー i-Noise Reduction detail: 3 ー i-Noise Reduction detail: 4 ー i-Noise Reduction detail: 5 ー i-Noise Reduction detail: 6 ー i-Noise Reduction detail: 7 -- Off PIQE 値 fluoroscopic dose per pulse (nGy/p) マルチ周波数処理の違い
  • 29. i-Noise Reduction: 4 k-factor: 1 i-Noise Reduction: 4 k-factor: 2 i-Noise Reduction: 4 k-factor: 3 i-Noise Reduction: 4 k-factor: 4 i-Noise Reduction: 4 k-factor: 5 i-Noise Reduction: 4 k-factor: 6 i-Noise Reduction: 4 k-factor: 7 i-Noise Reduction: Off k-factor: Off 66.01 61.47 59.15 59.75 59.85 60.09 59.65 63.65 36 nGy/p
  • 30. i-Noise Reduction: 4 k-factor: 1 i-Noise Reduction: 4 k-factor: 2 i-Noise Reduction: 4 k-factor: 3 i-Noise Reduction: 4 k-factor: 4 i-Noise Reduction: 4 k-factor: 5 i-Noise Reduction: 4 k-factor: 6 i-Noise Reduction: 4 k-factor: 7 i-Noise Reduction: Off k-factor: Off 36 nGy/p 66.01 61.47 59.15 59.75 59.85 60.09 59.65 63.65
  • 31. RD-Curve を用いた評価 55 57 59 61 63 65 67 69 71 73 0 10 20 30 40 50 60 70 80 90 ー k-factor: 1 ー k-factor: 2 ー k-factor: 3 ー k-factor: 4 ー k-factor: 5 ー k-factor: 6 ー k-factor: 7 -- Off PIQE 値 fluoroscopic dose per pulse (nGy/p) 時間軸フィルタの違い
  • 32. RD-Curve を用いた評価 • 放射線動画の品質を評価するには, X 軸を撮影線量,Y 軸を PIQE 値とすることで 目標画像を必要とせず画質の優劣を評価可能 • PIQE 値は高鮮鋭度の画像が高評価となるの傾向 ⇒ デバイスの視認性を反映 • PIQE は教師なし手法のためモデルを必要としない ⇒どの施設で検討しても同じ尺度で評価可能 • 臨床検査に使っている動画の評価が可能 ⇒ 撮影線量で比較すれば異なった装置の比較も可能
  • 33. 謝辞 • 本講演を終えるにあたり, このような発表の機会を与えて頂いた 鈴鹿医療科学大学 東出了先生, ご助言を賜りました 大阪市立大学医学部附属病院 岸本健治先生, 実験にご協力頂いた, 大阪市立大学医学部附属病院 高尾由範先生, 大阪市立大学医学部附属病院 阪井裕治先生に 深く感謝申し上げます.

Editor's Notes

  1. 大阪市大病院の片山です. 非参照型メトリクスを用いた動画の物理評価についてお話しさせて頂きます.
  2. 本講演に利益相反事項はありません.
  3. 自己紹介です. 職歴,研究歴はスライドに示す通りです. 2010 年頃からスパースコーディングを用いた画像処理を行っています. その中でも超解像と言う入力画像より高解像度の出力画像を生成する処理を主なテーマとしてきました. 2017 年頃からは超解像をキーワードに深層学習を用いた画像処理を始め,2019 年頃より敵対的生成ネットワークを用いた画像生成を行っています.敵対的生成ネットワークで生成した画像の評価は難しく,敵対的生成ネットワークで生成した画像の評価に推奨されている非参照型メトリクスを用いた医用画像の評価を近年行っています.
  4. 本日は,放射線画像の物理評価,工学系の動画評価,非参照型メトリクスを用いた画像評価,非参照型メトリクスを用いた放射線動画の評価についてお話させて頂きます.
  5. 放射線画像の物理評価ですが,スクリーンフィルム系の頃から MTF や NPS が用いられており,ある程度絶対的な画質評価が可能であり,画質スコアとして使い易く広く普及しています.
  6. しかし,MTF や NPS を⽤いた評価には階調処理の⾏われていない画像,所謂,⽣データが必要となります. 検出器が CR から FPD へと変化した現在では,⽣データの取り出しが困難となり,旧来より⽤いられてきた物理指標での画像評価が⾏い難く,医⽤画像の評価は視覚評価を⽤いることが⼀般的となっています. 医⽤画像は診断のために⼈間が観察すること,また,訓練された⼈間の感覚は優秀であることより視覚評価による主観評価で画質を評価することは妥当だと考えます.
  7. 一方,工学系の動画評価として一般的な動画コーデックの性能評価では物理評価が頻用されています. 動画コーデックとは動画データを圧縮・復元する技術のことで,普及している動画コーデックである 4K 解像度に対応した H.264,8K 解像度に対応した H.265,4K,8K 解像度以外にパノラマなどの広範な用途で利用可能な H.266 を⽐較すると,字数が大きくなり規格が⼀つ新しくなるたびに画質は同等だがデータ量が半分になると⾔われています.しかし,具体的にどの画質を測定した値が同じでデータ容量が半分なのかが分かり難いです.
  8. 一般的に動画の画質に用いられる指標は各フレームのピクセルサイズを表している解像度,単位時間あたりに処理される静止画の数を表しているフレームレート,動画が 1 秒間に何ビットのデータで作成されているかを表しているビットレートが挙げられます. この中でもビットレートは任意に値を可変する事が可能となっており,動画コーデックでは重要なパラメータとなっています.
  9. 動画コーデックやエンコードパラメータの優劣を評価する場合,あるデータセットに対する BD-Rate を計算した評価が一般的です. この BD-Rate は RD-Curve から計算し,RD-Curve は peak signal to noise ratio (PSNR) などの数値指標から得ます. それぞれの指標を説明します.
  10. 先ず,PSNR についてです. この手法は客観的手法のうち,頻用されている古典的なメトリクスの一つです. 評価したい動画に対応した⽬標動画を⽤意し,⽐較する動画を⼊⼒すると目標動画と対象動画の差を実空間で総合的に比較し指標が得られる完全参照型メトリクスとなります.得られる指標の単位はデシベルです.
  11. 動画コーデックやエンコードパラメータの優劣を評価する場合,必ず⾼画質の動画があるため,画質評価に PSNR を適⽤し易いです. 複数フレームある動画に対して PSNR を用いた評価を行う場合,全フレームの平均値を結果とすることが一般的とされています. PSNR は値が⼤きいほど⾼品質となります. 画像評価では一般的に 40 dB 以上だと原画と見た目の区別が付かないと言われていますが,評価する対象の次元数や求められる品質により良好とされる値は変わります.また,計算式の分子に信号が取りうる最大値という項目があるので,値の取扱には注意が必要となります.
  12. RD-Curve についてです. RD-Curve はビットレートと画像の良し悪しの関係を表したものです. 動画コーデックやエンコードパラメータの評価では,エンコーダが使えるビットレートを変化させた時の画質の変化という観点から動画の特性を観察します. スライドに示している RD-Curve は,横軸がビットレートで縦軸が PSNR 値となります.上側に位置している程,品質良好な動画であると言えます.
  13. RD-Curve の画像の善し悪しを表す指標には PSNR が良く利用されますが,PSNR を用いることに必然性はなく,別の指標を⽤いても問題ありません. RD-Curve を放射線動画の評価に⽤いるのであれば,ビットレートは比較したい撮影パラメータに,画像の良し悪しを表現する画質スコアには知覚品質を用いることで,実現できるのではないかと考えます. 知覚品質に関しては後ほど説明します.
  14. BD-Rate は,二つの符号化方式に対して,同等の PSNR を実現するために必要な発生符号量を比較し,発生符号量の差分を評価した物となりますが,放射線動画の評価に直接的に使用することは少ないと思うので,名前の紹介に留めます.
  15. 私が画像評価をする時よく参考にする画像評価のガイドラインの一つに電子化文書の画像圧縮ガイドラインという物があります.このガイドラインは紙文書を電子化する際に必要とされる画像圧縮に関して文字の可読性をポイントに圧縮程度を明確にしています.このガイドラインでは,画像評価に PSNR を用いることが推奨されています. しかし,PSNR は劣化程度が低い画像,即ち PSNR 値が高い画像に対しては主観画質とよく相関しますが,PSNR 値の低い画像や低 SNR の画像,画面内の品質に偏りがある画像では主観評価と乖離が生じることが知られています.更に,PSNR は完全参照型メトリクスの一種であるため,必ず対応した⾼画質の画像が必要となり,臨床検査を対象とした医⽤画像評価には適⽤しにくいです.
  16. また,⼀般的に PSNR 値が⾼くなるように最適化された画像処理は,全ての画素が平均的に良くなるように処理が⾏われるため,ボケた画像になる傾向が高いことが知られているように,PSNR による解析にも課題はあります. 超解像処理を適用した画像について,知覚品質と PSNR の関係性を定量的に評価した報告では,知覚品質と歪みにはトレードオフがあり,知覚品質と歪みの精度をお互いに⾼めることは不可能であると結論づけれています. 超解像による⽣成画像は知覚品質を⽤いて評価することが求められているように完全参照型メトリクス以外の評価方法の登場が望まれています.
  17. 先程から出てきている知覚品質ですが,これは ECCV 2018 で開催された超解像コンペティションで導入されたメトリクスです. このコンペティションでは知覚品質の歪みのトレードオフ問題を踏まえて,従来の評価手法とは異なる 3 つの低レベルの統計的特徴から 2 ステージの回帰モデルを構築することでスコアを算出する仕組みと非参照型メトリクスを用いた評価方法が導入されました.
  18. 非参照型メトリクスは入力画像の統計的な特徴量を使用して品質評価を行います.スコアが小さいほど知覚品質が良好となります. 非参照型メトリクスには種類がいくつかあるのですが,代表的な非参照型メトリクスである BRISQUE,NIQE,PIQE について簡単に説明します. BRISQUE は OpenCV で実装されているので,Python や ImageJ から用いることが可能となっており,比較的簡単に導入できるメトリクスです.しかし,BRISQUE Model は既知の歪んだ画像から NSS 特徴量を抽出し,サポートベクター回帰を使用して画質スコアを予測するので学習データが必要となります.次に NIQE は先程お話させて頂いたコンペティションで用いられていた指標のパラメータの一つです.モデル学習に使用される画像から取得された特徴と測定したい画像から計算された NSS 特徴との距離を測定する手法です.NIQE Model も学習データが必要となります. BRISQUE と NIQE は教師あり手法であるため,測定される知覚品質は学習データに依存します.そのため,放射線動画の直接的な評価に用いるには教師データを作成する必要があります.これに対し,PIQE は教師なし手法であるため,学習済みモデルを必要とせずにブロック単位の歪みを推定し,知覚される歪みのあるブロックの局所分散を測定して画質スコアを計算します.
  19. 放射線動画に対して非参照型メトリクスを用いた評価を行う意義は,一般的に放射線動画は装置の幾何学的な制約や,患者被ばく低減の観点から,必要な粒状度や鮮鋭度などの画質が決定されています.そのため,理想的な目標動画を得ることが難しく完全参照型メトリクスを用いた評価が行えないことが挙げられます.また,各施設での撮影条件のばらつきを鑑みると標準的な放射線動画の定義も難しく,教師あり手法を用いた評価を行うことも現実的でないと考えます. 更に旧来より用いられてきた評価指標である MTF や NPS は臨床検査の動画を直接評価することは出来なかったが,非参照型メトリクスであれば,実際の臨床検査に使っている動画の評価が可能となります. そこで今回,非参照型メトリクスの中でも PIQE の結果を画像の善し悪しを表す指標に用い RD-Curve を求める手法を放射線動画に適用する試みを行いました.
  20. 検証に用いた使用機器はスライドに示すとおりです. 血管造影装置には SIEMENS 社製の装置を用い,動態ファントムを撮影しました. 撮像条件は実際の臨床検査の撮影モードを用いました. 撮影モードにより,リカーシブフィルタの強さと撮影線量が変わります.リカーシブフィルタの強さと線量を加味すると,Cardiac,Abdomen の評価が高くなると考えられます.
  21. 撮影した動画の供覧です. 上段左から Abdomen,Abdomen Low Dose,Abdomen Low Noise, 下段左から Neuro,Cardiac,Cardiac Low Dose となっています. 撮影線量に応じたノイズ,リカーシブフィルタの影響の違いによる残像を反映した動画となっています.
  22. それぞれの動画を拡大したものです. 撮影モードにより見え方に差があります. Cardiac,Abdomen はノイズも残像も少なく視覚的に高品質の動画に見えます.
  23. PIQE の結果です. スライド左側のグラフが横軸が Frame 縦軸が PIQE 値のグラフで,右側のグラフが各撮影モードでの PIQE 値の平均値となります. リカーシブフィルタの強さと撮影線量から想定される結果の通り,Cardiac,Abdomen が高評価で,Abdomen Low Noise,Cardiac Low Dose が低評価となりました.
  24. パラメータが共通している線量 100%,リカーシブフィルタが弱い,強いもの同⼠で⽐較すると,同⼀線量で撮影した動画の⽐較ではリカーシブフィルタが弱いほうが良好な結果となり,リカーシブフィルタの影響が同⼀な動画の⽐較では撮影線量が多いほど良好な結果となり,撮影条件に応じた値が得られました.
  25. 以上の結果を踏まえて,本装置で撮像条件以外のパラメータである i-Noise Reduction と k-factor を変化させて PIQE の値がどう変わるのかを評価しました. i-Noise Reduction は画像の周波数帯域ごとに信号の強調やスムージングを行うマルチ周波数処理で,k-factor は過去の画像情報の重みづけを行いリアルタイムの画像に重ね合わせを行う加重平均化フィルタです. 処理の内部パラメータは公開されておらず数字と処理による影響に直接的な関係はありません.また, Auto 1 は当院用にカスタマイズされたパラメータの処理です.
  26. 先ずマルチ周波数処理の影響を変化させた動画と PIQE の値を示します. 画面左上から右側にパラメータを変化させた動画を示し,右下に未処理の動画を表示しています. i-Noise Reduction が 7 で PIQE は最小となりました.
  27. それぞれの動画を拡大したものです. PIQE が最小となる i-Noise Reduction が 7 の動画はエッジが強調されています.
  28. グラフは横軸に撮影線量を,縦軸に PIQE 値の平均値をプロットしたものになります. 実線が処理後の動画の結果で破線が未処理の動画の結果です. このグラフから線量の増加と共に知覚品質が向上していることが読み取れます. 実線と破線を比較すると i-Noise Reduction が 7 以外は未処理の動画のほうが良好という結果でした.
  29. 次に時間軸フィルタの影響を変化させた動画と PIQE の値を示します. 画面左上から右側にパラメータを変化させた動画を示し,右下に未処理の動画を表示しています. k-factor が 3 で PIQE は最小となりました.
  30. それぞれの動画を拡大したものです. PIQE が最小となる k-factor が 3 の動画は残像の少ない動画となっています.
  31. グラフは横軸に撮影線量を,縦軸に PIQE 値の平均値をプロットしたものになります. 実線が処理後の動画の結果で破線が未処理の動画の結果です. k-factor が 1 の場合以外,⼤線量になるにつれて知覚品質が低下しています. k-factor には信号情報の増強機能も含まれていることより,k-factor が 1 の場合以外,⼤線量になるにつれて過剰な補正処理となり知覚品質が低下していることを表しているのだと考えます.
  32. まとめです. 今回提示したように横軸に撮影線量を,縦軸に PIQE 値をプロットした RD-Curve を用いる事で⽬標画像を必要とせず放射線動画の品質を評価することができました. PIQE 値は鮮鋭度の⾼い画像が⾼評価となる傾向があり,⾎管造影検査で重要なデバイスの視認性を反映し得る指標となっています. また,PIQE は教師なし手法のため学習データを必要とせず,どの施設で検討しても同じ尺度で評価可能であり,汎用性が高い総合的なの物理評価の一つだと考えらます. RD-Curve の X 軸を撮影線量とすることで,異なった装置の画質も評価が可能なので,複数の装置の画像も比較可能となります.
  33. 本講演を終えるにあたり,このような発表の機会を与えて頂いた鈴鹿医療科学大学 東出了先生,ご助言を賜りました大阪市立大学医学部附属病院 岸本健治先生,実験にご協力頂いた,大阪市立大学医学部附属病院 高尾由範先生,大阪市立大学医学部附属病院 阪井裕治先生に深く感謝申し上げます.