2013年のHASCシンポジウム（http://hasc.jp/hc2013/symposium.html）での講演資料です．

1. タッチ操作の挙動分析による
行動・感情認識
◯荒川豊，平部裕子，安本慶一
奈良先端科学技術大学院大学

2. スマートフォンを用いた行動認識
• スマホに内蔵されたさまざなセンサを駆使
• 加速度
• 地磁気
• 重力
• 気圧
• ジャイロ
• 近接
• 輝度
• マイク
• NFC
• 回転ベクトル
• 放射線
• カメラ

3. 【提案】タッチ操作は？
• スマホでは，常時イベント発生
• コンテキスト認識に利用できない？
全アプリのタッチ操作を
どうやってロギングする？

4. サンドボックス
Sandbox
• セキュリティのための概念
• アプリ間は強制的に分離
• 他のアプリ上でのタッチ操作を監視できない
Logging
App.
App.1
Android OS

5. 手法の検討
手法１：Custom Android OS
– InputManagerを改造すればロギングは簡単にできそう
– カスタムROMの普及は難しい
手法２：Android OSの手前でフック
– イベントデバイスファイル (/dev/input/xxxx)を監視
– アプリからはRoot権限が必要
– adb経由（USB接続）だと，Root権限不要で丸見え

6. イベンドデバイスファイル
• タッチ操作に関するファイルの在処
– 基本：/dev/input/eventX
– X：機種依存
機種
Android OS
X
Galaxy Nexus
4.2.1
1
Galaxy S2
4.0.3
2
Galaxy S3
4.0.2
6
Galaxy Note2
4.1.2
2

7. イベントデバイスドライバの逆解析
• 一見，よくわからない
• 複数行で１つのタッチ操作
• 機種により一部フォーマットが違う
101000-325592: 0003 0032 0000000a
101000-325592: 0003 0035 0000011b
101000-325592: 0003 0036 000002e3
101000-325592: 0003 0030 0000000e
101000-325592: 0003 0031 00000009
101000-325592: 0003 003c ffffffd3
101000-325623: 0000 0000 00000000
101000-337007: 0003 0035 0000012a
101000-337007: 0003 0036 000002d8
101000-337007: 0003 0030 0000000c
101000-337007: 0003 003c ffffffe7
101000-337037: 0000 0000 00000000
101000-348696: 0003 0035 00000142
101000-348696: 0003 0036 000002c3
101000-348696: 0003 0031 00000007
101000-348696: 0003 003c ffffffbd
101000-348696: 0000 0000 00000000
101000-360324: 0003 0032 0000000b
101000-360324: 0003 0035 00000164
101000-360324: 0003 0036 000002a8
101000-360324: 0003 0030 0000000f
101000-360324: 0003 0031 0000000b
101000-360355: 0003 003c 0000005a
101000-360355: 0000 0000 00000000
101000-371800: 0003 0032 0000000d
101000-371800: 0003 0035 0000018c
101000-371831: 0003 0036 00000286
101000-371831: 0003 0030 00000010
101000-371831: 0003 0031 00000009
101000-371831: 0003 003c 00000000
101000-371831: 0000 0000 00000000
101000-383672: 0003 0032 0000000b
101000-383703: 0003 0035 000001b6
101000-383703: 0003 0036 00000269

8. Touch Analyzer（現在ベータ版）
• USBでスマホに繋ぐだけでロギングOK
• 代表的なタッチ操作の認識
– シングルタッチ・マルチタッチ
– シングルスワイプ・マルチスワイプ
– ピンチイン・ピンチアウト・ローテート
• 記録・再生（可視化）
• 統計処理
– 頻度，平均速度，平均圧力
– アプリケーションごとの集計

9. 完成予想図

10. タッチ操作コンテキストによる行動認識

11. 現在の状況
• β版
• 簡単な評価：下記の文章を入力するというタスク
『台風27号は17日午後3時現在、マリアナ諸島にあり、
ゆっくりと北北西へ進んでいる。中心気圧は970ヘクト
パスカル、中心付近の最大風速は35メートルで、強い勢
力となった。また、中心から90キロ以内では風速25メー
トル以上の暴風となっている。』

12. タッチ操作の挙動分析例１
• 個人間の差異
被験者：4人
アプリ：Facebook
時間：3分間

13. タッチ操作の挙動分析例２
• ストレスの有無
同一文章入力
時間制限の有無

14. 座って入力
タッチ操作の挙動分析例３
• ながら動作による差異
寝っ転がって
話しながら
歩きながら

15. タッチ操作の挙動分析例４
• キーボードの差
フリック入力
ローマ字入力

16. タッチ操作コンテキストの応用
• 操作スキルの定量化
– タッチ操作ログをクラウドで統計分析
– 各ユーザのスキルを定量化
操作スキルに応じて変化していく
ユーザインターフェース
• タッチ操作による個人識別
• 感情を理解するコンシェルジュアプリ

17. おわり
• 今後の予定
– ツールを完成させる
• PC版だけでなく，スマホ完結版も
– HASCで培われた分析手法を適用