Face recognition with Convolutional Neural Network

1. Мэдрэлийн гүн сүлжээ ашиглан хүний царай таних
аргачлалын судалгаа
(Face Recognition with Deep Neural Network)
М.Эрхэмбаатар
А.Хүдэр*
Б.Луубаатар**
Магистрант, Компьютерийн Ухааны салбар, ШУТИС-МХТС, Улаанбаатар, Монгол улс
*Удирдагч: Доктор, дэд проф., Компьютерийн Ухааны салбар, ШУТИС-МХТС, Улаанбаатар, Монгол улс
**Зөвлөх: Докторант ахлах багш, Электроникийн салбар, ШУТИС-МХТС, Улаанбаатар, Монгол улс
2016-11-30

2. Удиртгал

Дүрс болон царай илрүүлэх, таних хэрэгцээ өссөн

Хүний чадавхи 99.5%, DeepFace 99.7%, EigenFace 64.8%
Маш их хэмжээний өгөгдөл: ImageNet
Параллель тооцоолол: GPU, CUDA, cuDNN, Caffe, Torch

Тасалгааны камераар дүрс, царай таних хэрэгцээ
Хүндрэл, тооцооллын зардал
Зургийг Стэнфордын их сургуулийн “CS131: Computer Vision: Foundations and Applications” хичээлийн материалиас авав
зургийг Brandon Amos

3. Хэрэгцээ: Компьютер хараа

Хиймэл оюун ухаан, Робот

Ухаалаг гэр, оффис, хот

Эрүүл мэнд, оношилгоо CT, MRI (Хорт хавдар илрүүлэх)

Дрон, жолоочгүй автомашин

Камерийн хяналт, газарзүй орчны зураглал

Бизнес, медиа, энтертайнмент, ...
Зургуудыг Nvidia.com, Omate.com сайтаас тус тус авав

4. Зорилго

Онол алгоритмд суралцаж, эзэмших

Computer Vision, Image Classification, Machine & Deep Learning, CNN, RNN, Softmax, SVM, ..

Өгөгдлийн бааз бүрдүүлэх
Өгөгдөл олборлолт, Сургалтын өгөгдөл, Их өгөгдөл (ImageNet 14 сая зурагтай) ...

Техник ур чадвар эзэмших
Суперкомпьютер: GPU, Параллель тооцоолол, ..
Багаж хэрэгсэл: Numpy, Scikit-learn, Linux, OpenCV, Dlib, CUDA, cuDNN, Caffe, Torch, TensorFlow, ..

Туршилт, судалгааны аргачлалын ур чадвар эзэмших
Дүрс илрүүлэх, царай таних, ангилагч, мэдрэлийн сүлжээ үүсгэх

Вишн Лаборатори, МХТС

NVIDIA GPU Educators Program, “AI & Autonomous Robotic” хичээл, лаб. ажил

AI Robot of smart home

5. Судлагдсан байдал
Pre-trained VGG models by Oxford University, Монголын жишээ*

6. Царай илрүүлэх, таних
(зургийг “Face Detection and Recognition: Theory and Practice” номноос авч ашиглав)

7. Царай илрүүлэх: HOG хэв шинж
Histogram of Oriented Gradients
1. Цэгийн градиент чиглэл 2. HOG дүрслэл
3. HOG царайн хэв шинж
зургийг “Machine Learning is Fun! Part 4: Modern Face Recognition with Deep Learning” нийтлэлээс авч ашиглав

8. Мэдрэлийн гүн сүлжээ
Convolutional, Non-linear, Pooling (Down sampling), Fully Connected layers, Output
Зургийг “A Beginner's Guide To Understanding Convolutional Neural Networks” нийтлэлээс авч ашиглав

9. CNN: Шүүлтүүрдэх (Convolving)
Зургийг “A Beginner's Guide To Understanding Convolutional Neural Networks” нийтлэлээс авч ашиглав

10. CNN: Мэдрэл (neuron)
Зургийг “A Beginner's Guide To Understanding Convolutional Neural Networks” нийтлэлээс авч ашиглав

11. CNN: Шүүлтүүр (feature)
Зургийг “A Beginner's Guide To Understanding Convolutional Neural Networks” нийтлэлээс авч ашиглав
зургийг Andrew Ng

12. CNN: Backpropagation

Forward pass, Lost function, Backward pass, Weight update

MSE (Mean Squared Error), Softmax, SVM, Gradient descent, Epoch
Зургийг “A Beginner's Guide To Understanding Convolutional Neural Networks” нийтлэлээс авч ашиглав

13. Царай танилт: Сургалтын өгөгдөл
4 хүний нийт 226ш сургалтын өгөгдөл, туршилтын 50ш зураг

Dlib, OpenCV, Python

14. Царай танилт: Хэрэгжүүлэлт, туршилт
Python, OpenCV, Dlib, Torch, OpenFace, CUDA, cuDNN, LinuxMint
HOG face detection, pre-trained CNN model with Linear SVM classifier

15. Үр дүн
Туршилтын дундаж 92.54%, DeepFace 99.97%, Хүний чадавхи 99.5%
Өгөгдөл Туршилтын үр дүн (True positive) Дундаж Алдаа
Хүүхэд, 2 нас 50ш 0.83 0.87 0.91 0.98 0.86 0.97 0.97 0.99 0.97 0.92 0.927 0
Хүүхэд, 8 нас 68ш 0.99 0.99 0.68 0.97 0.99 0.94 1.00 1.00 0.99 0.48 0.903 2
Том хүн, эр 26ш 0.92 0.95 0.90 0.78 0.90 0.93 0.87 0.97 0.96 0.93 0.911 1
Том хүн, эм 82ш 0.83 0.98 0.99 0.91 0.93 0.98 0.99 0.98 1.00 0.99 0.958 0
Нийт 226ш 0.925 3
Өгөгдөл Туршилтын үр дүн (True negative) Дундаж Алдаа
Өөр хүн 10ш 0.49 0.59 0.42 0.21 0.28 0.53 0.03 0.06 0.64 0.54 0.379 6

16. Дүгнэлт
Интринсик Экстринсик

Ажиглагчаас хамааралгүй Ажиглагчаас хамааралтай

Физик хүчин зүйлс Гэрэлтүүлэг,

Үсний хэлбэр, насжилт Байршил

Нүүрний хувирал, нүдний шил Фокус

Арьсны өнгө, хүйс, угсаатанзүйн Шуугиан (noise)

Сургалтын өгөгдөл цөөдсөн, бусад хүмүүсийн зураг оруулах 92.5%

Их хэмжээний өгөгдөл (хүн тус бүрийн 500-1000) дээр GPU ашиглаж туршилт хийх

Тасалгааны камер, гэрийн туслах-роботын хиймэл оюунд ашиглах боломжтой

17. Ашигласан материал

[1] “Baidu’s Artificial-Intelligence Supercomputer Beats Google at Image Recognition”, MIT Technology Review, 2015

[2] “DeepFace: Closing the Gap to Human-Level Performance in Face Verification”. Facebook AI Research Publication,
2014

[3] “Machine Learning is Fun! Part 4: Modern Face Recognition with Deep Learning”, 2016

[4] Navneet Dalal, Bill Triggs. "Histograms of Oriented Gradients for Human Detection”, 2005

[5] Vahid Kazemi, Josephine Sullivan. “One Millisecond Face Alignment with an Ensemble of Regression Trees”, 2014

[6] Florian Schroff, Dmitry Kalenichenko, James Philbin. “FaceNet: A Unified Embedding for Face Recognition and
Clustering”, 2015

[7] Brandon Amos. OpenFace. https://cmusatyalab.github.io/openface/

[8] D. A. Forsyth and J. Ponce. "Computer Vision: A Modern Approach (2nd edition)". Prence Hall, 2011

[9] opencv.org, dlib.com, http://torch.ch

[10] CUDA, cuDNN. http://nvidia.com

[11] “CS231n Convolutional Neural Networks for Visual Recognition”, Stanford University

[12] Stan Z. Li Anil K. Jain. “Handbook of Face Recognition”. Springer, 2004

[13] Asit Kumar Datta, Madhura Datta, Pradipta Kumar Banerjee. “Face Detection and Recognition: Theory and
Practice”. Taylor & Francis, 2015

[14] Mohamed Daoudi, Anuj Srivastava, Remco Veltkamp. “3D Face Modeling, Analysis and Recognition”. Wiley, 2013

18. Анхаарал хандуулсанд баярлалаа!
Асуулт?
“Engineers turn dreams into reality”
Hayao Miyazaki