[I.MX6Q]얼굴표정 인식을 통한 사용자의 감정케어 시스템 보드편(1)

이제 감정케어 시스템이 I.MX6Q 보드에서 어떻게 동작하는 지 포스팅하려고 한다. 전체 코드는 https://github.com/moon920110/Facial_Expression_Recognition에 올려두었다.

보드에서 구현되는 기능은 이렇다.

1. 웹캠을 이용한 얼굴 영역 검출 및 cropping, 카메라 화면 출력

2. 서버와 통신

3. GUI(터치스크린)

4. 감정에 따른 / 혹은 사용자의 요구에 따른 음악 실행

5. 사용자의 현재 상태와 재생되고 있는 음악의 이름 및 디렉토리를 출력할 CLCD

6. 사용자의 새로운 감정 상태를 표현할 Dot Matrix와 LED

7. 감정검출 on/off, GUI/카메라 화면 전환을 수행할 switch button

전체 연결된 코드는 위의 github에서 보면 되고, 여기서는 각 요소를 어떻게 구현했는 지 살펴본다.

기본적으로 보드에 opencv가 포팅되어 있어야 한다.

2017/05/01 - [Embedded System] - [I.MX6Q] Opencv Porting on I.MX6Q (ARM based board)

1. 웹캠을 이용한 얼굴 영역 검출 및 cropping, 카메라 화면 출력

얼굴영역 검출 및 화면 출력에는 세가지 이슈가 있다.

- TFTLCD의 출력 format에 따른 픽셀값 조절 및 수동 출력

- 스레드

- 얼굴 영역 검출 parameter optimizing

I.MX6Q 보드는 TFTLCD화면 출력이 일반 display와 다르다. 일반 display의 경우 8bit gray scale혹은 24 bit true color(rgb)이지만 I.MX6Q보드의 경우 red 5bit, green 6bit, blue 5bit의 출력 format을 가진다. 각 8bit의 rgb factor들을 5bit, 6bit, 5bit으로 scaling하고 shift연산과 덧셈연산을 사용해 format을 맞추고, 일일이 화면에 찍어주었다. resolution이 높지 않아서 다행이었다. 

******* 출처 : 세종대학교 컴퓨터공학과 박기호교수님의 Embedded System 수업 자료에서 가져왔습니다. *******

// 헤더 생략 opencv사용했으니 opencv 헤더 추가할 것. // display resolution 1024x600 #define WIDTH 1024 #define HEIGHT 600 // thread들이 공유할 변수들을 갖고 있는 구조체 typedef struct sqr_pnt{ Mat new_frame; Point lb ; Point tr ; int GUI_num ; int displayFlag ; // 0 - camera, 1 - default, 2 - display flag int analyzeFlag ; // 0 - off, 1 - on, 2 - program exit int expression ; int tmpStatus ; // currently playing music directory } pnt ; void* ShowDisplay(void* PP) // 하나의 thread에서 동작 { pnt* p = (pnt*)PP ; // 모든 thread에서 공유할 데이터가 들어있음 int fd ; // TFTLCD fd VideoCapture cap(2) ; // 웹캠이 2번에서 열림. unsigned short pix ; // 보드의 format에 맞는 pixel값 저장할 변수 unsigned short *fdData ; // 화면에 출력하기 위해 memory mapping할 변수 // TFTLCD device open if((fd = open("/dev/fb0", O_RDWR)) < 0) { printf("fb open error\n") ; exit(0) ; } fbData = (unsigned short*)mmap(0, WIDTH*HEIGHT*2, // memory mapping PROT_READ|PROT_WRITE, MAP_SHARED, fd, 0) ; for(int i=0 ; i<HEIGHT*WIDTH ; i++) *(fbData+i) = 0x0000 ; // 화면 초기화 while(1) { cap >> p->new_frame ; if(p->displayFlag == 0) // camera display mode { if(p->analyzeFlag > 0) // 감정 분석 on상태이면 다른 thread에서 검출한 얼굴 영역이 tr과 lb에 저장됐을 것임 rectangle(p->new_frame, p->tr, p->lb, Scalar(0,0,255), 3, 8, 0) ; // 화면에 얼굴영역 사각형으로 그리기 for(int k=479 ; k>=0 ; k--) // 웹캠 resolution 640x480 TFTLCD에 그리기 { for(int j=639 ; j>=0 ; j--) { pix = p->new_frame.at<Vec3b>(k, j)[0]/8 + // 각 rgb를 scaling해서 shift하고 덧셈 ((p->new_frame.at<Vec3b>(k, j)[1]/4)<<5) + ((p->new_frame.at<Vec3b>(k, j)[2]/8)<<11) ; *(fbData+(k+59)*WIDTH+j+191) = pix ; // 1024x600의 화면의 중앙에 640x480 영상이 오도록 mapping } } } else{ // ... GUI display } } }

pixel을 화면에 찍을 때 loop를 거꾸로 돌린 것(down-count)은 조금이라도 성능을 optimize하기 위해서이다. ARM에는 조건부실행이라는 유용한 기능이 있는데, 이것을 활용하면 간단한 logic의 분기문을 하드웨어적으로 간단하고 빠르게 처리할 수 있다. 

******* 출처 : 세종대학교 컴퓨터공학과 박기호교수님의 Embedded System 수업 자료에서 가져왔습니다. *******

더불어 본 프로그램에서는 ATCS(ATPCS)를 참조해 몇가지 ARM 환경에서의 최적화를 진행했다.

- 함수의 인자는 무조건 4개 이하

- 전역변수 사용의 최소화

- thread간 공유하는 변수들을 구조체로 묶어 인자(지역변수)로 넘겨 활용

- 4개 이상의 if문 중첩은 switch문으로 대체(이건 ATCS에 관련된건 아니지만)

- loop down counting

등등 

보드의 성능이 처음 생각했던 것 보다는 좋았지만 그래서 기대했던 것 만큼은 좋지 않았다.

가장 큰 문제는 PC에서 테스팅했을 때는 무리없이 잘 돌아가던 프로그램들이 보드에 올리면 심각하게 느려진다는 것이었다. 이 문제는 특히 opencv를 이용한 얼굴 영역 검출에서 가장 크게 나타났다. 한 thread에서 카메라 촬영, 얼굴 영역 검출을 동시에 진행했더니 거의 정지화면에 가까운 출력을 보였다. 따라서 얼굴 영역 검출과 화면 출력을 각각 스레드로 나누어 작업을 했다. 스레드를 나누었음에도 여전히 화면 출력과 얼굴 영역 검출 간 1초 정도의 딜레이가 있었고, 화면 출력 역시 얼굴 영역 검출 때문인지 굉장히 끊어지며 출력이 되었다. 결국 얼굴 검출 함수의 parameter를 optimize함으로써 프로그램을 안정화시켰다. Embedded system에서는 최적화가 정말로 중요한 요소임을 뼈저리게 느꼈다.

// 헤더 및 구조체 선언 생략 void* FaceDetecting(void* PP) // 마찬가지로 별도의 thread에서 동작 { pnt* p = (pnt*)PP ; sleep(2) ; // 프로그램이 시작하고 바로 thread를 생성하기 때문에 안정적으로 초기화 될 때까지 기다림 CascadeClassifier face_classifier; // 얼굴 검출기 Mat gray ; // 검출하려면 흑백으로 vector<Rect> faces ; // 얼굴영역 check용 박스 int i ; // 얼굴 검출을 위한 xml file을 미리 실행 directory에 옮겨놓았음 if(!face_classifier.load("./haarcascade_frontalface_default.xml")) { printf("loading error\n") ; exit(0) ; } while(1) { if(p->analyzeFlag > 0) // 감정 분석 on 상태에서만 얼굴 검출이 동작함 { cvtColor(p->new_frame, gray, CV_BGR2GRAY) ; // 촬영한 영상을 gray scale로 바꾸고 face_classifier.detectMultiScale(gray, faces, 1.5, 5, // 얼굴 검출 시작 CV_HAAR_FIND_BIGGEST_OBJECT | CV_HAAR_SCALE_IMAGE, // parameter들 optimize 해주는 게 중요함 Size(150, 150)) ; // 제일 작은 object를 150x150로 설정 <- 제일 유효했음 if(faces.size() == 0) // 얼굴 영역이 없으면 p->lb.x = 0 ; // x를 0으로 설정 else { // 얼굴 영역 설정 근데 지금 생각해보니 검출 option을 biggest object로 줘서 loop가 필요 없을 듯. 어차피 1개([0]) for(i=0 ; i<faces.size() ; i++) { p->lb.x = faces[i].x + faces[i].width ; // 오른쪽 x p->lb.y = faces[i].y + faces[i].height ; // 아래쪽 y p->tr.x = faces[i].x ; // 왼쪽 x p->tr.y = faces[i].y ; // 위쪽 y } } } } pthread_exit((void*)3) ; }

parameter optimizing을 한 요소는 window size scaling factor(1.5), find biggest object, minimum object size 150x150 설정 등이다.

PC에서 했을 때 default는 잘 기억이 나지 않지만, window scaling factor 1.3, minimum object size 30x30 정도였던 것 같다. minimum size를 30x30에서 150x150으로 늘린게 성능 향상에 가장 유효하게 작용했다.

pthread 사용법은 따로 설명하지 않겠다. google에서 찾으면 정말 많은 분들이 도움을 주실 것이다.