[자율주행 환경에서의 핸드 제스처 기반 내추럴 유저 인터페이스(NUI) 제안 및 사용자 경험 평가, 김정민, 이동운, 김주성, 차재훈, 최성수, 황석영, 박기철] 

Reviewed by 김정민 석사연구원 

주제: 자율주행 환경에서의 핸드 제스처 기반 내추럴 유저 인터페이스(NUI) 제안 및 사용자 경험 평가

본 연구는 자율주행 기술이 레벨 4/5 단계로 고도화됨에 따라 자동차가 단순히 이동수단에서 벗어난 업무 및 휴식이 가능한 제 3의 생활공간으로 확장되는 환경을 배경으로 한다. 이러한 공간적 변화는 차량 내부 부품들의 새로운 제어 인터페이스를 요구하지만, 기존의 터치스크린/물리적 버튼 및 음성 제어 방식은 사용자에게 특정 자세를 강요하거나 제어권의 불균형을 초래한다.

이에 본 연구는 자율주행 환경에서 직관적이고 자연스러운 상호작용이 가능한 핸드 제스처 기반의 내추럴 유저 인터페이스(NUI)를 제안한다. 실험을 진행하기 위해 자율주행 5단계 환경을 가장하여 목재 프레임과 3D 프린팅을 활용한 Low-fidelity 프로토타입을 제작하였다. 핸드 제스처의 인식은 탑, 사이드, 프런트에 부착되어 있는 카메라로 수행하였다. 하드웨어 구동은 콘솔, 디스플레이, 에어벤트 3개의 항목을 각각 전후 서지(Surge, 1 DoF), 피치(Pitch, 1 DoF), 그리고 팬-틸트(Pan-Tilt, 2 DoF)운동을 수행한다. 제어 시스템은 Mediapipe Hands를 활용해 랜드마크를 추적하고 Zero MQ 기반의 Publisher-Subscriber 알고리즘을 채택하였다.

실험자들은 Natural Mapping 조건에서 각 편의장치마다 서로 다른 제스처를 적용하여 평가하고, Index Mapping 조건에서 모든 편의장치를 검지 손가락을 길게 뻗고 움직이는 통일된 제스처를 적용하여 평가하였으며, 실험결과는 총 3 항목으로 나눴다.

첫번째, 제스처의 Natural/Index 매핑간 비교를 위해 Paired T-test를 실시한 결과, 두 매핑간 유의미한 차이는 없었지만 장치에 따른 상반된 선호 패턴이 관찰되었다. 콘솔의 경우 Natural Mapping이 쾌락적 품질 및 학습 용이성에서 높은 평가를 받았다. 반면 디스플레이 및 에어벤트의 경우, Index Mapping이 실용적 품질과 신체적 품질에서 우위를 보였다.

두번째, 장치별(콘솔, 디스플레이, 에어벤트) 사용성을 비교하기 위해 Repeated Measures One-way ANOVA를 수행하였다. 그 결과 사용성 평가 순위는 1위 콘솔, 2위 디스플레이, 3위 에어벤트 순으로 사용성이 우수하다는 평가가 나왔다. 자세한 사항으로 콘솔은 1차원 선형이동의 단순성과 신체 근처에 위치한 이점으로 높은 평가를 받은 반면, 에어벤트는 비대칭적 위치와 조작 복잡성으로 인해 사용성이 저하됨을 알 수 있었다. 또한 Natural Mapping은 장치의 물리적인 제약사항을 부각시키는 반면, Index Mapping은 상쇄시켜 사용자에게 균일한 사용자 경험을 제공하는 것을 알 수 있었다.

마지막으로, 로그 데이터(조작 시간, 이동 거리)와 사용자의 평가 간 상관관계를 살펴보기 위해 Pearson 상관분석을 수행하였다. 그 결과 로그 데이터와 사용자 평가간 부적(Negative) 상관관계가 나타남을 확인했다. 특히 제스처 수행 시간이 길거나, 손의 이동거리가 늘어날수록 신체적 평가가 감소함을 확인할 수 있었다. 이는 제스처 인터페이스 설계 시 효율성(최소한의 움직임, 짧은 과업 수행 시간)이 편안함으로 직결됨을 알린다.

종합적으로 본 연구는 자율주행 4/5 환경에 사용될 수 있는 핸드 제스처 NUI를 제안하고 이를 실증적으로 평가하였다. 그 결과 제스처 제어 방식은 탑승자의 자유도를 높이는 유용한 도구이나 단일 방식으로는 한계가 있어, 향후 동작 반경 최소화나 음성 인식과의 결합을 통해 상호 보완적인 인터페이스로 발전되어야 할 것이다.

[학회 후기]

자율주행 기술이 레벨 4/5 단계로 고도화되면서 자동차는 단순한 이동수단을 넘어 업무와 휴식이 가능한 제3의 생활공간으로 확장되고 있습니다. 이러한 공간적 변화는 차량 내부 부품을 제어하는 새로운 인터페이스를 요구하지만, 기존의 터치스크린·물리 버튼·음성 기반 제어는 사용자에게 특정 자세를 강요하거나 제어권의 편중을 초래하는 한계를 지닙니다. 이에 본 연구는 자율주행 환경에서 직관적이며 자연스러운 상호작용이 가능한 핸드 제스처 기반 내추럴 유저 인터페이스(NUI)를 제안하고, 이를 실증적으로 평가하는 것을 목적으로 하였습니다.

실험을 위해 자율주행 5단계 상황을 가정한 Low-fidelity 프로토타입을 목재 프레임과 3D 프린팅으로 제작하였고, 제스처 인식은 탑·사이드·프런트에 부착된 카메라를 통해 수행하였습니다. 하드웨어는 콘솔, 디스플레이, 에어벤트의 세 항목으로 구성되며, 각각 전후 서지(Surge, 1 DoF), 피치(Pitch, 1 DoF), 팬-틸트(Pan-Tilt, 2 DoF) 운동을 구현하도록 설계하였습니다. 제어 시스템은 Mediapipe Hands 기반으로 손 랜드마크를 추적하고, ZeroMQ 기반의 Publisher–Subscriber 구조를 적용하여 인식 및 구동을 연동하였습니다.

참가자들은 두 가지 제스처 매핑 조건에서 과제를 수행하였습니다. Natural Mapping 조건에서는 편의장치별로 서로 다른 제스처를 적용해 평가하였고, Index Mapping 조건에서는 모든 장치에 대해 검지 손가락을 길게 뻗어 움직이는 통일된 제스처를 적용해 평가하였습니다. 분석은 총 세 가지 관점에서 진행되었습니다.

첫째, Natural Mapping과 Index Mapping 간 차이를 비교하기 위해 Paired t-test를 수행한 결과, 두 조건 사이에 통계적으로 유의미한 차이는 확인되지 않았습니다. 다만 장치별로 상반된 선호 패턴이 관찰되었습니다. 콘솔의 경우 Natural Mapping이 쾌락적 품질과 학습 용이성에서 더 높은 평가를 받았으나, 디스플레이와 에어벤트에서는 Index Mapping이 실용적 품질과 신체적 품질에서 상대적으로 우위를 보였습니다.

둘째, 장치별(콘솔·디스플레이·에어벤트) 사용성 차이를 확인하기 위해 Repeated Measures One-way ANOVA를 수행하였고, 그 결과 사용성은 콘솔이 가장 높고, 다음으로 디스플레이, 마지막으로 에어벤트 순으로 평가되었습니다. 콘솔은 1차원 선형 이동이라는 조작의 단순성과 신체 가까이에 위치한 이점으로 인해 높은 평가를 받은 반면, 에어벤트는 비대칭적인 위치와 조작 복잡성으로 인해 사용성이 저하되는 경향을 확인할 수 있었습니다. 또한 Natural Mapping은 장치의 물리적 제약을 사용자에게 더 뚜렷하게 드러내는 반면, Index Mapping은 이러한 제약을 일부 상쇄하며 장치 간 비교적 균일한 사용자 경험을 제공하는 특징이 나타났습니다.

셋째, 로그 데이터(조작 시간, 이동 거리)와 사용자 평가 간 관계를 살펴보기 위해 Pearson 상관분석을 수행하였으며, 그 결과 로그 데이터와 주관적 평가 사이에 부적 상관관계가 나타났습니다. 특히 제스처 수행 시간이 길어지거나 손의 이동거리가 증가할수록 신체적 평가가 감소하는 경향이 뚜렷했으며, 이는 제스처 인터페이스 설계에서 효율성, 즉 최소한의 움직임과 짧은 과업 시간이 곧 편안함과 직결될 수 있음을 시사합니다.

종합하면, 본 연구는 자율주행 4/5 환경에서 활용 가능한 핸드 제스처 기반 NUI를 제안하고 이를 실험적으로 검증함으로써, 제스처 제어가 탑승자의 신체 자유도를 높이는 유효한 수단이 될 수 있음을 확인하였습니다. 동시에 단일 방식만으로는 장치별 물리적 제약과 사용 맥락의 차이를 완전히 해소하기 어렵다는 한계도 드러났습니다. 따라서 향후에는 동작 반경을 최소화하는 제스처 설계, 그리고 음성 인식 등 다른 모달리티와의 결합을 통해 상호 보완적인 인터페이스로 확장하는 방향의 연구가 필요합니다.

[발표 후기]

질문 1. 많은 제스처와 편의장치의 사용성에 대한 비교분석을 진행하였는데 총 몇가지의 제스처를 제안한 것인가요?

답변 1. Natural Mapping 조건에서 콘솔, 디스플레이, 에어벤트 모션 3가지와 Index Mapping 조건에서 통합 모션 1가지를 합해 총 4가지 모션입니다.

질문 2. 많은 제스처 중에서 사용자에게 피로도를 최소화하는 제스처가 가장 낫지 않을까 생각하는데 그러한 제스처가 있나요?

답변 2. 네, Index Mapping 조건에서 사용자들은 신체적 피로도가 가장 낮다는 답변을 하였으나, 콘솔의 경우 직관적인 면에서는 “Natural Mapping 조건의 제스처가 나았다” 라고 답한 만큼 직관성과 신체적 편안함을 모두 만족하는 제스처가 무엇이 있을지 추가 연구를 진행하거나, 음성 및 다른 제어 방식과 결합하는 추가 연구도 진행되면 좋을 것 같습니다.

질문 3. 실험자들이 실험을 진행하면서 어떠한 제스처는 특별히 불편하다고 했던 제스처가 있었나요?

답변 3. 에어벤트를 핀치하여 조절하는 Natural Mapping 기반 Pan-Tilt 제어를 가장 불편해함을 실험 데이터를 통해서 확인할 수 있었습니다.

[청취 후기]

주제: 생성형 AI를 통한 검색 서비스의 진화. 김상범/네이버 AI검색 담당 전무

이번 HCI 2026 학회는 '생성형 AI' 및 'AI 에이전트'가 주인공이었습니다. 키노트부터 다수의 세션까지, AI가 바꿀 인터페이스의 미래에 대한 논의가 뜨거웠습니다. 특히 인상 깊었던 것은 네이버 김상범 전무님의 "생성형 AI를 통한 검색 서비스의 진화" 키노트였습니다.

김상범 전무님은 챗GPT의 등장을 네이버가 맞이한 '역대 가장 큰 위기'로 정의했습니다. 과거 유튜브가 영상이라는 새로운 경험으로 검색 시장의 판도를 흔들었을 때가 두 번째 위기였다면, 생성형 AI의 충격은 그 이상이라는 것입니다. 당시 네이버는 검색 엔진을 넘어 쇼핑, 웹툰 등 독자적인 버티컬 플랫폼을 성공시키며 위기를 기회로 바꾸고 국내 시장을 지켜냈습니다. 이번 생성형 AI의 위기 역시 네이버만이 가진 고유한 서비스와 데이터를 AI 기술과 결합하여 정면 돌파하겠다는 청사진을 제시했습니다.

강연을 들으며 네이버의 '서비스 결합' 전략에 깊이 공감하면서도, 한편으론 더 과감한 확장이 필요하지 않을까 하는 생각이 들었습니다. 인구 감소로 축소되는 내수 시장을 고려할 때, 기존 서비스의 결합을 넘어 해외 시장을 타겟으로 한 '완전히 새로운 개념의 서비스'가 탄생해야 하지 않을까 하는 생각이 들었습니다. 비록 지금은 막연한 상상일 수 있지만, 어떻게 하면 기존의 문법을 파괴하는 완전히 새로운 서비스를 내놓을 수 있을까 하는 호기심을 갖게 된 시간이었습니다.