통합 검색
통합 검색
- 작성자 hide
- 조회수 98
[자율주행차 가변형 편의장치를 위한 NUI 제스처 매핑 연구, 신승혁, 최성수, 황석영, 김주성, 이동운, 차재훈, 노우석, 박기철]
Reviewed by 신승혁 석사연구원
주제: 자율주행차 가변형 편의장치를 위한 NUI 제스처 매핑 연구
본 연구는 자율주행(Level 4–5) 환경에서 물리적으로 이동·가변되는 차량 내 편의장치(콘솔, 디스플레이, 에어벤트)를 좌석 위치와 무관하게 누구나 직관적으로 제어할 수 있도록, 손 제스처 기반 NUI(Natural User Interface) 시스템을 설계·구현하는 것을 목표로 합니다. 자율주행차는 스케이트보드 플랫폼 등으로 실내 레이아웃 자유도가 커지면서 편의장치의 “이동성”이 확대되지만, 현행 디스플레이 중심 제어는 전면 화면에 가까운 탑승자에게만 접근성이 편중되고 2·3열 탑승자는 제어권이 약화되는 문제가 있습니다. 또한 터치/음성 인터페이스는 소음·언어·환경 조건에 따른 제약과 조작 부담이 존재합니다. 이에 본 연구는 차량 내부에 이미 구축되기 쉬운 카메라 기반 인식을 활용해 추가 하드웨어를 최소화하면서, 손동작만으로 장치를 제어하는 대안을 제시합니다.
연구는 선행연구 검토를 통해 손 제스처 상호작용이 다양한 분야에서 축적되어 왔으나, 디지털 UI 조작에 치우쳐 실제 “물리 장치 구동”으로 확장된 사례가 부족하고, 직관적 제스처 설계에 대한 체계적 접근도 미흡함을 지적합니다. 이를 보완하기 위해 Natural Mapping 개념(실제 물리 조작과 유사한 끌기·밀기·잡기 등의 동작을 디지털 제어로 매핑)을 핵심 설계 원리로 채택하고, 동시에 시스템 학습 부담과 일관성 확보를 위해 Index Mapping(검지로 방향을 가리키는 표준화 제스처) 전략을 병행합니다.
구현 목표는 (1) 실시간 제스처-모터 구동 시스템을 구축해 제스처 입력과 장치 제어 간 응답 지연을 100ms 이하로 달성하고, (2) Natural/Index 두 매핑 전략을 비교·지원하며, (3) 서로 다른 자유도(DoF)를 갖는 장치를 포괄적으로 제어하는 것입니다. 대상 장치는 콘솔(1 DoF 선형: 전후 300mm Surge), 디스플레이(1 DoF 회전: 0–90° Pitch), 에어벤트(2 DoF 평면: 상하·좌우)로 정의됩니다. 실험을 위해 목재·폼보드·3D 프린팅을 활용한 lo-fi 프로토타입을 제작하고, 장치 특성에 따라 카메라를 상부(Top view), 측면(Side view), 전면(Front view) 등으로 배치해 인식 안정성을 확보했습니다.
시스템 아키텍처는 Publisher–Subscriber 구조로 설계되며, 제스처 인식 모듈(Publisher)과 모터 제어 모듈(Subscriber)을 ZeroMQ 메시징으로 연결해 실시간성과 모듈 확장성을 동시에 확보합니다. 제스처 인식은 Google MediaPipe Hands 기반으로 21개 손 랜드마크를 실시간 추적하고, 입력 프레임에서 좌표 정규화(X,Y 0–255), 터치 상태(0/1), 타임스탬프를 포함한 JSON 데이터를 생성해 전송합니다. 또한 핀치 기반 상호작용을 Pinch-and-Hold, Pinch-to-Toggle, 주먹 기반의 Fist-and-Hold 등으로 구분해 제어 의도를 명확히 합니다.
제스처 디자인은 장치 물리 특성과의 정합성을 중심으로 구성됩니다. Natural Mapping에서는 콘솔은 주먹을 쥐고 가상 손잡이를 끌거나 미는 동작(전후 이동), 디스플레이는 핀치로 가상 지점을 잡고 상하로 끌거나 밀어 각도를 조절, 에어벤트는 핀치로 지점을 잡은 상태에서 상하좌우로 이동시키는 방식으로 설계합니다. Index Mapping은 세 장치 모두 검지로 이동 방향을 가리키는 방식으로 통일해 시스템 전반의 일관성과 학습 용이성을 강조합니다.
안정적 구동을 위해 소프트웨어에는 Weber–Fechner 법칙을 적용한 5단계 “부드러움(smoothness) 레벨”을 설계하고, 1차 지수 평활(exponential smoothing)로 목표값을 점진적으로 수렴시켜 떨림과 급격한 반응을 완화합니다. 레벨 간 반응성을 0.25배 비율로 감소시키도록 설계하여 사용자가 단계 간 변화를 지각적으로 균등하게 느끼도록 했으며, 각 레벨의 smoothing factor(α)를 제시합니다.
결론적으로 본 시스템은 MediaPipe 기반 인식, ZMQ 기반 모듈 구조, 심리물리학 기반 평활 알고리즘을 통합하여 평균 약 80ms 응답 지연과 30FPS 실시간 성능을 달성하고, 서로 다른 자유도의 세 편의장치를 제스처로 제어 가능한 수준으로 구현합니다. 연구는 Natural Mapping이 “물리 조작과의 직관적 연결성”을, Index Mapping이 “일관성과 학습 용이성”을 제공한다는 차별적 가치를 정리하며, 특히 좌석 위치에 따른 접근성 격차를 줄이고 향후 음성·시선추적 등 다른 모달리티와 결합 가능한 확장성을 제시합니다. 향후 과제로는 실제 차량 환경 검증, 다양한 조명·주행 상황에서의 강건성 테스트, 멀티모달 통합(제스처+음성/시선), 그리고 ISO 26262 기능 안전 관점의 안전성 검증을 제안합니다.
[학회 후기]
지난 HCI Korea 2026 학회에 "자율주행차 가변형 편의장치를 위한 NUI 제스처 매핑 연구"라는 주제로 Creative Award에 출품했습니다. 아쉽게도 수상의 영예를 안지는 못했지만, 전시 기간 동안 관람객들과 직접 소통하며 연구의 가치를 확인하고 발전 방향을 모색할 수 있었던 뜻깊은 시간이었습니다. 기획부터 하드웨어 및 소프트웨어 구현까지 전 과정을 함께 고생해 준 팀원들(신승혁, 이동운, 최성수, 황석영, 차재훈, 노우석, 김주성)과 세심하게 지도해 주신 박기철 교수님께 깊은 감사를 드립니다.
학회 전시 부스에서는 차량 내부 환경을 축소한 스케일 목업(Scale mock-up) 형태로 프로토타입을 구성하여 데모를 진행했습니다. 비록 축소된 스케일이었지만, 카메라를 통해 탑승자의 손 제스처를 실시간으로 인식하고 장치를 제어하는 과정을 관람객들이 직접 체험해 볼 수 있도록 했습니다. 많은 분들이 허공에서 취하는 직관적인 손동작만으로 물리적인 장치들이 부드럽게 반응하는 것을 보며 큰 흥미를 느끼고 신기해 하셨습니다.
현장에서 관람객 및 전문가분들과 다양한 의견을 나누며, 다음 두 가지 질의응답이 특히 기억에 남습니다.
질문 1. 만약 탑승자의 일상적인 손 움직임이 계속 제스처로 인식되어 장치가 오작동을 일으키면 어떻게 해결할 계획인가요?
답변 1. 멀티모달(Multimodal) 인터페이스 방식으로 해결이 가능하다고 답변 드렸습니다. 본격적으로 제스처 제어를 시작하기 전에, 음성 명령이나 특정 트리거 동작을 통해 "이제 손으로 제어하겠다"라는 명령을 시스템에 먼저 입력하도록 설계하면 의도치 않은 일상적 움직임으로 인한 오작동을 사전에 방지할 수 있습니다.
질문 2. 전시된 모델은 스케일 목업인데, 실제 1:1 스케일로도 구현 및 테스트를 진행해 보셨나요?
답변 2. 실제 차량 공간의 스케일과 구동 부하를 확인하기 위해, 연구실에서 목재를 활용해 1:1 스케일의 벅(Buck)을 직접 제작하였고, 이를 바탕으로 실제 메커니즘 구동 및 제스처 인식 테스트를 성공적으로 진행해 보았다고 설명해 드렸습니다
이번 학회 출품은 창의적인 다양한 작품들 사이에서 저희 연구를 객관적으로 되돌아보고 귀중한 인사이트를 얻을 수 있었던 소중한 경험이었습니다. 전시에서 얻은 긍정적인 반응과 피드백을 바탕으로, 앞으로 시스템을 더욱 고도화해 나가겠습니다.
댓글 0