통합 검색
통합 검색
- 작성자 hide
- 조회수 48
[자율주행차 가변형 편의장치를 위한 NUI 제스처 매핑 연구, 신승혁, 최성수, 황석영, 김주성, 이동운, 차재훈, 노우석, 박기철]
Reviewed by 신승혁 석사연구원
주제: 자율주행차 가변형 편의장치를 위한 NUI 제스처 매핑 연구
본 연구는 자율주행(Level 4–5) 환경에서 물리적으로 이동·가변되는 차량 내 편의장치(콘솔, 디스플레이, 에어벤트)를 좌석 위치와 무관하게 누구나 직관적으로 제어할 수 있도록, 손 제스처 기반 NUI(Natural User Interface) 시스템을 설계·구현하는 것을 목표로 합니다. 자율주행차는 스케이트보드 플랫폼 등으로 실내 레이아웃 자유도가 커지면서 편의장치의 “이동성”이 확대되지만, 현행 디스플레이 중심 제어는 전면 화면에 가까운 탑승자에게만 접근성이 편중되고 2·3열 탑승자는 제어권이 약화되는 문제가 있습니다. 또한 터치/음성 인터페이스는 소음·언어·환경 조건에 따른 제약과 조작 부담이 존재합니다. 이에 본 연구는 차량 내부에 이미 구축되기 쉬운 카메라 기반 인식을 활용해 추가 하드웨어를 최소화하면서, 손동작만으로 장치를 제어하는 대안을 제시합니다.
연구는 선행연구 검토를 통해 손 제스처 상호작용이 다양한 분야에서 축적되어 왔으나, 디지털 UI 조작에 치우쳐 실제 “물리 장치 구동”으로 확장된 사례가 부족하고, 직관적 제스처 설계에 대한 체계적 접근도 미흡함을 지적합니다. 이를 보완하기 위해 Natural Mapping 개념(실제 물리 조작과 유사한 끌기·밀기·잡기 등의 동작을 디지털 제어로 매핑)을 핵심 설계 원리로 채택하고, 동시에 시스템 학습 부담과 일관성 확보를 위해 Index Mapping(검지로 방향을 가리키는 표준화 제스처) 전략을 병행합니다.
구현 목표는 (1) 실시간 제스처-모터 구동 시스템을 구축해 제스처 입력과 장치 제어 간 응답 지연을 100ms 이하로 달성하고, (2) Natural/Index 두 매핑 전략을 비교·지원하며, (3) 서로 다른 자유도(DoF)를 갖는 장치를 포괄적으로 제어하는 것입니다. 대상 장치는 콘솔(1 DoF 선형: 전후 300mm Surge), 디스플레이(1 DoF 회전: 0–90° Pitch), 에어벤트(2 DoF 평면: 상하·좌우)로 정의됩니다. 실험을 위해 목재·폼보드·3D 프린팅을 활용한 lo-fi 프로토타입을 제작하고, 장치 특성에 따라 카메라를 상부(Top view), 측면(Side view), 전면(Front view) 등으로 배치해 인식 안정성을 확보했습니다.
시스템 아키텍처는 Publisher–Subscriber 구조로 설계되며, 제스처 인식 모듈(Publisher)과 모터 제어 모듈(Subscriber)을 ZeroMQ 메시징으로 연결해 실시간성과 모듈 확장성을 동시에 확보합니다. 제스처 인식은 Google MediaPipe Hands 기반으로 21개 손 랜드마크를 실시간 추적하고, 입력 프레임에서 좌표 정규화(X,Y 0–255), 터치 상태(0/1), 타임스탬프를 포함한 JSON 데이터를 생성해 전송합니다. 또한 핀치 기반 상호작용을 Pinch-and-Hold, Pinch-to-Toggle, 주먹 기반의 Fist-and-Hold 등으로 구분해 제어 의도를 명확히 합니다.
제스처 디자인은 장치 물리 특성과의 정합성을 중심으로 구성됩니다. Natural Mapping에서는 콘솔은 주먹을 쥐고 가상 손잡이를 끌거나 미는 동작(전후 이동), 디스플레이는 핀치로 가상 지점을 잡고 상하로 끌거나 밀어 각도를 조절, 에어벤트는 핀치로 지점을 잡은 상태에서 상하좌우로 이동시키는 방식으로 설계합니다. Index Mapping은 세 장치 모두 검지로 이동 방향을 가리키는 방식으로 통일해 시스템 전반의 일관성과 학습 용이성을 강조합니다.
안정적 구동을 위해 소프트웨어에는 Weber–Fechner 법칙을 적용한 5단계 “부드러움(smoothness) 레벨”을 설계하고, 1차 지수 평활(exponential smoothing)로 목표값을 점진적으로 수렴시켜 떨림과 급격한 반응을 완화합니다. 레벨 간 반응성을 0.25배 비율로 감소시키도록 설계하여 사용자가 단계 간 변화를 지각적으로 균등하게 느끼도록 했으며, 각 레벨의 smoothing factor(α)를 제시합니다.
결론적으로 본 시스템은 MediaPipe 기반 인식, ZMQ 기반 모듈 구조, 심리물리학 기반 평활 알고리즘을 통합하여 평균 약 80ms 응답 지연과 30FPS 실시간 성능을 달성하고, 서로 다른 자유도의 세 편의장치를 제스처로 제어 가능한 수준으로 구현합니다. 연구는 Natural Mapping이 “물리 조작과의 직관적 연결성”을, Index Mapping이 “일관성과 학습 용이성”을 제공한다는 차별적 가치를 정리하며, 특히 좌석 위치에 따른 접근성 격차를 줄이고 향후 음성·시선추적 등 다른 모달리티와 결합 가능한 확장성을 제시합니다. 향후 과제로는 실제 차량 환경 검증, 다양한 조명·주행 상황에서의 강건성 테스트, 멀티모달 통합(제스처+음성/시선), 그리고 ISO 26262 기능 안전 관점의 안전성 검증을 제안합니다.
[학회 후기]
000000000000000000000000000
[발표 후기]
00000000000000000000000000
질문 1. 0000000000000000?
답변 1. 000000000000000
질문 2. 0000000000000000?
답변 2. 000000000000000
질문 3. 0000000000000000?
답변 3. 000000000000000
[청취 후기 1]
주제: 00000000000000000000000000
0000000000000000000000000000000000000000000000000000
[청취 후기 2]
주제: 00000000000000000000000000
0000000000000000000000000000000000000000000000000000
댓글 0