MediaPipe를 활용한 제스처 인식 기반 자연 사용자 인터페이스(NUI) 시스템 제안
Reviewed by 이동운 석사연구원
[학회 후기]
한국자동차공학회에 처음 참가하게 된 저는, 제주도에 도착했을 때 기대감보다는 긴장감이 더 컸습니다. 이전부터 “다른 디자인 관련 학회에 비해 분위기가 비교적 보수적이고 딱딱하며, 발표자들도 정장을 갖춰 입는다”는 이야기를 들어서인지, 공학 중심 학회 특유의 무게감을 실감할 수 있었습니다. 게다가 제게는 첫 학술대회 발표였기에 부담이 더욱 커졌던 것 같습니다. 제가 참여한 발표 세션은 ‘전기전자시스템/인포테인먼트’ 부문이었는데, 사전에 같은 부문 발표들을 검토해 보니 전문 기술적 내용이 주를 이루어서, 과연 우리 연구 주제가 이 무대에 잘 어울릴지 걱정도 되었습니다. 하지만 막상 발표 후에는 여러 석·박사 연구원분들과 현장에 계신 분들로부터 다양한 피드백을 받을 수 있었고, 그들의 조언과 격려 덕분에 긴장을 조금 덜 수 있었습니다. 이번 학술대회에서 개인적으로 가장 아쉬웠던 점은 심사위원님들의 질문에 완벽히 대비하지 못했다는 부분입니다. 발표를 준비할 때, 예상 가능한 질의응답 시나리오를 더욱 체계적으로 준비했어야 했는데, 현장에서 즉각적으로 대응하기가 쉽지 않았습니다. 다음 기회에는 이러한 질문 대응까지 포함해 한층 더 철저히 준비하여, 긴급한 상황에서도 당황하지 않고 침착하게 소통할 수 있는 발표자로 발전하고 싶습니다.
[ 발표 후기 ]
주제: MediaPipe를 활용한 제스처 인식 기반 자연 사용자 인터페이스(NUI) 시스템 제안
본 연구는 기존 GUI가 지닌 한계를 넘어, 손 제스처를 활용한 **자연 사용자 인터페이스(NUI)**를 제안하고자 시작되었습니다. 손 인식 기술로 알려진 MediaPipe를 활용해, “Pinch and Drag” 같은 직관적인 제스처를 통해 차량 내부의 편의장치를 실시간 제어할 수 있는 프로토타입을 설계·구현하였습니다. 이를 위해 Dynamixel 모터를 연동해 피지컬한 동작도 시연하였으며, 향후 차량 인포테인먼트 시스템 등 다양한 환경에서 사용자 경험을 강화할 수 있는 가능성을 모색하였습니다.
Q1. 프로토타입을 차량 선루프나 공조 장치 등에 적용하셨다고 들었습니다. 혹시 다른 방향성이나 적용 가능성도 고려해 보신 적이 있나요?
A1. 네, 현재는 피지컬 움직임이 명확하게 드러나는 선루프와 공조 장치를 우선적으로 택했지만, 앞으로는 더 다양한 물리적 인터랙션을 요구하는 장치로 확장할 수 있을 것으로 봅니다. 차량 내 다른 편의장치나 실내 부품 등, 동작 범위가 크고 사용자에게 직접적인 피드백을 제공하는 영역을 우선순위로 검토 중입니다.
Q2. MediaPipe로 제스처 인식을 하시는데, 주로 2D(x, y) 좌표를 사용하는 걸로 알고 있습니다. 3차원 인식(z축)을 고려해 본 적도 있으신가요?
A2. 현재 시스템은 2D 웹캠 데이터(x, y 좌표)만으로 손가락 관절 위치를 인식합니다. 하지만 3D 제스처 인식으로 확장할 계획도 세워두었는데, z축 정보를 추가로 파악하면 슬라이드·푸시 동작 등 깊이 방향에 대한 더욱 세밀한 인터랙션이 가능해집니다. 이를 통해 사용자의 움직임을 풍부하게 해석하고, 시스템의 반응성을 높일 수 있을 것으로 기대합니다.
Q3. 제스처 인터페이스는 직관적이지만, 잘못된 인식이나 오작동 우려가 큰 편입니다. 이 부분에 대한 보완 방안이 있을까요?
A3. 제스처 기반 인터페이스는 몰입도가 크지만, 의도치 않은 동작을 유발할 위험도 있습니다. 이를 보완하기 위해, 특정 제스처를 명확한 의도가 드러나는 동작으로 한정하였고, 추후에는 다중 센서(예: 음성, 시선 추적 등)와 결합해 오작동을 줄이는 멀티모달 인터페이스로 확장할 계획입니다. 사용자가 의도한 동작만 인식되도록 설계하여, 오작동 위험을 최소화하려 합니다.
[ 청취 후기 ]
주제: Diffusion 모델 기반의 모빌리티 3D 내장 디자인 자동화 가능성 탐색
이 연구 발표에서는 생성형 AI와 3D 변환 기술을 활용해 차량 내장 디자인 자동화의 가능성을 탐색했습니다. 특히 2D-3D 변환 과정을 중심으로 최신 AI 기법(예: Diffusion 모델)을 비교·분석하여, 모델별 성능 차이와 한계, 그리고 실제 디자인 프로세스와의 접점을 구체적으로 제시했던 점이 매우 흥미로웠습니다. 발표를 들으면서 “반복적인 디자인 아이디어 생성 및 시각화” 단계를 생성형 AI로 보조할 수 있는 가능성이 열려 있다는 사실이 인상 깊었습니다. 더 나아가 CAD 후처리와 연동하는 확장 연구까지 연결된다면, 디자인공학·인공지능·HCI 등 다양한 분야가 융합되어 미래 모빌리티 디자인에 획기적인 변화를 가져올 수 있으리라는 생각이 들었습니다.
이번 학회를 통해, 공학과 디자인의 접점을 중심으로 흥미로운 발표를 접할 수 있었습니다. MediaPipe를 활용한 제스처 인식 연구처럼 인포테인먼트와 자율주행을 결합한 사례부터, 생성형 AI를 적용해 3D 내장 디자인 과정을 자동화하려는 시도까지, 미래 자동차 산업이 디자인·기술 전반에서 새로운 패러다임을 맞이하고 있음을 체감했습니다.
앞으로 우리 연구실에서도 이러한 학제 간 접근과 기술적 시도를 이어가며, 사용자 경험을 최우선으로 하는 혁신적인 차량 HCI와 디자인 솔루션을 연구·개발해 나갈 계획입니다.
댓글 0