[NUI : 자율주행차 가변형 편의장치를 위한 NUI 제스처 매핑 연구, 신승혁]    

Reviewed by  신승혁 석사연구원

본 연구는 레벨 4·5 이상의 완전 자율주행 시대에 차량 실내 인터페이스가 어떻게 변화해야 하는가라는 문제의식에서 출발하였다. 자율주행 기술이 고도화되면 더 이상 운전 행위가 차량 이용 경험의 중심이 아니게 되고, 이에 따라 기존의 운전석 중심 공간 구조 또한 근본적으로 재편될 가능성이 높다. 특히 운전석의 개념이 약화되거나 사라지고, 차량 실내가 이동을 위한 조종 공간이 아니라 탑승자 중심의 생활·휴식·업무 공간으로 전환될수록, 실내에 배치된 각종 편의장치에 대한 접근성과 제어 방식은 더욱 중요한 과제가 된다. 이러한 미래 환경에서는 탑승자가 어느 좌석에 앉아 있든, 특정 위치에 종속되지 않고 차량 내부 기능을 직관적으로 제어할 수 있어야 한다.

그러나 현재 차량에 적용된 주요 제어 방식은 이러한 미래 시나리오에 충분히 부합하지 못한다. 디스플레이 기반 인터페이스는 대체로 전방 또는 센터페시아 중심으로 배치되어 있어 앞좌석 탑승자에게 유리하며, 뒷좌석 사용자는 물리적 거리와 시야의 제약으로 인해 접근성이 크게 떨어진다. 물리 버튼은 조작의 확실성이라는 장점이 있으나 장치 주변으로 직접 손을 뻗어야 한다는 공간적 한계가 있고, 음성 인터페이스는 직관적인 측면이 있지만 소음 환경, 발화의 사회적 부담, 인식 오류, 사적 공간 침해 등의 문제를 안고 있다. 이에 본 연구는 이러한 한계를 보완할 수 있는 대안으로서, 모든 탑승자에게 동등한 제어 기회를 제공하면서도 학습 부담이 낮고 직관적인 조작이 가능한 손 제스처 기반 NUI(Natural User Interface) 시스템을 제안하였다.

연구를 진행하면서 가장 깊이 고민한 핵심 질문은 “사용자가 별도의 학습 없이도, 물리적으로 떨어져 있는 차량 내 장치를 자연스럽게 제어하게 하려면 무엇이 필요한가”였다. 단순히 손동작을 인식하는 기능을 구현하는 것만으로는 충분하지 않았다. 사용자가 어떤 동작을 했을 때 어떤 결과가 나타날지를 즉각적으로 예측할 수 있어야 하며, 그 관계가 신체 경험과 어긋나지 않아야 비로소 ‘자연스럽다’고 느낄 수 있기 때문이다. 이러한 문제를 해결하기 위해 본 연구에서는 두 가지 제스처 디자인 전략을 중심으로 인터랙션 체계를 설계하였다.

첫 번째는 Natural Mapping이다. 이는 사용자가 현실 세계에서 물체를 직접 조작할 때의 신체 경험을 디지털 제어에 그대로 연결하려는 접근이다. 예를 들어 주먹을 쥐고 가상의 손잡이를 잡아 끌어당기는 동작, 혹은 핀치(Pinch)로 특정 지점을 집어 움직이는 동작은 실제 생활 속에서 손잡이나 슬라이더, 레버를 조작하는 감각과 유사하다. 이러한 동작은 사용자가 별도의 설명을 듣지 않아도 기능을 어느 정도 추론할 수 있게 해주며, 원격 제어 상황에서도 물리적 조작의 감각을 연상시키는 역할을 한다. 즉, 단순한 제스처 명령이 아니라 몸의 경험을 기반으로 한 조작 메타포를 제공한다는 점에서 의미가 있다.

두 번째는 Index Mapping이다. 이는 시스템 전반의 상호작용 규칙을 보다 명료하고 일관되게 만들기 위한 전략으로, 주로 검지손가락을 이용해 방향을 가리키는 방식에 기반한다. 사용자는 특정 장치를 향해 손가락으로 방향을 지시하거나, 원하는 이동 방향을 직관적으로 표현함으로써 조작 의도를 전달할 수 있다. Natural Mapping이 물리 조작의 감각적 유사성에 초점을 맞춘다면, Index Mapping은 시스템 차원의 인지적 일관성과 명료한 조작 규칙 형성에 기여한다. 본 연구는 이 두 가지 전략을 상호 배타적으로 보지 않고, 장치 특성과 사용 맥락에 따라 복합적으로 설계함으로써 보다 자연스럽고 직관적인 제스처 인터랙션 체계를 구성하였다.

기술 구현 측면에서는 MediaPipe 기반의 3D 손 랜드마크 추적 기술을 활용하여 손의 위치와 자세를 실시간으로 인식하였다. 하지만 손 제스처 인터페이스의 사용 경험은 단순히 인식 정확도만으로 결정되지 않는다. 실제 사용 과정에서는 인식된 제스처가 차량 장치의 움직임으로 변환될 때, 반응이 지나치게 딱딱하거나 지연되면 사용자에게 이질감과 피로감을 줄 수 있다. 이에 본 연구는 원격 제어 과정에서 보다 자연스럽고 부드러운 움직임을 구현하기 위해 심리물리학적 원리인 Weber–Fechner 법칙을 적용하였다. 인간은 물리적 변화량을 절대값이 아니라 상대적인 차이로 지각하는 경향이 있기 때문에, 장치의 반응 역시 기계적으로 선형 제어하는 것보다 지각 특성을 반영해 설계할 필요가 있다.

이를 바탕으로 본 연구에서는 지수 평활(exponential smoothing) 알고리즘을 적용하여 시스템의 움직임 응답을 조정하였고, 총 5단계의 부드러움 레벨을 구현하였다. 이를 통해 손동작에 대한 시스템의 추종성이 지나치게 민감하거나 반대로 둔하지 않도록 조정하면서, 응답 지연을 최소화하는 동시에 시각적·물리적으로 한층 자연스러운 구동을 구현하고자 하였다. 다시 말해, 본 연구는 손 제스처를 단순히 “인식하는 시스템”에 머무르지 않고, 사용자가 결과 움직임까지 포함하여 자연스럽다고 느낄 수 있는 전체 상호작용 경험을 설계하는 데 중점을 두었다.

학회 전시에서는 이러한 연구 결과를 관람객이 직접 체험할 수 있도록, 차량 내부를 모사한 프로토타입 데모 환경을 구축하였다. 데모에서는 콘솔의 전·후 이동, 디스플레이의 각도 조절, 시트의 전·후 이동 등 총 3가지 편의장치를 손 제스처를 통해 제어할 수 있도록 설계하였다. 관람객들은 특정 좌석에 제한되지 않은 상태에서 손을 뻗거나 주먹을 쥐고, 손가락을 튕기거나 방향을 지시하는 등의 직관적 손동작을 통해 장치를 제어해볼 수 있었다. 이 과정에서 다수의 관람객은 복잡한 조작 학습 없이도 장치가 자신의 손동작에 맞추어 비교적 부드럽게 반응하는 경험에 흥미를 보였으며, 특히 어느 위치에서든 차량 내 기능에 접근할 수 있다는 점에서 높은 공감과 관심을 나타냈다.

전시 현장에서 얻은 반응은 본 연구가 단순한 기술 시연을 넘어, 미래 자율주행 차량의 실내 UX를 위한 실질적인 가능성을 제시하고 있음을 보여주었다. 기존의 터치 기반 인터페이스는 위치 중심적이며, 음성 기반 인터페이스는 상황 의존적이라는 한계가 있는 반면, 본 연구가 제안하는 손 제스처 기반 NUI는 공간적 유연성, 직관적 조작성, 물리 조작의 은유를 통한 높은 이해 가능성이라는 장점을 가진다. 특히 다가올 완전 자율주행 환경에서 탑승자의 자세와 좌석 배치, 활동 맥락이 지금보다 훨씬 다양해질 것이라는 점을 고려하면, 특정 디바이스나 위치에 종속되지 않는 상호작용 방식은 더욱 중요한 의미를 갖는다.

이번 학회는 우리가 제안한 시스템이 기존 차량 인터페이스의 한계를 보완하고, 자율주행 시대의 새로운 상호작용 패러다임으로 발전할 수 있음을 확인한 뜻깊은 자리였다. 동시에 실제 관람객의 체험과 피드백을 통해, 제스처의 명확성, 피로도, 장시간 사용성, 오인식 방지, 사용자별 선호 차이 등 향후 더 정교하게 다루어야 할 연구 과제도 확인할 수 있었다. 앞으로는 실제 차량 환경에서의 적용 가능성을 보다 엄밀하게 검증하는 한편, 손 제스처 단일 모달리티를 넘어 음성, 시선 추적, 공간 인지 정보 등과 결합한 멀티모달 인터페이스로 확장함으로써, 보다 풍부하고 적응적인 차량 내 사용자 경험을 설계하고자 한다. 궁극적으로 본 연구는 완전 자율주행 시대의 차량 실내가 단순한 이동 수단이 아니라, 사용자 중심의 유연한 생활 공간으로 전환되는 과정에서 요구되는 새로운 인터페이스 방향을 제시하는 데 의의가 있다.

[학회 후기]

지난 HCI Korea 2026 학회에서는「자율주행차 가변형 편의장치를 위한 NUI 제스처 매핑 연구」를 주제로 Creative Award 부문에 출품하였습니다. 비록 이번에는 수상의 영예까지 이어지지는 못했지만, 전시 기간 동안 많은 관람객들과 직접 소통하며 연구가 지닌 가능성과 가치를 현장에서 확인할 수 있었다는 점에서 매우 뜻깊은 경험이었습니다. 단순히 결과물을 선보이는 데 그치지 않고, 실제 사용자의 반응을 가까이에서 관찰하고 다양한 의견을 들을 수 있었던 시간이었다는 점에서, 이번 학회는 저희 연구를 한 단계 더 발전시키는 소중한 계기가 되었습니다.

무엇보다 이번 전시는 하나의 결과물이 완성되기까지 얼마나 많은 고민과 협업이 필요한지를 다시금 실감하게 해주었습니다. 연구 기획 단계에서부터 인터랙션 구상, 하드웨어 설계, 소프트웨어 구현, 그리고 최종 전시 준비에 이르기까지 긴 시간 동안 함께 노력해 준 팀원들 신승혁, 이동운, 최성수, 황석영, 차재훈, 노우석, 김주성에게 진심으로 감사의 마음을 전하고 싶습니다. 각자의 역할에서 최선을 다해 준 덕분에 아이디어 차원에 머물 수 있었던 연구가 실제로 작동하는 형태의 프로토타입으로 구현될 수 있었습니다. 또한 연구의 방향성과 완성도를 높일 수 있도록 세심하게 지도해 주신 박기철 교수님께도 깊이 감사드립니다. 교수님의 조언과 격려는 연구를 보다 구체화하고, 전시 현장에서 자신 있게 선보일 수 있도록 하는 데 큰 힘이 되었습니다.

학회 전시 부스에서는 자율주행차의 미래 실내 환경을 보다 직관적으로 전달하기 위해, 차량 내부를 축소한 스케일 목업(scale mock-up) 형태의 프로토타입을 구성하여 데모를 진행하였습니다. 실제 차량 전체를 구현한 것은 아니었지만, 관람객들이 핵심 인터랙션 개념을 충분히 이해하고 체험할 수 있도록 구성하는 데 중점을 두었습니다. 특히 카메라를 통해 탑승자의 손 제스처를 실시간으로 인식하고, 그 입력에 따라 차량 내 편의장치가 반응하는 과정을 직접 눈앞에서 확인할 수 있도록 하여, 연구가 지향하는 사용자 경험을 보다 생생하게 전달하고자 했습니다.

전시 현장에서 가장 인상적이었던 부분은, 많은 관람객들이 별도의 설명을 길게 듣지 않아도 손을 뻗거나 주먹을 쥐고, 방향을 가리키는 등의 직관적인 동작만으로 시스템의 작동 원리를 빠르게 이해했다는 점이었습니다. 허공에서 취한 자연스러운 손동작에 맞추어 물리적인 장치들이 부드럽게 반응하는 모습을 보며 흥미로워하고, 예상보다 높은 직관성에 놀라는 반응이 이어졌습니다. 특히 “미래 자율주행차에서는 이런 방식이 정말 유용할 것 같다”, “좌석 위치와 상관없이 제어할 수 있다는 점이 인상적이다”와 같은 의견들은, 저희가 고민해 온 문제의식이 실제 사용자에게도 설득력 있게 전달될 수 있음을 보여주었습니다.

이번 학회를 통해 저희는 연구의 완성도뿐 아니라, 연구를 어떻게 전달하고 경험하게 할 것인가 역시 매우 중요하다는 점을 다시 확인할 수 있었습니다. 논문이나 발표 자료만으로는 충분히 전달되기 어려운 인터랙션의 맥락과 사용 경험이, 전시와 데모를 통해 훨씬 직접적이고 설득력 있게 전달된다는 사실을 체감할 수 있었습니다. 동시에 관람객들의 질문과 피드백을 통해, 향후 시스템을 더욱 정교하게 발전시키기 위해 고려해야 할 요소들도 구체적으로 발견할 수 있었습니다. 이는 단순한 전시 경험을 넘어, 후속 연구의 방향을 구상하는 데에도 큰 도움이 되었습니다.

비록 수상이라는 결과로 이어지지는 않았지만, 이번 HCI Korea 2026 참여는 저희 팀에게 매우 값진 시간으로 남았습니다. 함께 고민하고 만들고 수정해 가는 과정 속에서 팀으로서의 협업의 의미를 다시 느낄 수 있었고, 현장에서 연구의 가능성을 확인하며 더 큰 동기를 얻을 수 있었습니다. 앞으로도 이번 전시에서 얻은 경험과 피드백을 바탕으로, 자율주행 환경에 적합한 새로운 인터랙션 방식과 사용자 경험을 지속적으로 탐구해 나가고자 합니다.

[전시 후기]

현장에서 관람객 및 전문가들과 다양한 의견을 나누는 과정은 이번 전시의 중요한 의미 중 하나였습니다. 단순히 작품을 시연하는 데 그치지 않고, 실제 사용 가능성과 향후 확장 방향에 대해 여러 시각에서 질문과 피드백을 받을 수 있었기 때문입니다. 그중에서도 아래 두 가지 질의응답은 본 연구가 앞으로 보완하고 발전시켜야 할 핵심 쟁점을 잘 보여준다는 점에서 특히 기억에 남습니다.

질문 1. 만약 탑승자의 일상적인 손 움직임이 계속 제스처로 인식되어 장치가 오작동을 일으키면 어떻게 해결할 계획인가요?

답변 1. 이 질문에 대해서는 멀티모달(Multimodal) 인터페이스 방식을 적용하는 것이 효과적인 해결책이 될 수 있다고 설명드렸습니다. 손 제스처 기반 인터페이스는 직관성이 높다는 장점이 있지만, 반대로 사용자의 자연스러운 일상 동작과 시스템 제어 동작이 혼동될 가능성도 존재합니다. 따라서 제스처 제어를 항상 활성화된 상태로 두기보다, 본격적인 제어를 시작하기 전에 음성 명령이나 특정 트리거 동작을 통해 “이제부터 손 제스처로 제어하겠다”는 의도를 먼저 시스템에 전달하도록 설계할 수 있다고 답변드렸습니다. 예를 들어, 특정 호출어를 말하거나 사전에 정의된 시작 제스처를 수행했을 때만 제스처 인식 모드가 활성화되도록 하면, 탑승자의 일반적인 손짓이나 대화 중 움직임이 제어 명령으로 오인되는 상황을 효과적으로 줄일 수 있습니다. 결국 이는 제스처 단일 모달리티의 한계를 보완하고, 보다 안정적이고 신뢰성 있는 사용자 경험을 제공하기 위한 방향이라고 말씀드렸습니다.

질문 2. 전시된 모델은 스케일 목업인데, 실제 1:1 스케일로도 구현 및 테스트를 진행해 보셨나요?

답변 2. 이 질문에는 전시용 프로토타입은 관람객이 핵심 개념을 직관적으로 이해할 수 있도록 축소된 스케일 목업 형태로 제작하였지만, 실제 차량 환경에서의 적용 가능성을 검토하기 위한 1:1 스케일 테스트도 별도로 진행했다고 설명드렸습니다. 구체적으로는 연구실에서 목재를 활용하여 실제 차량 내부 공간을 가정한 1:1 크기의 벅(Buck)을 직접 제작하였고, 이를 기반으로 편의장치의 실제 배치, 제스처 인식 거리, 탑승 위치에 따른 조작 가능 범위, 그리고 장치 구동 시 필요한 물리적 부하 등을 검토하였습니다. 또한 이 1:1 환경에서 실제 메커니즘이 의도한 대로 구동되는지, 손 제스처 인식과 장치 제어가 공간 스케일 변화 속에서도 안정적으로 작동하는지를 테스트해 보았으며, 전반적으로 성공적인 결과를 얻었다고 말씀드렸습니다. 이를 통해 본 연구가 단순한 전시용 개념 제안에 머무는 것이 아니라, 실제 차량 적용 가능성을 염두에 두고 구체적인 검증 과정을 수행해 왔음을 전달할 수 있었습니다.

이번 학회 출품은 창의적이고 완성도 높은 다양한 작품들 사이에서 저희 연구를 보다 객관적으로 돌아보고, 강점과 보완점을 함께 확인할 수 있었던 매우 소중한 경험이었습니다. 특히 전시 현장에서 받은 질문들은 단순한 호기심 차원의 반응을 넘어, 실제 적용성과 사용성, 시스템 안정성에 대한 중요한 관점을 제시해 주었다는 점에서 큰 의미가 있었습니다. 이러한 질의응답과 긍정적인 피드백을 통해 저희가 제안한 인터페이스의 가능성을 다시 확인할 수 있었으며, 동시에 향후 어떤 부분을 더욱 정교하게 발전시켜야 하는지도 분명히 알 수 있었습니다. 앞으로는 이번 전시에서 얻은 인사이트를 바탕으로 시스템의 신뢰성과 완성도를 더욱 높이고, 실제 자율주행 환경에 적합한 인터랙션으로 고도화해 나가고자 합니다.

NUI : 자율주행차 가변형 편의장치를 위한 NUI 제스처 매핑 연구 프로젝트 영상

https://youtu.be/H4J9u89nxAs