[후기] physical AI 세미나 (7/10)

Physical AI 세미나 후기: 현실 세계에서 학습하고 움직이는 AI

7월 10일, 교내 공학관에서 Dinesh Manocha 교수와 Ming C. Lin 교수의 Physical AI 세미나를 들었다. 이번 세미나는 AI가 텍스트나 이미지와 같은 디지털 환경을 넘어, 실제 물리적 환경을 인식하고 움직이며 인간과 상호작용하기 위해 어떤 기술이 필요한지를 다루었다.

 

첫 번째 강연인 Robot Navigation in the Wild에서는 가정, 야외 지형, 혼잡한 공공장소와 같이 예측하기 어려운 환경에서 로봇이 안전하게 이동하는 방법을 소개하였다. 로봇은 RGB 카메라, 3D LiDAR, 오도메트리 등 여러 센서로 주변 환경을 인식하고, 심층 강화학습과 경로 계획 알고리즘을 활용하여 장애물을 피하거나 적절한 이동 속도를 결정한다.

특히 인상 깊었던 개념은 소셜 내비게이션(Social Navigation)이었다. 소셜 내비게이션은 로봇이 단순히 사람과 충돌하지 않는 것을 넘어, 사람의 이동 방향, 거리, 사회적 규범을 고려하여 자연스럽게 이동하는 기술이다. Amazon Astro와 같은 가정용 로봇이 실제 생활 공간에서 사용되기 위해서는 자율주행 성능뿐만 아니라 인간에게 불편함이나 위협을 주지 않는 이동 방식이 중요하다는 생각이 들었다.

 

두 번째 강연인 Dynamics-Informed Learning in the Physical World에서는 현실 세계의 물리 법칙과 시뮬레이션을 AI 학습에 활용하는 방법을 소개하였다. Time-Aware World Model은 여러 시간 단위의 변화를 효율적으로 학습하여 계산 비용을 줄이는 접근이다. 또한 사고, 악천후, 돌발 행동처럼 현실에서 자주 수집하기 어려운 상황을 가상 시뮬레이션으로 생성하여 학습 데이터로 활용하는 연구도 소개되었다.

여기서 월드 모델(World Model)은 AI가 환경의 상태와 변화 과정을 내부적으로 예측하는 모델을 의미한다. 합성 데이터(Synthetic Data)는 실제로 수집한 데이터가 아니라 시뮬레이션이나 생성 기술을 통해 만들어진 데이터이다. 현실에서는 위험하거나 드물어 수집하기 어려운 상황을 가상 환경에서 생성할 수 있다는 장점이 있다. 이러한 가상 데이터와 전이학습을 활용하면 현실 세계 데이터의 부족을 어느 정도 보완할 수 있을 것 같다.

 

이번 세미나를 통해 Physical AI는 단순히 로봇에 AI 모델을 탑재하는 개념이 아니라, 인식, 학습, 물리 법칙, 안전성, 인간과의 상호작용을 함께 고려하는 연구 분야라는 것을 알게 되었다. 특히 로봇이 인간의 생활 공간으로 들어올수록 기술적 정확성뿐만 아니라 사회적 맥락과 사용자 경험이 중요해질 것이라는 생각을 하게 되었다.

나는 Human-AI Interaction을 연구하고 있기 때문에, 앞으로 Physical AI가 사람의 행동과 의도를 어떻게 이해하고, 인간이 신뢰할 수 있는 방식으로 상호작용할 수 있을지에 관심이 생겼다. 로봇의 자율성과 인간 중심 상호작용이 결합되는 지점은 HCI 관점에서도 흥미로운 연구 주제가 될 것 같다.