레저와 혼합현실

피트니스

글.정상권 메타버스 기술 표준 합동 교류회 조직위원장, (주)조이펀 대표

유튜브에는 홈트(홈 트레이닝)에 도움이 되는 영상이 넘쳐나고, 거리를 100m 남짓 걷다 보면 곳곳에서 ‘퍼스널 트레이닝’이라는 단어를 마주하게 된다. 말 그대로 피트니스 열풍이다. 그런데 정작 유튜브 영상을 보고 따라 하려니 부상이 걱정되고 퍼스널 트레이닝을 받으려니 가격이 부담된다. 메타버스와 혼합현실에 기반을 둔 피트니스 프로그램에 눈길이 가는 이유다.

정확한 자세를 파악하기 위해서는 사용자의 동작을 스마트폰이나 컴퓨터 등의 기계가 정확하게 인식하는 과정이 필요하다. 특히, 사람의 동작은 2차원 상태에서 골격(Skeleton, 이하 스켈레톤)을 추출할 수 있는 OpenPose, MS에서 개발한 Kinect SDK, 구글에서 개발한 부분 스켈레톤 추출이 가능한 MediaPipe, 텐서 플로우를 기반으로 웹브라우저에서 실행가능한 PoseNet 등을 활용해 인식할 수 있다.

정확한 자세가 필수인 피트니스

바쁜 시대를 살아가는 현대인들에게, 특히나 코로나와 같은 치명적인 질병을 경험한 세대들에게 건강은 매우 중요한 이슈다. 그러니 혼자서 간단하게 운동할 수 있는 방법이 있다면, 그야말로 최고의 해법이 아닐 수 없을 것이다. 본인의 건강을 위해서 꾸준히 운동을 한다는 것은 자기 몸에 대한 최소한의 예의라는 심정으로, 그 신뢰도나 효과 등은 관계없이 열심히 운동에 힘쓰는 이유일 것이다.
그러나 운동은 힘들게 하는 만큼 효과가 있어야 하고, 효과를 내기 위해서는 정확한 자세가 매우 중요하다. ‘정확한 자세’의 중요성에 대해서, 터미네이터로 잘 알려진 ‘아놀드 슈워제네거’는 “중요한 것은 어떤 운동, 반복 수, 세트 수가 아니라, ‘어떻게 동작했는지’ 여부다”라고 말했다.
운동을 할 때 자세가 그만큼 중요하다는 뜻이다. 하지만 많은 사람들은 어떠한 동작을 보고 따라 하는 것에 익숙하지 않다. 특히나 정확한 자세라고 일컬어지는 대부분의 자세들은 그대로 따라 하는 것이 쉽지 않은 동작들이 대부분이다. 만약 모든 사람들이 보는 대로 따라 할 수 있다면, 댄스 강사나 피트니스 코치, 골프 프로 등은 모두 일자리를 잃을 것이다.
유튜브 등과 같은 동영상을 보고 운동을 따라 한다는 것은 흉내를 낼 수 있을지는 몰라도, 그 운동의 효과를 제대로 낼 수는 없다고 보는 것이 맞을 것이다. 피트니스를 할 때 정확한 자세를 취해야 하고, 전문가 또는 그에 준하는 코칭 서비스의 도움을 받아야만 하는 이유다. 문제는 현실적으로 1:1 혹은 1:다수 코칭을 받기 힘들다는 것인데 이때 시도해볼 만한 것이 바로 혼합현실 피트니스다.

혼합현실 피트니스를 위한 동작인식 과정

‘혼합현실 피트니스’는 혼합현실(Mixed Reality, MR) 기술을 이용한 피트니스 콘텐츠를 의미한다. ‘혼합현실’은 ‘현실세계에 가상의 객체와 그의 정보를 다양한 방법으로 투영, 투사하는 방식으로 표현하는 기술’이다. 이러한 혼합현실 기술 중에는 많은 사람들이 익숙하게 사용하는 증강현실(Augmented Reality, AR)과 증강가상(Augmented Virtual, AV) 등이 있다. 증강현실에 대해서는 더 이상의 설명이 필요 없겠지만, 증강가상에 대해서는 생소한 사람들이 많을 것이다. 증강가상은 가상의 공간에 현실의 객체가 증강되는 기술인데, 기상캐스터들이 많이 사용하는 크로마키 기법이 대표적인 증강가상 기술이다. 그리고 프로젝터를 활용한 미디어 파사드와 같은 표현 기법도 대표적인 혼합현실 기술이라고 할 수 있다.
그런데 굳이 피트니스 콘텐츠에 이와 같이 어려운 혼합현실 기술을 이용하려는 이유는 무엇일까? 피트니스를 가르치거나 배우기 위해서 가장 중요한 것은 앞에서 이야기 한 바와 같이, ‘정확한 자세’이기 때문이다. 정확한 자세를 파악하기 위하여, 사용자의 동작을 스마트폰이나 컴퓨터 등의 기계가 정확하게 인식하는 과정이 필요하다. 그러나 하나의 카메라로 사람의 3차원 동작을 인식하는 것은 불가능하다. 사람이 한쪽 눈으로 초점 거리를 맞추지 못하는 것처럼 하나의 카메라로는 깊이 정보를 판단할 수 없기 때문이다. 그래서 두 개 이상의 카메라 또는 깊이(Depth)를 판단할 수 있는 별도의 센서[예를 들면, IrDA(Infrared Data Association, 적외선 무선 통신), 또는 LiDAR(Light Detection And Ranging) 등]를 이용하여 사용자의 동작 정보를 인식하도록 한다. 특히, 사람의 동작은 2차원 상태에서 스켈레톤을 추출할 수 있는 OpenPose, MS에서 개발한 Kinect SDK, 구글에서 개발한 부분 스켈레톤 추출이 가능한 MediaPipe, 텐서 플로우를 기반으로 웹브라우저에서 실행가능한 PoseNet 등을 활용해 인식할 수 있다.

그림1. (주)조이펀 ‘조이피트니스’ 캐릭터의 스켈레톤 추출 예시

높은 정확도와 빠른 반응 속도에 대응하는 기기 갖춰야

이러한 SDK들은 인공지능을 활용하여 그 정확도를 높일 수 있지만 매우 빠르게 실시간으로 동작을 인식해야 하는 피트니스에 활용하기에는 그 한계가 명확하게 존재한다. 2차원을 지원하는 SDK의 경우는 아주 저렴한 가격으로 사용할 수 있지만 그 정확도(Accuracy)와 반응속도(Response time)가 실제 서비스에 적용하기에는 부적절한 상태이다. 가장 높은 정확도와 빠른 반응 속도를 제공할 수 있는 MS의 Azure Kinect(애저 키넥트)의 경우도 최대 70%의 정확도와 30fps(frame per second, 초당 프레임 수)에 불과하다. 그럼에도 불구하고 Azure Kinect를 활용하기 위한 컴퓨터 환경은 RTX 3070의 GPU와 그를 지원하는 CPU, 메인보드, 그리고 최소 16GB의 RAM이 필요하다. 즉, 바꾸어 말하면, 『RTX 3070의 GPU와 그를 지원하는 최소 3.6 GHz 대역의 CPU, 메인보드, 그리고 최소 32GB의 RAM』을 사용하고도 최대 70%의 정확도와 30fps밖에 지원하지 못한다는 것이다.
실제 최신 최고 사양의 스마트폰 CPU 연산 처리 능력은 퀄컴 스냅드래곤 8 시리즈 조차도 600MHz에 불과하고, RAM도 16GB 정도이다. 단순한 수치 비교 자체가 말이 안된다. 이와 같이, 일반 컴퓨터 성능에 비교조차 할 수 없는 스마트폰에서 제대로 된 피트니스 앱의 서비스를 원활하게 이용할 수 있다고 기대하는 것은, 기술을 이해하는 엔지니어들 관점에서 볼 때 너무나도 꿈같은 이야기일 수밖에 없다. 그래서 실질적인 무인 피트니스 코칭 서비스를 받기 위해서는 반드시 좋은 기기를 선택하는 것이 필요하다.

그림2. 조이메타버스 메인 화면

가장 높은 정확도와 빠른 반응 속도를 제공할 수 있는 MS의 Azure Kinect(애저 키넥트)의 경우도 최대 70%의 정확도와 30fps(frame per second, 초당 프레임 수)에 불과하다. 그럼에도 불구하고 Azure Kinect를 활용하기 위한 컴퓨터 환경은 RTX 3070의 GPU와 그를 지원하는 CPU, 메인보드, 그리고 최소 16GB의 RAM이 필요하다.

각자의 목적에 따라 서비스 선택할 것

최근 일방적으로 운동을 하는 것을 벗어나 힘든 운동을 누군가와 함께함으로써 지속적인 동기 부여와 더불어 보다 승부욕을 자극하는 형태 또는 코칭을 받을 수 있는 플랫폼 서비스가 나타나기 시작했다. 이러한 서비스는 당연히도 혼합현실과 같이 사용자의 동작을 정확하게 인식하고, 이러한 동작 정보를 디지털 신호로 바꾸어 전송할 수 있기 때문에 가능한 일이다. 이와 같은 서비스가 하나둘 소개되고 있다. 그 중에 대표적인 것이, (주)조이펀에서 개발한 ‘조이메타버스’이다.
‘조이메타버스’는 피트니스 센터에서 운동하는 사람과 집에서 운동하는 사람이 운동을 가상 공간에서 함께 하면서 서로의 상태를 모니터링하고, 경쟁도 할 수 있는 형태의 새로운 서비스이다. 또한, 운동하면서 채팅을 할 수 없기 때문에, STT(Speak to Text) 기술을 이용하여 서로 대화도 할 수 있는 모드도 제공한다. 또한, 설정한 목표를 달성하였을 때, 성과를 거둔 것에 기반하여 배지를 주는 것과같이 적절한 보상을 주기 때문에 이에 따른 성취욕도 적절히 자극하고 있다.
우리가 살고 있는 세상은 하루가 다르게 발전하고 있다. 따라서, 다양한 형태의 혼합현실 피트니스 서비스가 출시되고 있으며, 다양한 광고들과 마케팅 기법들이 많은 사람들을 현혹하고 있다. 하지만, 내가 원하는 서비스가 얼마나 나의 목적에 부합하고, 효과적인 서비스인지에 대해서는 명확하게 판단해야만 한다.
최근 다시 코로나 변종 바이러스가 나타나면서 많은 사람들이 우려를 하고 있다. 피트니스 역시 그 부분에 있어서 예외는 아니다. 이와 같은 때에 우리는 보다 현명하게 우리의 건강을 지키기 위한 선택을 하는 것이 필요하다.