실제 현실과 가상 공간의 만남,
AR/MR관련 국제 표준화1)

Writer. 김정현(고려대학교 소프트웨어공학과 교수)

혼합현실은(Mixed and Augmented Reality, MAR) 실세계를 표현하는 미디어와 가상객체의 그것과의 “혼합” 혹은 합성을 통해 이루어지는 미디어의 총칭이다. 혼합의 비율에 따라 스펙트럼을 형성한다(혹은 RealityVirtuality Continuum1)). 기준모델이라 함은 주어진 영역에 대한, 즉 혼 합현실에 대한 정의, 분류체계 및 영역 용어 설명, 주요 기능적 요소 및 그들의 연결 관계, 최소한의 입출력/기타 정보 모델을 정립하여 해당 분야에 대한 표준 개념 및 설계도를 제시하는 모델 및 문서 이다. 기준 모델에는 기존의 대표적 혼합 현실 시스템, 모듈, 콘텐츠들을 예시로 들고 이들이 어떻게 기준 모델에 매핑 되는지도 자체 부분 검증을 하며, 관련 표준 및 다양한 기타 고려 사항을 나열하기 도 한다. 또한 기준모델은 어느 정도 추상적인 단계에서 모델이 형성되기 때문에 특정 하드웨어나 알고리즘과 무관하게 명세가 되며, 따라서 응용표준은 아닐지라도 해당 영역에서의 많은 시스템이 나 콘텐츠 유형에 접목될 수 있다.
혼합현실2) 기준모델은 ISOIEC JTC 1 SC 24(컴퓨터그래픽스 및 가상현실 관련 ISO 소위원회) 에서 그 표준작업이 진행되어 왔는데, 주요한 이유는 구현 혼합현실이 기술적으로 가상현실 시스템 으로서 구현되기 때문이다. 이러한 배경에서 SC 24에서는 2012년 혼합현실 분야의 중요성을 인 식하고 이에 대한 표준화를 진행하기 위한 전담 소그룹인 WG 9을 시작했다. 이와 더불어 비디오 압축에 대한 표준을 주로 담당하고 있던 SC 29 WG 11에서도 특히 비디오 기반 증강현실 시스템 에 대한 표준화를 꾀하게 되어, 결국 두 소그룹이 공동으로 참여하는 Joint Ad Hoc Group을 통 하여 혼합현실 영역의 기반을 조성하고 이 분야 표준화에 대한 전략적 계획을 세우기 위해 그 첫 노 력의 일환으로 기준모델 표준화를 진행하고 있으며 현재 IS(International Standard) 인준을 앞 두고 있다.
앞서 혼합현실 기준모델을 설명하면서, 종전과 달리 콘텐츠가 하나의 응용 시스템으로 구현되지 않 고 표준적 콘텐츠와 이를 실행하는 호환적 브라우저로 이원화된 플랫폼을 지향한다고 하였다. 또 한 혼합현실이 기술적으로 가상현실 시스템으로서 구현됨을 언급한 바 있다. 가상현실 분야에서는 X3D와 같은 콘텐츠 표현 표준 및 이를 지원하는 브라우저가 이미 많이 개발되어 있다. 이를 혼합현 실에 적용하기 위해서는 가상현실과의 기술적 관계를 생각했을 때 기존의 가상현실 콘텐츠 표현 표 준을 확장하는 방법을 자연스럽게 생각할 수 있다.

1) 본 글은 2018년 정보과학회에 저자가 제출한 AR/MR 세계 기술 동향 및 기술 분석 과제 보고서 8장을, 해당 저작권 소유 기관의 허가를 받고, 발췌하여 씌어졌다.
2) 이후, 혼합현실이란 용어를 증강현실, 공존현실, 증강·가상현실의 개념들을 모두 포괄 하는 것으로 사용하도록 한다.

예를 들어, 가상환경을 위한 X3D 표준은 특정한 기능을 가지는 ‘컴포넌트’가 연결되어 이루어지는 합체 아키텍처로 이루어지므로, 마찬가지로 혼합현실 구현을 위해서 추가로 필요한 새로운 컴포넌트를 제정하면 비교적 빠르게 유연한 혼합현실 콘텐츠 표현 표준을 제정할 수 있을 것이다. 따라서 혼합현실을 위해 어떠한 추가 컴포넌트 요소들이 필요할지에 대해서 생각할 필요가 있고, 이들의 정보 모델을 수립하여 X3D 혹은 기타 포맷으로 표준화할 필요가 있다고 하겠다. SC 24 JTC 1 WG 9에서는 이러한 일환으로 2016년에 “Information Model for Mixed and Augmented Reality (MAR) Contents” 라는 공식 표준 아이템(ISO 21858)을 인준하고 표준화를 진행하고 있다(현재 CD 문서 작업 진행 중). 아직 콘텐츠 정보 모델의 확정안이 나오지 않았지만, 상기한대로 혼합현실을 위한 특화 컴포턴트 및 이들 간의 관계를 중심으로 정보 모델이 구성 되고 있다.
특히 제안되고 있는 콘텐츠 모델은 공존현실 콘텐츠의 요구 사항을 특별히 더 고려하고 있기도 하다. 예를 들면, 2개 이상의 상이한 가상환경/객체, 혹은 실제 환경/객체들을 정합하는 문제, 시각 이외의 멀티모달 및 실감 피드백에 대한 고려, 다수의 사용자 및 시점 지원, 분산 처리나 네트워크 관련 이슈들 등을 들 수 있다. 더 나아가, 특정 공존현실 애플리케이션 영역(예: 소셜 미디어)에서의 정형적인 콘텐츠 유형에 대해서는 제안되는 모델 및 컴포넌트들을 기반으로 특정 표준 파일 포맷을 제정한다면, 이를 통하여 신속하게 산업계에서의 요구 사항들을 수용할 뿐만 아니라, 거꾸로 큰 파급효과를 생성할 수 있을 것이다.
MAR reference model (ISO 18039), Information model for MAR contents(ISO 21858) 이외에도 Live actor/entity for MAR (ISO18040), Sensor Representation MAR (ISO 18038), Benchmarking of visonbased geometric registration and tracking methods for MAR (ISO 18520), Image based model and rendering for MAR (NWIP ballot 중) 등이 진행 되고 있다. 아직 공식적인 ISO 표준화 아이템은 아니지만 IoT(Internet of Things) 기기를 위한 인터페이스로서의 혼합현실 관련 표준, 다자 참여 공존 현실 관련 표준, 혼합현실 시스템의 인간공학적 요구 조건이나 최소 사용성에 관련된 표준, 스마트 시티와 혼합현실의 융합에 관련된 표준, 혼합현실을 위한 실내 트래킹, 모바일 혼합현실에 대한 표준들에 대한 검토가 이루어지고 있다.

표준화 과정을 통해
다른 경쟁기술과
트렌드를 이해하고
어떤 기술에 집중해야
하는지에 대한
해답을 얻을 수 있다.

ISO JTC 1 SC 24 이외에 SC 29 WG 11(비디오 압축 코딩 표준인 MPEG를 제안한 소위원회)에서도 그동안 예를 들어 비디오를 증강하는 맥락에서 증강현실에 대한 표준화의 필요성을 제기하여 왔다. MPEG를(ISO/IEC 1449611, ISO/IEC 23005) 확장하는 차원에서의 ARAF(Augmented Reality Application Format)이라는 표준을 제안하고 현재 CD 수준으로 진행되어 왔다. 이는 일명 MPEGA 라고도 불린다. MPEGA에서는 우선 비디오/오디오 기반의 장면(Scene) 구성의 표현을 위한 각종 노드들을 제공하며, Scene 구성 및 가상객체(텍스트, 그래픽 객체, 가상 센서 등)에 대한 표현은 X3DScene 그래프를 많이 참조하였다. 또한 WG 9에서 추진하는 것과 비슷한 각종 물리적 센서 및 Actuator에 대한 명세와 전체 콘텐츠 혹은 사용되는 미디어 (비디오/오디오/그래픽 등)를 압축하는 부분에 대한 제안을 하고 있다. 이러한 기본 구조를 가지고 특정 AR 응용 시스템에 (주로 비디오 Overlay에 기반한) 필요한 표준 파일 포맷을 제정 할 수 있는 기반을 만들고 있다.
ISO 외에서도 많은 Private sector 단체들이나 기타 표준단체들에서 증강현실 혹은 혼합현실에 대한 표준 혹은 준표준을 제정하려는 노력을 하고 있다. 대표적으로 OGC(Open GeoSpatial Consortium)에서는 위치기반 증강현실 서비스 산업계에서 사용 하고 있던 ARML(Augmented Reality Markup Language)을 정식 표준으로 채택하여 보다 지능적이고 사용성이 높은 Interactive 지리/지도 시스템의 기준을 마련하고자 하고 있다. IEEE Consumer Electronics 그룹에서도 AR의 상용화라는 차원에서 AR 표준화 위원회를 최근 가동하여 AR 기기의 인간공학적인 측면에서의 표준을 제정하려는 노력을 기울이고 있다. Apple, Google, SK 등에서도 ARCore, ARKit, TAR등과 같은 AR 관련 API라던지, WebXR 따위의 HTML/Javascript 기반의 웹 기반 AR 플랫폼에 대한 표준도 제안되고 있다.
최근 혼합현실(증강현실, 가상현실, 증강가상현실, 공존현실 포함) 분야가 차세대 미디어 혹은 4차 산업 혁명의 중심에 있다고 해도 과언이 아닐 정도로 상업화와 관련 기술의 혁신이 속속 일어나고 있다. 미디어의 속성상 관련 표준이 해당 산업의 확산을 촉진하는 데 큰 역할을 할 수 밖에 없다. 예를 들어, 수년 전에는 위치 기반 증강현실 사업이 가장 주목을 받았으나, 서로 호환성이 없는 콘텐츠 혹은 시스템들은 이제 국제화된 상황에서 사용자들에게 큰 편의를 제공하지 못했고, 이는 해당 사업을 움츠리게 하였음을 잘 알고 있다. 따라서 기술개발의 상용화와 달리 표준화를 적극적으로 추진한다는 것은 그 자체로서 당장의 수익성을 기대할 수 없을지도 모른다. 그러나, 그 과정에서 다른 경쟁 기술 및 트렌드를 이해하고 해당 기술을 보다 보편화한다면, 결국 어떤 기술에 집중해서 그 경쟁력을 제고할 수 있을지에 대한 해답을 줄 수 있다는 점에서 큰 의미가 있을 수 있다. 이런 관점에서 로열티 표준을 꼭 추구해야 할지에 대한 깊은 생각이 필요하다고 할 수 있다. 로열티를 요구하는 순간, 각 기관이나 국가의 이해 관계로 해당 기술이 표준이 되기는 매우 어려울 수 있기 때문이다.

참고문헌

1. Milgram, P., Takemura, H., Utsumi, A., & Kishino, F. Augmented Reality:
1. A Class of Displays on the Reality-virtuality Continuum. In Photonics for Industrial Applications. pp. 282-292,.
1. International Society for Optics and Photonics, 1995.

2. ISO/IEC 18039:201x, Mixed and Augmented Reality (MAR) Reference model.
3. ISO/IEC 21858, Information Model for Mixed and Augmented Reality (MAR) Contents.
4. ISO/IEC 18040, Live Actor and Entity Representation for Mixed and Augmented Reality (MAR).
5. ISO/IEC 18038, Sensor representation for Mixed and Augmented Reality (MAR).
6. ISO/IEC 18520, enchmarking of vison-based geometric registration and
6. tracking methods for Mixed and Augmented Reality (MAR).

7. ISO/IEC 23000-13, Augmented Reality Application Format.
8. AR/MR 세계 기술 동향 및 기술 분석. 과제 보고서, 정보과학회, 2018

실제 현실과 가상 공간의 만남,
AR/MR관련 국제 표준화1)

Writer. 김정현(고려대학교 소프트웨어공학과 교수)

혼합현실은(Mixed and Augmented Reality, MAR) 실세계를 표현하는 미디어와 가상객체의 그것과의 “혼합” 혹은 합성을 통해 이루어지는 미디어의 총칭이다. 혼합의 비율에 따라 스펙트럼을 형성한다(혹은 RealityVirtuality Continuum1)). 기준모델이라 함은 주어진 영역에 대한, 즉 혼 합현실에 대한 정의, 분류체계 및 영역 용어 설명, 주요 기능적 요소 및 그들의 연결 관계, 최소한의 입출력/기타 정보 모델을 정립하여 해당 분야에 대한 표준 개념 및 설계도를 제시하는 모델 및 문서 이다. 기준 모델에는 기존의 대표적 혼합 현실 시스템, 모듈, 콘텐츠들을 예시로 들고 이들이 어떻게 기준 모델에 매핑 되는지도 자체 부분 검증을 하며, 관련 표준 및 다양한 기타 고려 사항을 나열하기 도 한다. 또한 기준모델은 어느 정도 추상적인 단계에서 모델이 형성되기 때문에 특정 하드웨어나 알고리즘과 무관하게 명세가 되며, 따라서 응용표준은 아닐지라도 해당 영역에서의 많은 시스템이 나 콘텐츠 유형에 접목될 수 있다.
혼합현실2) 기준모델은 ISOIEC JTC 1 SC 24(컴퓨터그래픽스 및 가상현실 관련 ISO 소위원회) 에서 그 표준작업이 진행되어 왔는데, 주요한 이유는 구현 혼합현실이 기술적으로 가상현실 시스템 으로서 구현되기 때문이다. 이러한 배경에서 SC 24에서는 2012년 혼합현실 분야의 중요성을 인 식하고 이에 대한 표준화를 진행하기 위한 전담 소그룹인 WG 9을 시작했다. 이와 더불어 비디오 압축에 대한 표준을 주로 담당하고 있던 SC 29 WG 11에서도 특히 비디오 기반 증강현실 시스템 에 대한 표준화를 꾀하게 되어, 결국 두 소그룹이 공동으로 참여하는 Joint Ad Hoc Group을 통 하여 혼합현실 영역의 기반을 조성하고 이 분야 표준화에 대한 전략적 계획을 세우기 위해 그 첫 노 력의 일환으로 기준모델 표준화를 진행하고 있으며 현재 IS(International Standard) 인준을 앞 두고 있다.
앞서 혼합현실 기준모델을 설명하면서, 종전과 달리 콘텐츠가 하나의 응용 시스템으로 구현되지 않 고 표준적 콘텐츠와 이를 실행하는 호환적 브라우저로 이원화된 플랫폼을 지향한다고 하였다. 또 한 혼합현실이 기술적으로 가상현실 시스템으로서 구현됨을 언급한 바 있다. 가상현실 분야에서는 X3D와 같은 콘텐츠 표현 표준 및 이를 지원하는 브라우저가 이미 많이 개발되어 있다. 이를 혼합현 실에 적용하기 위해서는 가상현실과의 기술적 관계를 생각했을 때 기존의 가상현실 콘텐츠 표현 표 준을 확장하는 방법을 자연스럽게 생각할 수 있다.

1) 본 글은 2018년 정보과학회에 저자가 제출한 AR/MR 세계 기술 동향 및 기술 분석 과제 보고서 8장을, 해당 저작권 소유 기관의 허가를 받고, 발췌하여 씌어졌다.
2) 이후, 혼합현실이란 용어를 증강현실, 공존현실, 증강·가상현실의 개념들을 모두 포괄 하는 것으로 사용하도록 한다.

예를 들어, 가상환경을 위한 X3D 표준은 특정한 기능을 가지는 ‘컴포넌트’가 연결되어 이루어지는 합체 아키텍처로 이루어지므로, 마찬가지로 혼합현실 구현을 위해서 추가로 필요한 새로운 컴포넌트를 제정하면 비교적 빠르게 유연한 혼합현실 콘텐츠 표현 표준을 제정할 수 있을 것이다. 따라서 혼합현실을 위해 어떠한 추가 컴포넌트 요소들이 필요할지에 대해서 생각할 필요가 있고, 이들의 정보 모델을 수립하여 X3D 혹은 기타 포맷으로 표준화할 필요가 있다고 하겠다. SC 24 JTC 1 WG 9에서는 이러한 일환으로 2016년에 “Information Model for Mixed and Augmented Reality (MAR) Contents” 라는 공식 표준 아이템(ISO 21858)을 인준하고 표준화를 진행하고 있다(현재 CD 문서 작업 진행 중). 아직 콘텐츠 정보 모델의 확정안이 나오지 않았지만, 상기한대로 혼합현실을 위한 특화 컴포턴트 및 이들 간의 관계를 중심으로 정보 모델이 구성 되고 있다.
특히 제안되고 있는 콘텐츠 모델은 공존현실 콘텐츠의 요구 사항을 특별히 더 고려하고 있기도 하다. 예를 들면, 2개 이상의 상이한 가상환경/객체, 혹은 실제 환경/객체들을 정합하는 문제, 시각 이외의 멀티모달 및 실감 피드백에 대한 고려, 다수의 사용자 및 시점 지원, 분산 처리나 네트워크 관련 이슈들 등을 들 수 있다. 더 나아가, 특정 공존현실 애플리케이션 영역(예: 소셜 미디어)에서의 정형적인 콘텐츠 유형에 대해서는 제안되는 모델 및 컴포넌트들을 기반으로 특정 표준 파일 포맷을 제정한다면, 이를 통하여 신속하게 산업계에서의 요구 사항들을 수용할 뿐만 아니라, 거꾸로 큰 파급효과를 생성할 수 있을 것이다.
MAR reference model (ISO 18039), Information model for MAR contents(ISO 21858) 이외에도 Live actor/entity for MAR (ISO18040), Sensor Representation MAR (ISO 18038), Benchmarking of visonbased geometric registration and tracking methods for MAR (ISO 18520), Image based model and rendering for MAR (NWIP ballot 중) 등이 진행 되고 있다. 아직 공식적인 ISO 표준화 아이템은 아니지만 IoT(Internet of Things) 기기를 위한 인터페이스로서의 혼합현실 관련 표준, 다자 참여 공존 현실 관련 표준, 혼합현실 시스템의 인간공학적 요구 조건이나 최소 사용성에 관련된 표준, 스마트 시티와 혼합현실의 융합에 관련된 표준, 혼합현실을 위한 실내 트래킹, 모바일 혼합현실에 대한 표준들에 대한 검토가 이루어지고 있다.

표준화 과정을 통해
다른 경쟁기술과
트렌드를 이해하고
어떤 기술에 집중해야
하는지에 대한
해답을 얻을 수 있다.

ISO JTC 1 SC 24 이외에 SC 29 WG 11(비디오 압축 코딩 표준인 MPEG를 제안한 소위원회)에서도 그동안 예를 들어 비디오를 증강하는 맥락에서 증강현실에 대한 표준화의 필요성을 제기하여 왔다. MPEG를(ISO/IEC 1449611, ISO/IEC 23005) 확장하는 차원에서의 ARAF(Augmented Reality Application Format)이라는 표준을 제안하고 현재 CD 수준으로 진행되어 왔다. 이는 일명 MPEGA 라고도 불린다. MPEGA에서는 우선 비디오/오디오 기반의 장면(Scene) 구성의 표현을 위한 각종 노드들을 제공하며, Scene 구성 및 가상객체(텍스트, 그래픽 객체, 가상 센서 등)에 대한 표현은 X3DScene 그래프를 많이 참조하였다. 또한 WG 9에서 추진하는 것과 비슷한 각종 물리적 센서 및 Actuator에 대한 명세와 전체 콘텐츠 혹은 사용되는 미디어 (비디오/오디오/그래픽 등)를 압축하는 부분에 대한 제안을 하고 있다. 이러한 기본 구조를 가지고 특정 AR 응용 시스템에 (주로 비디오 Overlay에 기반한) 필요한 표준 파일 포맷을 제정 할 수 있는 기반을 만들고 있다.
ISO 외에서도 많은 Private sector 단체들이나 기타 표준단체들에서 증강현실 혹은 혼합현실에 대한 표준 혹은 준표준을 제정하려는 노력을 하고 있다. 대표적으로 OGC(Open GeoSpatial Consortium)에서는 위치기반 증강현실 서비스 산업계에서 사용 하고 있던 ARML(Augmented Reality Markup Language)을 정식 표준으로 채택하여 보다 지능적이고 사용성이 높은 Interactive 지리/지도 시스템의 기준을 마련하고자 하고 있다. IEEE Consumer Electronics 그룹에서도 AR의 상용화라는 차원에서 AR 표준화 위원회를 최근 가동하여 AR 기기의 인간공학적인 측면에서의 표준을 제정하려는 노력을 기울이고 있다. Apple, Google, SK 등에서도 ARCore, ARKit, TAR등과 같은 AR 관련 API라던지, WebXR 따위의 HTML/Javascript 기반의 웹 기반 AR 플랫폼에 대한 표준도 제안되고 있다.
최근 혼합현실(증강현실, 가상현실, 증강가상현실, 공존현실 포함) 분야가 차세대 미디어 혹은 4차 산업 혁명의 중심에 있다고 해도 과언이 아닐 정도로 상업화와 관련 기술의 혁신이 속속 일어나고 있다. 미디어의 속성상 관련 표준이 해당 산업의 확산을 촉진하는 데 큰 역할을 할 수 밖에 없다. 예를 들어, 수년 전에는 위치 기반 증강현실 사업이 가장 주목을 받았으나, 서로 호환성이 없는 콘텐츠 혹은 시스템들은 이제 국제화된 상황에서 사용자들에게 큰 편의를 제공하지 못했고, 이는 해당 사업을 움츠리게 하였음을 잘 알고 있다. 따라서 기술개발의 상용화와 달리 표준화를 적극적으로 추진한다는 것은 그 자체로서 당장의 수익성을 기대할 수 없을지도 모른다. 그러나, 그 과정에서 다른 경쟁 기술 및 트렌드를 이해하고 해당 기술을 보다 보편화한다면, 결국 어떤 기술에 집중해서 그 경쟁력을 제고할 수 있을지에 대한 해답을 줄 수 있다는 점에서 큰 의미가 있을 수 있다. 이런 관점에서 로열티 표준을 꼭 추구해야 할지에 대한 깊은 생각이 필요하다고 할 수 있다. 로열티를 요구하는 순간, 각 기관이나 국가의 이해 관계로 해당 기술이 표준이 되기는 매우 어려울 수 있기 때문이다.

참고문헌

1. Milgram, P., Takemura, H., Utsumi, A., & Kishino, F. Augmented Reality:
1. A Class of Displays on the Reality-virtuality Continuum. In Photonics for Industrial Applications. pp. 282-292,.
1. International Society for Optics and Photonics, 1995.

2. ISO/IEC 18039:201x, Mixed and Augmented Reality (MAR) Reference model.
3. ISO/IEC 21858, Information Model for Mixed and Augmented Reality (MAR) Contents.
4. ISO/IEC 18040, Live Actor and Entity Representation for Mixed and Augmented Reality (MAR).
5. ISO/IEC 18038, Sensor representation for Mixed and Augmented Reality (MAR).
6. ISO/IEC 18520, enchmarking of vison-based geometric registration and
6. tracking methods for Mixed and Augmented Reality (MAR).

7. ISO/IEC 23000-13, Augmented Reality Application Format.
8. AR/MR 세계 기술 동향 및 기술 분석. 과제 보고서, 정보과학회, 2018