1. 서 론
1.1 연구의 배경 및 목적
2. 증강현실기반 실감형 내부 점검 시스템
2.1 시스템 개요
2.2 증강현실 기반 점검자 및 관리자용 애플리케이션 개발
2.3 BIM을 활용한 인간-빌딩 상호작용
3. 시스템 검증 시험
3.1 시험 개요
3.2 사용자 위치 추정 시험결과
3.3 증강현실 매칭 시험결과
4. 결 론
1. 서 론
1.1 연구의 배경 및 목적
1.1.1 연구의 배경
국토교통부 보고서에 따르면 준공 후 30년 이상된 노후건축물 및 SOC 시설물 수는 2015년 이후 꾸준히 증가하여 2021년 총 281만 9858동으로 38.7%에 달하는 것으로 보고되었다. 이에 반해 시설물 유지관리 인력은 꾸준히 감소하여 인당 유지관리 시설물의 개수는 2000년 평균 인당 58개소에서 2020년 인당 578개소로 급속도로 증가하게 되었다(국토교통부, 2022). 따라서 건축물 및 시설물의 노후화에 대응하고 감소하는 유지관리 인력을 보완하기 위해 보다 효율적이고 자동화된 유지관리 및 보수 시스템에 대한 요구가 증가하고 있다(박근식, 2022).
이에 최근, Kim et al.(2020)은 4차산업혁명기반의 건설자동화를 통한 초고층 건축물 유지관리 로봇시스템을 개발하였고, Park et al.(2021)은 스마트 디바이스 기반의 유지보수 관리자용 자동화 모델을 구축하였다. 또, 조준영(2022)는 드론을 활용하여 BIM 역설계(Scan-to-BIM) 기반의 노후 건축물 관리 및 리모델링에 대한 연구도 진행하였다.
코로나-19 이후 사람들의 일상 생활 방식이 팬더믹 이전과 매우 달라지면서, 많은 사람들이 다른 사람들과의 신체적 접촉을 최소화하기를 원하고 있으며, 이러한 추세는 코로나가 마무리되는 현 시점에도 지속되고 있다(정대운, 2021). 이러한 이유로 특히 의료분야에서는 사이버 물리 시스템(Cyber Physics System, CPS)을 활용한 비접촉 의료 시스템 및 원격 감지 네트워크 등을 개발해왔다(Shah et al., 2016). 건축에서는 BIM과 AR기반의 CPS 환경을 구축한 건축물 유지를 위한 정보의 교환 및 시각화 연구가 발표되기도 하였다 (Park et al., 2022). 그러나, 노후화 건축물 유지관리 및 보수는 아직까지도 정보공유 및 작업내용 공유 과정에서 이해 당사자간의 대면이 요구되는 전통적인 정보공유 방식을 사용하고 있고, 이는 여전히 데이터 기반의 객관적 방식이 아닌 점거자의 주관적 판단에 의존하고 있다 (Kwon et al., 2021).
이러한 문제들을 해결하기 위해 보다 효율적이고 전문적인 노후건축물 유지관리를 가능하게 하고 이해당사자간의 물리적 접촉을 피할 수 있게 하는 비대면 건축물 유지보수 시스템에 대한 필요성이 대두되고 있다.
1.1.2 연구의 목적
본 연구에서는 소규모 건축물을 보다 효율적으로 점검하고, 점검 이력을 시각화 하여 누구나 쉽게 비대면으로 유지보수가 가능하게 하기 위해, 증강현실(Augmented Reality, AR) 및 빌딩정보모델(BIM)을 활용한 비대면 건축물 유지보수 시스템을 개발하였다. 개발된 증강현실 기반 비대면 유지보수 시스템은 검측 업무를 위한 점검자용 증강현실 앱과 유지보수 업무를 위한 관리자용 증강현실 앱으로 구성되었으며, 유지보수 이해 당사자들의 커뮤니케이션을 위한 백엔드 서버 시스템과 유지관리 이력을 관리하기 위한 웹 기반 BIM이 구축되었다. 본 논문에서는 상기 시스템을 구동하기 위한 세부 요소 기술 및 프레임워크를 기술하였으며, 실험을 통해 본 시스템의 효율성 및 적합성을 검증하였다.
2. 증강현실기반 실감형 내부 점검 시스템
2.1 시스템 개요
앞서 설명한 바와 같이 본 연구에서 개발한 증강현실 기반 빌딩 점검 시스템은 점검업무를 위한 점검용 앱, 보수업무를 위한 관리자용 앱, 그리고 생성된 모든 정보를 관리하고 신규 이력을 갱신하기 위한 백엔드 서버로 구성되어 있다. 또한 본 시스템은 사전에 설치된 QR 코드 스캔을 통해 기존 빌딩 점검 및 보수 정보들을 불러오고 실시간으로 점검 혹은 보수 정보들을 새롭게 갱신함으로써 인간-빌딩간 상호작용이 가능하도록 하였다. 마지막으로 다중 사용자 환경에서 점검 정보를 공유하고 보수 이력을 증강현실로 시각화 하기 위해 Microsoft Azure의 Spatial Anchors를 사용하였으며, 증강현실 애플리케이션은 Unity를 통해 구현되었다. Fig. 1은 본 시스템의 데이터 흐름도를 보여준다.
2.2 증강현실 기반 점검자 및 관리자용 애플리케이션 개발
2.2.1 애플리케이션 기본 구성
비대면 건축물 점검 및 유지관리를 위한 모바일 애플리케이션은 Unity 및 Microsoft Azure Spatial Anchors를 기반으로 개발되었다. 증강현실 기반 비대면 빌딩 유지보수 애플리케이션은 기점 마커(Fiducial Marker)를 활용한 사전 모델정보 출력기능, 시각-관성 측정법(visual-inertial odometry)를 활용한 사용자 6-자유도 추적 기능, Spatial Anchors를 활용한 손상정보 등록 및 다중 사용자 정보공유 기능을 포함한다. 상세 요소기술에 대한 설명은 다음 섹션에서 자세히 다뤄진다.
점검자는 먼저 사전에 설치된 마커를 촬영하고 이를 통해 점검자의 최초 위치가 생성되며, 이후 시각-관성 측정법을 통해 점검자의 위치가 지속적으로 추적된다. 점검자가 빌딩 내 손상을 발견하면 Spatial Anchor 기능을 실행하고 손상 부위에 Anchor를 설치하면 자동으로 손상정보 입력 창이 생성된다. 여기서 점검자가 수행하는 업무는 손상 종류를 선택하는 것이 전부이며, 손상의 위치 및 객체 사진은 AR 앱에서 자동으로 출력된다. 이렇게 입력된 손상 정보는 서버에 저장되며 서버에서는 손상정보를 자율적으로 빌딩정보모델에 저장하고 관리한다.
점검 결과가 서버에 저장이 되면 필요한 보수 업무 작업자에게 보수 요청이 전달된다. 보수업무 작업자는 현장에서 관리자용 앱을 실행시키고 마찬가지로 마커를 촬영하여 사전 정의된 빌딩 모델 및 손상정보를 불러들인다. 관리자용 앱은 작업자를 손상정보가 저장된 위치로 안내하며, 작업자가 손상 위치에 도달하면 점검자가 가상으로 설치한 Spatial Anchors가 증강현실로 시각화 되고 Anchor를 클릭하면 저장된 손상정보를 증강현실로 시각화 하여 보여준다. 작업자가 보수 업무를 마치면 작업 이력 정보를 전송하고 보수작업 상태에 따라 Spatial Anchor의 상태가 변화한다. 아래 Figs. 2와 3는 점검자용 앱과 관리자용 앱의 기본 구성을 보여준다. 관리자용 앱의 1-3 과정은 점검자용 앱의 초기과정과 동일하다.
2.2.2 기점마커를 활용한 위치정보 추정
본 시스템에서 사용되는 기점마커는 1과 n 사이의 고유 ID를 보유하며, 각각의 ID는 상응하는 BIM과 연동되어 있다. 이러한 기점마커는 BIM 좌표계의 특정 위치에 가상으로 설치되어 있으며, 실제 기점마커와 카메라와의 상대위치를 추정함으로써 현재 사용자의 위치좌표를 3차원 BIM 좌표계에 일치시킬 수 있다. 만약 z축 노말좌표를 가지는 카메라 센서의 좌표계를 로 정의하고 기점좌표가 설치된 BIM 모델의 좌표계를 라 가정했을 때, 단일좌표변환 매트릭스 는 아래와 같이 나타낼 수 있다.
여기서 회전변환벡터 은 BIM 모델 좌표계를 의 카메라 센서의 좌표 에 대한 상대적 방향을 나타낸다. 가 직교단위벡터라 가정하면 각 회전값은 다음과 같이 나타낼 수 있다.
여기서 · 는 내적연산자를 나타낸다. 마찬가지로 카메라의 원점 위치(Oc)는 아래와 같이 산출된다.
위와 같은 방법으로 카메라의 초기 위치가 산출되며 이후 사용자의 움직임은 모바일 디바이스의 관성측정장치(Inertial Sensor) 및 시각관성측정법(Visual Inertial Odometry, VIO) 통해 지속적으로 추적된다. 또한 본 연구에서는 평면 자동검출 함수를 통해 추출된 증강현실 평면(바닥면과 벽면)과 빌딩모델에서의 평면을 매칭하여 BIM내에서 사용자의 3차원 위치를 조정한다. 위와 같은 방법으로 개발된 증강현실 애플리케이션은 사용자의 3차원 실시간 위치를 cm단위 정확도로 출력한다. 아래 Fig. 4는 증강현실 애플리케이션에서 평면을 검출하는 화면(a)과 평면 매칭을 통해 조정된 사용자 위치(b)를 보여준다.
2.2.3 Azure Spatial Anchors를 활용한 다중사용자 점검 및 보수 정보 맵핑
개발된 시스템에서는 다수의 유저가 서로 점검이력 및 보수작업 내용을 증강현실을 통해 공유할 수 있도록 마이크로소프트 Azure Spatial Anchors를 적용하였다. Azure Spatial Anchors는 하나의 사이버 공간상에서 여서 사용자가 동시에 공유할 수 있는 증강현실 오브젝트를 생성시킬 수 있다. 본 시스템에서는 점검자가 손상이 검측된 지점에 Spatial Anchor를 설치하여 손상정보를 표출할 위치를 관리자와 공유할 수 있게 하였으며, 관리자 애플리케이션은 점검자가 설치한 Spatial Anchor에 보수 작업자가 도달할 수 있도록 네비게이션 기능을 제공하며, Anchor가 설치된 지점에 도착하면 자동으로 점검 정보를 증강현실로 보여줄 수 있도록 하였다. 또한 점검자가 설치한 Spatial Anchor는 3차원 BIM에 자동으로 맵핑되어 2차원 맵 상에 아래 Fig. 5(b)와 같이 표기되도록 하였다.
2.3 BIM을 활용한 인간-빌딩 상호작용
건물은 인간에게 하나 또는 다수의 공간을 제공하여 거주 또는 업무 등의 인간의 삶을 영위 할 수 있도록 하는 중요한 역할을 한다. 더불어 인간은 그를 활용하는데 있어 운영, 유지 및 관리의 의무를 가지므로 빌딩의 운영과 관리 상태와 같은 정보의 호환이 매우 중요하다 할 수 있다. 이러한 상호작용을 시스템화 하기 위해 본 연구에서 증강현실과 연동되는 BIM을 활용하였다. 이를 통해 인간과 빌딩을 초연결 하여 빌딩의 결함을 검측하고 보수작업을 지원하는 시스템이 만들어질 수 있다. 또, 이 시스템은 BIM, 클라우드기반의 데이터베이스, 그리고 증강현실 빌드를 위한 게임엔진(Unity)간의 상호 유기적인 연동을 기반으로 한다.
아래의 Fig. 6은 BIM, DB, Unity, 그리고 AR을 활용한 인간-빌딩 상호작용 과정을 나타낸다.
앞서 설명된 바와 같이 3차원 빌딩정보모델과 증강현실의 좌표계는 기점마커를 통해 동기화되며, 최초 동기화 이후엔 시각관성측정법을 통해 사용자의 6-자유도가 BIM 좌표계 내에서 지속적으로 추적된다. 이러한 과정을 통해 점검자가 손상정보를 검측하고 가상의 Anchor를 설치하였을 때 사용자의 6-자유도를 BIM 좌표계에서 출력할 수 있고, 벡터 내적 연산과 평면방정식을 통해 해당 손상이 어떤 빌딩 오브젝트에 발생된 것인지 알 수 있다. 먼저 카메라의 라인 벡터는 아래와 같은 매개변수 식으로 표현될 수 있다.
또한 BIM에 수록된 n개의 빌딩 오브젝트들의 평면방정식은 다음과 같이 표현된다.
따라서, 카메라의 방향 벡터와 오브젝트 평면간의 교점은 아래와 같이 구할 수 있다.
본 연구에서 개발된 알고리즘은 교점 t와 카메라의 원점 Oc간의 거리가 최소인 교점을 찾고 해당 교점이 위치하는 빌딩 오브젝트가 무엇인지를 찾아 손상정보를 자동으로 맵핑한다. 손상정보들은 빌딩 객체의 신규 파라미터로 저장되며, Unity에서는 손상 정보만을 따로 출력하여 새로운 증강현실 오브젝트로 생성시키고 증강현실 앱을 새롭게 빌드하여 보수 작업자에게 보내준다. Fig. 7은 클라우드 기반 데이터베이스에 저장된 손상정보(a)와 Unity에 맵핑된 증강현실 오브젝트를 보여준다.
3. 시스템 검증 시험
3.1 시험 개요
본 연구에서는 개발된 증강현실기반 비대면 빌딩 유지보수 시스템의 성능 및 기능적합도를 알아보기 위해 실제 사용중인 국내 교육용 4층 빌딩에서 검증 시험을 실시하였다. 실험에는 안드로이드 v9.0 스마트폰이 사용되었으며, 시험 결과는 국토교통부 분산공유형 인증 시험 기관 중 하나인 계명대학교 첨단건설재료실험센터에서 검증받았다. Fig. 8은 기능적합도 실험을 위해 사용된 대상건물과 그 건물의 BIM 모델이다.
3.2 사용자 위치 추정 시험결과
개발된 증강현실 애플리케이션에서 사용자 위치 추정 성능에 대한 검증은 BIM 내에 미리 선정한 2곳의 위치와 상응하는 실제 위치에 사용자가 도달하였을 때 AR 앱에서 표출되는 x, y 좌표와 실제 거리 측정기로 측정한 x, y 좌표의 차이를 측정하는 방법으로 수행되었다. 해당 실험은 먼저 사용자가 기점 마커를 촬영하여 3차원 빌딩정보모델을 불러온 후 미리 선정된 위치로 이동하여 AR 앱에서 나타난 위치정보를 측정하였으며, 실험은 총 2곳에서 각각 10회씩 반복하여 수행되었다. 아래 Table 1은 선정된 실험 위치의 실제 x, y 좌표를 보여주며, Table 2와 Fig. 9는 실험 결과를 보여준다.
Table 2.
Localization test results
3.3 증강현실 매칭 시험결과
증강현실 모델 매칭 성능 시험은 증강현실에서 구현되는 가상 오브젝트에 상응하는 실제 구조물을 비췄을 때 보이는 이격 거리를 버니어캘리퍼스를 통해 측정하는 방식으로 수행되었다. 증강현실 오브젝트의 수평, 수직 이격 거리를 측정하기 위해 방향이 반대인 두개의 벽체의 모서리 부분에서 실험을 진행하였으며, 버니어캘리퍼스 눈금의 가시성 확보를 위해 구조물과 모바일 디바이스 간의 거리는 2m 이내로 제한하였다. 아래 Table 3와 Fig. 10은 증강현실 오브젝트 매칭 시험 결과를 보여준다.
4. 결 론
최근 COVID-19에 따른 비대면 시스템 요구의 증가에 따라 노후 시설물 점검 시스템에도 다양한 정보통신기술의 접목을 통해 보다 객관적인 데이터 기반의 비대면 건축물 유지에 관한 연구가 활발히 진행되고 있다. 본 연구에서는 이러한 필요성에 발맞추어 사용자 중심의 증강현실(AR)과 빌딩정보모델(BIM)을 활용하여 비대면 유지보수 시스템을 개발하였다. 본 연구에서는 인간-빌딩의 상호작용을 위한 모바일 애플리케이션을 통해 시스템을 구현하였으며, 이는 기점 마커를 활용한 모델정보의 출력, 시각-관성 측정법을 활용한 추적기능, 손상정보 등록과 다중 사용자 정보공유 기능을 포함하였다. 유지보수와 관련 된 정보들이 BIM에 저장이 될 수 있고 이를 관리자 및 점검자가 활용할 수 있는 시스템으로 실험을 통하여 제시한 기술의 효율성 및 적합성을 검증하였다. 하지만, 증강현실 기반의 본 시스템은 점검자 또는 관리자의 빠른 움직임에 대하여 정확한 추적이 힘들다는 점, 정보 모델의 맵핑의 정확도가 부족하다는 점의 한계점을 보여주었다. 이를 해결하기 위해서는 보다 많은 기점마커를 활용하는 방식이 필요할 것으로 보인다. 또 한, 인간-빌딩의 상호호환을 높이기 위해 애플리케이션의 사용자 경험(user-experience)와 사용자 인터페이스(user-interface)를 최적화하기 위한 walkthrough 실험 등이 필요할 것으로 보인다.
