1. 서 론

1.1 연구의 배경 및 목적

최근 디지털 기술을 활용하여 건설현장의 2D 및 3D 정보를 수집하고 활용하는 다양한 연구들이 수행되고 있다. 건설현장의 지형정보를 수집하는 이러한 기술들은 초기에는 2D 이미지 데이터를 중심으로 관련 연구들이 수행되었으나, 최근에는 3D 점군 데이터를 활용한 연구들도 점차 증가하고 있는 추세이다. 특별히 UAV(Unmanned Aerial Vehicle) 및 UGV (Unmanned Ground Vehicle) 등 데이터 수집장비를 활용하여 건설현장의 3D 디지털맵을 구축하고 무인 건설중장비 관제 및 경로추정, 토공변화 분석 및 토공량 산정, 토공현장 내 소음 및 분진 등 환경정보 취득 및 분석 등의 토공현장의 3D 디지털맵을 활용하는 연구도 수행되고 있다(Wang and Kim, 2019; Kim et al., 2022; Park and Kim, 2020; Choi et al., 2022; Kim and Park, 2015).

지금까지 토공현장의 3D 디지털맵을 활용한 다양한 연구들은 각 공종별로 정확한 작업을 위해 대다수 GNSS(Global Navigation Satellite System)를 연동한 3D 디지털맵을 활용하고 있으며, 더 정밀한 3D 디지털맵을 구축하기 위해 관련 연구들을 수행하고 있다. 이에 3D 디지털맵을 수집하고 전처리하는 모든 단계에 있어서 자동화를 기반으로 정확성을 향상 시키는 연구들이 수행되고 있다. 먼저 군집 드론을 활용하여 자동으로 넓은 도로공사현장의 지형 데이터를 수집하고 3D 디지털맵을 구축하는 연구, 토공현장을 SLAM(Simultaneous localization and mapping) 기술을 적용한 무인 UGV를 활용하여 3D 디지털맵을 구축하는 연구, 노이즈 제거 및 여러 개의 토공현장의 3D 점군데이터를 효율적으로 한 개의 3D 점군데이터로 정합하는 방안에 관한 연구 등이 수행되었다(Park and Kim, 2021).

그리고 토공현장의 지형데이터 수집 및 전처리의 자동화 연구 이외에 구축한 시계열 3D 디지털맵을 활용하여 토공량을 자동으로 탐지하는 연구도 수행되었다(Kim et al., 2023). 이러한 시계열 데이터를 활용한 토공현장의 지형변화 탐지연구는 도로건설 공사와 같이 넓은 구간으로 구성된 토공현장에 3차원 점군데이터 간의 높이 차를 활용하여 토공작업이 발생한 구간을 색상 및 Z값의 수치로 검토 가능하다. 그러나 토공현장은 공사구간에 건설중장비, 공사인력 및 차량, 교량 및 교각 등 건설부재와 같은 다양한 객체들이 존재하며, 이러한 다양한 객체는 규모 및 부피가 거대하여 시계열 데이터를 활용한 토공현장의 지형변화 탐지의 정확한 분석에 장애물로 인식된다.

이에 본 연구는 이러한 문제를 해결하기 위해 토공현장의 3D 디지털맵 상에 위치한 건설중장비를 대상으로 의미론적 분할(Semantic segmentation)을 적용하였고, 의미론적 분할의 예측 데이터를 대상으로 자동으로 건설중장비 3차원 점군데이터의 보간(Interpolation)을 실시하여 주변 지표면과 동일한 높이가 되도록 하는 3D 디지털맵 구축 기술을 개발하였다. 또한, 개발한 보간 기술에 토공현장의 3D 디지털맵을 적용하여 현장 적용성을 검토하였다.

1.2 연구의 범위 및 방법

본 연구는 국내 토공현장 중 도로포장 공사의 토공사를 대상으로 UAV를 활용하여 3D 디지털맵을 수집하였고, 수집된 3D 디지털맵에서 총 3개의 클래스로 라벨링(Class 1: 지형, Class 2: 비지형, Class 3: 건설중장비)을 실시하였다. 또한, 학습한 건설중장비 의미론적 분할 모델에서 예측하여 생성한 3D 디지털맵을 대상으로 건설중장비 3D 점군데이터의 지형보간(Terrain Interpolation)을 실시하고, 현장테스트를 수행하여 현장 적용성을 검토하였다.

본 연구는 Fig. 1과 같이 건설중장비 의미론적 분할의 후속연구이며, 건설중장비 의미론적 분할 학습모델에서 생성한 예측데이터를 사용한다. 이에 본 연구의 범위는 토공현장의 3D 디지털맵에서 지형 보간을 위한 범위 설정을 수행하고, 건설중장비로 예측된 3차원 점군데이터를 주변의 지표와 동일한 높이가 되도록 지형보간을 실시한다. 이러한 건설중장비 점군 데이터 조정작업을 통해 토공현장의 지형변화 탐지의 장애물로 인식된 건설중장비가 삭제된 것과 동일하게 정확한 분석이 가능한 것으로 판단하고 있다. 이러한 작업을 위해 본 연구에서는 3차원 점군데이터의 보간기법을 개발을 위해 3차원 점군데이터 기반 의미론적 분할 모델에서 생성한 예측 데이터의 특징을 분석하였고, 지형보간을 위해 예측 데이터에 위치한 건설중장비를 검색하고 건설중장비를 중심으로 지형보간을 위한 바운더리를 생성하였다. 그리고 생성된 바운더리 안에 위치한 건설중장비의 Z값을 조정하여 바운더리 안에 있는 지표면의 높이와 동일하게 되도록 연구를 수행하였다.

Figure 1.

Research process

2. 문헌고찰

2.1 삼각분할 보간기법

일반적으로 GIS(Geographic Information System)분야에서 3차원 점군데이터 보간을 위해 불규칙 삼각망(Triangulated Irregular Network, TIN)으로 불리는 델로네 삼각분할(Delaunay triangulation) 기법이 주로 사용된다(Kim and Kim, 2019). 또한 델로네 삼각분할기법은 건설분야에서 UAV를 활용하여 토공량 측정 연구 및 상용제품에서 주로 활용되는 기법(Seong et al., 2018)으로 점군 데이터 중에서 최근접 이웃점을 활용하여 삼각형을 만들어 면을 생성하는 기법이다. 델로네 삼각분할기법은 외접원을 생성하고 외점원의 교차점을 중첩하지 않게 촘촘하게 삼각형을 생성할 수 있으나, 표면이 매끄럽지 않고 삼각형이 삐져나오는 모양을 생성할 수 있다. 또한, 점군데이터가 없는 홀(Hole)에 삼각형의 면은 메쉬(Mesh)의 형태로 생성되지만 점군데이터(Point cloud data)는 생성되지 않는 특징이 있다.

2.2 3차원 점군데이터 보간기법

델로네 삼각분할기법과 달리 점군데이터의 표면의 홀에 점을 생성시켜 채우는 3차원 점군 데이터 보간기법에 관한 연구도 수행되었다. Sinh 외 2인은 3차원 점군 데이터를 생성하여 홀을 메워 지형보간을 수행하는 연구를 수행하였다(Sinh et al., 2016). 이는 기존의 연구가 메쉬(Mesh) 형태로 홀을 메우는 것과 달리 홀의 바운더리를 찾고 바운더리의 높이 값에 해당하는 탄젠트(Tangent)를 적용한 점군 데이터 생성 방안에 관한 연구를 수행하였다. 더욱이 Sinh 외 2인의 연구는 홀의 바운더리에 높이값을 적용하여 3차원 점군 데이터를 생성하는 알고리즘을 적용하여 토공지형에 효과적으로 점군데이터를 생성하여 지형보간을 수행하였다. 이러한 Sinh 외 2인의 연구는 델로네 삼각분할 기법에 비해 평평하지 않는 토공 지형에 효과적으로 3차원 점군 데이터를 생성하여 홀을 메울 수 있을 것으로 사료된다(Fig. 2). 그러나, Sinh 외 2인의 연구는 토공 지형의 홀을 메울 때 홀 주변의 3차원 점군 데이터와 동일한 형태의 점이 생성되고, 홀 주변의 3차원 점군 데이터와 동일한 밀도를 가진 점군 데이터가 생성되는 것에 대한 연구가 충분히 수행되지 않았다. 또한, Sinh 외 2인의 연구는 3차원 점군 데이터에 포함되는 컬러 정보인 R(Red), G(Green), B(Blue의 보간법에 대한 연구는 수행되지 않았다. 이는 최근 토공현장에서 많이 사용하는 UAV 사진측량(Photogrammetry)의 경우구축하는 3D 디지털맵에서 (X, Y, Z)의 값 이외에 컬러 정보인 (R, G, B)도 많이 사용하고 있다. 더욱이 본 연구에서 연구대상으로 선정한 3D 디지털맵의 경우는 더 많은 정보인 (X, Y, Z, I, R, G, B)의 값을 사용하기 때문에 컬러 정보의 보간법이 포함되지 않은 Sinh 외 2인의 연구를 본 연구에 적용하는 것은 어려움이 있을 것으로 분석된다.

Figure 2.

Example of tangent application and point clouds generation (Intensity) (Sinh et al., 2016)

3. 건설중장비 점군데이터의 지형보간 기법 제안

3.1 개요

본 연구에서 토공현장의 3D 디지털맵을 활용하여 토공량 변화를 위한 지형탐지 기술을 적용하기 위해 3D 디지털맵의 지표면 위에 있는 건설중장비의 점군데이터 삭제가 필요하다. 이러한 이유로 본 연구에서는 건설중장비를 대상으로 3차원 점군데이터 기반 의미론적 분할을 적용하여 예측 데이터(Prediction data)인 라벨 데이터(*.LABELS)를 생성하였고, 생성된 라벨 데이터를 활용하여 건설중장비의 3차원 점군데이터가 주변 지표면과 동일하게 되도록 하는 보간(Interpolation)기술을 개발하였다.

본 연구에서 개발한 건설중장비 점군데이터 보간기법은 본 연구의 문헌고찰에서 검토한 삼각분할 보간 기법 및 3차원 점군 데이터 보간 기법과는 달리 의미론적 분할 모델의 예측 정보를 활용하여 건설중장비의 3차원 점군데이터의 Z값을 조정하였다. 이러한 본 연구의 기법을 적용하여 3D 디지털맵의 정보 손실을 최소화 할 수 있다.

3.2 3차원 점군데이터 보간기법 개발

3D 디지털맵 내에 위치한 점군데이터 보간기법을 개발하기 위해 본 기술의 포함되어야 하는 기능 및 작업순서에 대해 다양한 상세한 부분들이 요구되나, 아래와 같이 포함되어야 하는 최소한의 기능을 정리하였다.

• 의미론적 분할 학습모델에서 생성한 라벨 데이터(*.TXT)와 검증 데이터(*.LABELS)를 한 개의 데이터로 만들어 통합데이터(*.TXT) 생성

• 통합한 데이터에서 건설중장비의 클래스(Class) 정보 활용

• 통합한 데이터 내에 여러 개의 건설중장비에 동시에 지형 보간기법 적용 가능

• 통합한 파일에서 예측된 다수의 건설중장비 점군데이터의 Z값 및 R,G,B값을 조정하여 건설중장비 점군데이터를 주변 지표면의 정보와 동일하게 맞춤

• 실외에 위치한 토공현장의 대용량 3D 디지털맵을 대상으로 지형보간 기술이 적용 가능

3.2.1 의미론적분할 모델 데이터 특징 및 분석

본 장에서는 3D 점군데이터의 지형보간 기법 적용 시 사용되는 데이터의 특징을 분석하였다. 본 연구에서는 지형보간을 위해 3차원 점군데이터 기반 의미론적 분할 학습모델의 시험 데이터인 토공현장 3D 디지털맵 데이터(*.TXT)와 예측 데이터인 라벨 데이터(*.LABELS)를 사용한다. 아래 Fig. 3은 전체 데이터 중 일부에 해당되는 내용이다.

Figure 3.

3D digital map (X~B) and label data (C)

Fig. 3과 같이 의미론적 분할 학습모델의 시험 데이터는 TXT 파일로 구성되어 있고 (X, Y, Z, I, R, G, B)의 데이터 필드(Data field)를 가지고 있다. 본 연구에서 사용한 의미론적 분할 학습모델의 시험 데이터 드론으로 토공현장을 촬영한 LAS 파일을 TXT파일로 변환하고 라벨링한 것이다. 의미론적 분할 학습모델의 시험 데이터의 라벨링은 3D 점군데이터 라벨링툴을 사용하여 총 3개의 클래스로(Class 1: 지형, Class 2: 비지형, Class 3: 건설중장비) 라벨링 하였고, 라벨링 결과값은 분리하여 Ground-truth 파일로 저장하였으며, 본 의미론적 분할 학습모델에 적용한 시험 데이터는 라벨링의 결과값은 제외하고 적용하였다.

또한 예측 데이터인 라벨 데이터는 LABELS 파일을 TXT 파일로 변환하여 검토하였다. 변환한 LABELS 파일은 의미론적 분할 학습모델에서 예측한 결과값의 시험 데이터는 Fig. 3과 같이 3D 디지털맵의 각 점을 3개의 클래스 중에서 의미론적 분할 학습모델에서 예측한 결과값을 저장한 데이터이며, 라벨 데이터는 숫자 1, 2, 3으로 구성되어 있다. 그리고 의미론적 분할 학습모델의 시험 데이터는 TXT 파일과 라벨 데이터의 TXT 파일을 한 개의 파일로 합치는 작업을 수행하여 TXT 파일의 모든 점군에 예측값이 적용되어 지형보간에 사용할 수 있다.

3.2.2 건설중장비 검색 및 클러스터 생성

라벨 데이터와 통합된 3차원 시험 데이터의 모든 점군데이터는 클래스(Class) 1 ~ 3 사이의 값으로 예측된다. 본 연구에서는 3D 디지털맵으로 구성된 시험 데이터의 모든 점군이 각각의 클래스가 1~3 사이의 값을 가지는 데이터의 특징을 활용하여 지형보간을 위해 클러스터를 생성하였다. 이를 위해 시험 데이터의 지형(Class 1)에 해당하는 구간에서 건설중장비(Class 3)의 3차원 점군 데이터를 검색하여 시험 데이터에 위치한 건설중장비의 개수와 동일한 수의 클러스터를 생성하게 된다. 본 연구에서는 지형에 해당하는 구간에서 건설중장비의 3차원 점군 데이터를 검색하기 위해 K-Means 알고리즘을 사용하였다. 본 연구에서 K-Means 알고리즘은 클래스 3의 중심점을 선택하고, 각 중심점을 기점으로 동일한 반지름의 수치를 적용하여 X축과 Y축 방향으로 원 모양의 클러스터를 생성하도록 한다. 또한 생성된 각각의 클러스터 안에 모든 건설중장비가 포함된다.

3.2.3 건설중장비 보간

본 연구에서 실시한 건설중장비 보간법에 대한 Fig. 4와 같이 프로세스를 정리하였다. Fig. 4는 건설중장비의 Z값 보간에 관한 프로세스이며, R, G, B도 동일한 프로세스로 보간을 수행하였다. 본 연구에서 클러스터를 생성한 3D 디지털맵에 건설중장비를 보간하기 위해 클러스터 내에 위치한 지형(Class 1)에 해당하는 Z, R, G, B의 정보를 활용하였다.

Figure 4.

Terrain interpolation process of the z-value for construction heavy equipment

이에 대한 상세한 설명으로 3D 디지털맵 상에 지형(Class 1)에 해당하는 점군과 건설중장비(Class 3)에 해당하는 점군이 Fig. 5와 같이 동시에 존재하게 된다. Fig. 5에서 반지름 R의 크기를 가지는 클러스터 안에 있는 지형(Class 1)과 건설중장비(Class 3)의 점군 데이터는 X, Y, Z, I, R, G, B, C의 값을 가지고 있으며 Z, R, G, B의 산술평균을 산정하여 지형보간을 수행하였다. 더욱이 본 연구의 3D 디지털맵에 다수의 클러스터가 있을 경우에는 각각의 클러스터에 위치한 지형의 정보들이 모두 다르며, 각 클러스터에 특성에 맞도록 Z, R, G, B를 도출해야 한다.

Figure 5.

Interpolation of construction heavy equipment

본 연구에서는 Fig. 5와 같이 각 클러스터 내에 위치한 건설중장비(Class 3) 점군 데이터에 적용할 Z값을 산정하기 위해 클러스터 안의 지형(Class 1)의 평균을 구하여 Z값을 구하여 적용하였다. 또한, 클러스터 안의 지형(Class 1)의 점군 밀도의 평균을 계산하여 Z값이 조정된 건설중장비(Class 3)에 적용하였고 이를 통해 클러스터 안에 건설중장비(Class 3)의 점군 밀도가 높아지는 것을 방지하였다.

본 연구에서는 개발한 지형보간 기법을 통해 건설중장비 점군데이터를 삭제하지 않고 클러스터 안의 지형에 해당하는 점군과 유사한 높이 값을 가질 수 있다. 더욱이 건설중장비의 점군데이터를 삭제할 경우 삭제된 부분에 홀(Hole)이 발생하는데 점군 데이터 생성기법을 사용할 경우 홀을 완벽하게 메우기 어렵고 3차원 점군 데이터를 생성하는데 많은 시간이 소요되는 단점이 있다. 그러나 본 연구의 기법을 사용하여 건설중장비 점군데이터의 Z값을 조정하여 지형 보간을 하는 것은 기존방법에 비해 홀을 균일하게 메우고, 작업시간도 짧게 소요되는 특징을 가지게 된다.

본 연구에서는 클러스터 안에 위치한 건설중장비(Class 3) 점군 데이터에 Z값을 조정한 것과 같이 색상 정보인 R, G, B도 Z값과 동일한 방법으로 적용하여 클러스터 안의 건설중장비의 점군데이터를 보간 하였다. 이러한 지형보간 소프트웨어의 개발은 윈도우 10 운영체제 및 Python 3.6 환경에서 수행하였다.

4. 현장실험

4.1 개요

본 연구에서 개발한 지형보간 기법을 토공현장의 3D 디지털맵에 적용하여 현장실험을 실시하였다. 현장실험을 위해 경기도 광주 인근 도로건설현장을 대상으로 PHANTOM 4이며, RTK GNSS를 연동하여3D 디지털맵을 구축하였다. 본 연구에서 드론 촬영한 현장은 전체 공사 구간 중 일부에 해당하는 약 200m(가로) × 400m(세로) 구간이며, 파일용량은 500MB 미만의 한 개의 파일이다. 또한 구축한 토공현장의 3D 디지털맵에 건설중장비 점군 데이터를 설치하고 건설중장비 의미론적 분할 학습모델에 적용하여 예측 데이터를 생성하였다. 그러므로 본 연구에서 건설중장비 의미론적 분할 학습모델에 적용한 3D 디지털맵에는 Fig. 6과 같이 15개의 건설중장비가 위치하고 있으며, 현장시험의 소프트웨어 환경도 지형보간 소프트웨어의 개발환경과 동일하게 윈도우 10 운영체제 및 Python 3.6으로 구축하여 현장실험을 실시하였다.

Figure 6.

Construction of a 3D Digital Map for an Earthwork Site

4.2 현장실험 실시

건설중장비 지형보간의 현장실험을 위해 앞에서 언급하였듯이 의미론적분할 학습모델에 적용하여 예측 데이터를 생성하고, 건설중장비를 예측한 토공현장 3D 디지털멥에 지형보간 기술을 적용하였다. 지형보간 현장실험에서 먼저 의미론적 분할 학습모델의 시험 데이터와(*.TXT) 예측 데이터(*.LABELS)이 하나의 데이터로 통합되어 라벨 데이터와 통합된 시험 데이터를(*.TXT) 생성하였다. 라벨 데이터와 통합된 시험 데이터를(*.TXT)는 모든 점군에 예측값이 Class 1 ~ 3 사이의 값이 적용되어 지형보간에 활용하였다. 다음으로 라벨 데이터와 통합된 시험 데이터 내에 위치한 건설중장비를 주변 지면과 동일한 높이로 보간하기 위해 각 건설중장비의 중심점을 임위로 정하고 중심점에서 원 모양의 클러스터를 생성하였다. 그리고 클러스터를 생성한 3D 디지털맵에 건설중장비를 보간하기 위해 클러스터 내에 위치한 지형(Class 1)에 해당하는 Z, R, G, B의 정보를 활용하였다. 더욱이 본 현장실험의 3D 디지털맵은 총15개의 건설중장비를 가지고 있으므로 총15개의 클러스터를 생성하였고, 각각의 클러스터의 특성에 맞도록 Z, R, G, B, 점군 밀도를 도출하여 적용하였다.

4.3 현장실험 결과

지형보간 현장실험을 실시하여 나타난 결과는 Fig. 7과 같이 15개의 건설중장비가 균일하게 주변 지형과 동일한 높이 값을 가지는 것을 확인 할 수 있었다. 특별히 현장실험을 실시한 데이터는 Fig. 7과 같이 토공현장의 지표면이 고르지 않은 상태에도 비교적 지형보간을 잘 된 것을 확인할 수 있었다. 이를 통해 본 연구에서 개발한 지형보간 기술이 라벨 데이터와 통합된 시험 데이터 내에 위치한 여러 개의 건설중장비에 동시에 적용되어도 Z값의 보정이 일정한 품질 내에서 가능한 것을 알 수 있었다.

Figure 7.

Results of Terrain Interpolation for Construction Heavy Equipment

또한, Fig. 7에서 5번, 8번, 15번의 건설중장비는 현장실험의 결과를 확대하여 지형보간의 결과를 자세히 확인 할 수 있다. Fig. 7의 건설중장비 5번, 8번, 15번의 지형보간 결과는 지표면이 고르지 않은 토공현장에서도 각각의 건설중장비의 Z값이 잘보정된 것을 확인 할 수 있다. 그리고 Fig. 7과 같이 색상정보인 R,G,B도 각 클러스터 내의 정보와 완벽하게 일치하지는 않지만, 어느 정도 유사한 형태를 나타내고 있는 것을 알 수 있다. 그러나 각 클러스터 내의 건설중장비의 점군 밀도는 주변 점군 밀도에 비해 밀도가 높게 나타나는 것을 확인 할 수 있다.

마지막으로 본 현장실험 시 적용한 데이터는 500MB 미만의 한 개의 파일로 지형보간 시 3분 미만의 처리시간이 소요되었다. 이는 대용량으로 구성된 토공현장의 3D 디지털맵을 적용할 경우 지형보간의 시간을 단축시킬 수 있어 본 연구의 선행작업인 건설중장비 의미론적 분할 모델의 예측 데이터 생성과 연계하여 효율적으로 건설중장비의 지형보간을 수행할 수 있을 것이다.

이러한 본 연구의 현장실험의 결과를 종합하여 분석한 결과로 본 연구에서 개발한 지형보간 기술은 다양한 객체가 존재하는 토공현장에서 의미론적 분할의 기법이 적용된 건설중장비 3차원 점군데이터에 대해 효율적으로 지형보간이 가능한 것을 확인 할 수 있었다.

5. 결 론

본 연구는 3D 디지털맵을 구축하고 분석하는 자동화 연구에서 의미론적 분할이 적용된 3D 디지털맵을 대상으로 건설중장비의 3차원 점군데이터에 지형보간 기술을 적용하고 검토하였다. 본 연구를 수행한 주요 내용 및 검토 내용을 아래와 같이 요약할 수 있다.

• 본 연구는 실외에 위치한 토공현장의 대용량 3D 디지털맵을 대상으로 지형보간 기술의 적용 가능성을 검토하였다.

• 본 연구는 3차원 점군데이터 기반 건설중장비 의미론적 분할 학습모델에서 생성한 라벨 데이터(*.TXT)와 검증 데이터(*.LABELS)를 한 개의 데이터로 만들어 통합데이터를(*.TXT) 생성하고 통합한 데이터의 건설중장비의 클래스(Class) 정보를 활용하는 방안을 제시하였다.

• 본 연구는 통합한 데이터 내에 여러 개의 건설중장비에 동시에 지형보간 기법이 적용 가능한 것을 검토하였으며, 점군데이터를 삭제한 것에 비해 건설중장비 점군데이터의 Z값을 조정하는 것이 효율적인 것을 검토하였다.

• 본 연구에서 클러스터 내에 위치한 건설중장비의 점군데이터의 Z, R, G, B 및 점군 밀도를 조정하여 지형보간을 실시하였으나, R, G, B 및 점군 밀도의 지형보간 기술은 추가 연구가 필요한 것으로 판단된다.

마지막으로 본 연구의 결과는 본 연구의 후속 연구인 토공현장의 지형변화탐지 및 분석 연구에 적용할 예정이며, 더 나아가 3D 디지털맵을 활용한 토공량 산출 시 정확성 향상에 도움이 될 것으로 기대하고 있다.