Journal of Construction Automation and Robotics. 7 April 2022. 10-15
https://doi.org/10.55785/JCAR.1.1.10

ABSTRACT


MAIN

  • 1. 서 론

  • 2. 선행 연구 조사

  •   2.1 맵 오차 기구 및 알고리즘

  •   2.2 점군 맵 생성 알고리즘

  • 3. 특징점 생성 하드웨어 설계

  • 4. 자동화된 점군 내 특징점 추출

  • 5. 실험 및 결과 분석

  •   5.1 Husky System & Sensor System

  •   5.2 실험 설계 및 결과

  • 6. 결 론

1. 서 론

3차원 공간의 정보를 담은 점군을 생성할 수 있는 대표적인 센서로는 라이다(Lidar: Light Detection and Ranging) 센서가 있다. 해당 센서는 장치에서 발사된 레이저가 주변의 지형지물에 반사되어 돌아오는 시간을 계산하여 그 거리를 알려주는 센서로, RGB 카메라에 비하여 광 변화에 강인하고, 3차원 정보를 제공한다는 점에서 SLAM(Simultaneous Localization and Mapping) 연구에서 자주 쓰인다. 라이다 센서의 또 다른 특징으로는, 측정된 사물과의 거리가 멀어질수록 점군의 밀도가 낮아지는 희소성(sparsity)이라는 특징이다.

3차원 점군 맵의 정밀도 측정, 서로 다른 데이터로 제작된 3차원 점군 맵의 정합 과정에는 해당 과정의 기준점이 될 수 있는 점군 맵 내의 특징점 생성이 필수적이다. 일반적으로 점군 데이터에서 특징점을 생성하려 할 경우, 원하는 위치에 점군 생성을 위한 물건을 놓고, 3차원 점군 맵에서 해당 물건을 가장 잘 표현한다고 판단되는 점을 수작업으로 추출하는 방법을 사용한다. 그러나, 해당 방법의 경우 라이다 센서의 희소성과 사용자에 따른 판단의 차이로 인하여 정확도가 보장된다고 볼 수는 없다.

이러한 문제점을 보완하기 위하여 Jung et al.(2021)에서는 점군의 위치 측정용 모델을 제시하고, 해당 모델을 목표로 취득한 점군 데이터에 RanSac(Random Sample Consensus) 방법(Fischler and Bolles, 1981) 및 SVD(Singular Value Decomposition) 방법을 사용하여 모델의 위치를 희소성에 강인하게 구할 수 있는 방법론을 제시하였다. 그러나, 실내 실험과 야외 실험의 정확도 차이가 크게 나타나는 등, 실제 점군 맵의 정확도 측정 및 특징점 생성 방법으로 쓰기에는 한계를 보였다.

본 논문에서는 라이다 센서를 기반으로 제작된 3차원 점군 데이터에서 정확한 위치에 특징점을 생성할 수 있는 하드웨어 모델 및 알고리즘을 제시하였으며, 실내 및 실외 실험, 그리고 서로 다른 밀도의 점군 맵 생성 방법을 사용하여 해당 방법론의 타당성을 검증하였다.

∙야외 환경과 실내 환경에 구애받지 않고 일정한 특징점을 생성할 수 있는 하드웨어를 제안하였다.

∙서로 다른 두 종류의 3차원 점군 맵 알고리즘을 사용하여 점군 맵의 밀도와 무관한 정확도를 가짐을 확인하였다.

∙실내외 환경의 여부와 관련 없이 비슷한 정확도를 갖는다는 점을 실험으로 확인하였다.

2. 선행 연구 조사

2.1 맵 오차 기구 및 알고리즘

3차원 점군 맵의 사용에 있어서 중요한 이슈 중 하나는 해당 점군 맵의 정확도이다. Kwon and Chang(2014)에서는 SLAM 기술로 제작된 3차원 점군 맵의 오차를 전역 오차와 국부 오차로 구분하여 정량적으로 평가하는 방법을 제안하였다. 그러나, 해당 방법론의 경우 그러한 평가 과정에서 사용할 특정 기준점의 선정 기준은 제시하지 못했다. 또한, Jung et al.(2021)에서 언급된 바 있듯이 Kwon and Chang(2014)의 경우 같은 환경을 나타내는 두 개 이상의 점군 맵을 대상으로 상대적인 비교만이 가능하므로, 서로 다른 지점에서 생성된 점군 맵의 절대적인 정확도 비교는 불가능하다.

Jung et al.(2021)의 경우, 해당 논문에서 기술된 하드웨어를 사용하여 목표로 하는 지점에 특징점을 생성할 수 있고, 해당 특징점을 3차원 점군 맵의 정확도 평가에서 사용할 기준점으로 활용할 수 있다. 해당 방법론의 경우 서로 다른 환경에서 다른 센서나 SLAM 기술로 제작된 점군 맵의 정확도 또한 비교할 수 있다는 장점을 갖고 있다. 해당 논문의 방법론은 실내외 환경에서 점군 밀도에 크게 영향받지 않고 빠른 속도로 특징점의 위치를 추출할 수 있다는 장점이 있다. 그러나 Jung et al.(2021)의 결론에서 기술한 바 있듯이, 시트지를 활용하여 제작한 모델인 만큼, 야외환경에서 바람이 심하게 불 경우 모델의 흔들림으로 인하여 점군이 회전하거나 흔들리게 생성되며, 따라서 해당 방법론은 환경에 따라 균일하지 못한 오차를 갖는다는 한계점을 갖는다. 본 논문에서는 Jung et al.(2021)의 하드웨어를 야외환경에서 더 안정적으로 운용할 수 있도록 특징점 생성 방식을 바꾸었다.

2.2 점군 맵 생성 알고리즘

2.2.1 LIO-SAM

LIO-SAM(Shan et al., 2020)은 IMU 센서와 라이다 센서를 활용한 그래프 기반 라이다 SLAM 기술이다. IMU Preintegration(Forster et al., 2017)으로 라이다 프레임 사이의 IMU 값들을 하나로 합쳐서 계산 속도를 높였으며, 라이다 키프레임 사이를 IMU preintegration factors, LiDAR odometry factors, GPS factors, loop closure factors로 연결한 그래프 구조의 slam 기술이다. 라이다 점군을 활용하여 3차원 점군 맵을 제작할 때, 면과 가장자리의 특징점을 활용하므로 모든 점군을 활용하지 않고 특징점만으로 맵을 제작한다. 본 논문에서는 보다 낮은 밀도의 3차원 점군 맵을 제작하는 데에 사용했다.

2.2.2 FAST-LIO2

FAST-LIO2(Xu et al., 2022)는 Shan et al.(2020)와는 다르게, 라이다 데이터에서 특징점을 뽑지 않고, 전체 점군을 모두 활용한 알고리즘으로, Shan et al.(2020)보다 더 밀도 높은 3차원 점군 맵을 제공해준다는 차이점이 있다. tightly coupled iterated Kalman filter를 기반으로 하는 알고리즘이며, incremental k-dimensional tree 데이터 구조를 채택하였다. 본 논문에서는 높은 밀도의 3차원 점군 맵을 제작하는 데에 사용했다.

3. 특징점 생성 하드웨어 설계

본 논문에서 제시하는 모델의 경우, Jung et al.(2021)의 실외 실험용 모델의 문제점을 보완한 모델이다. 기존의 모델의 경우 3개의 평면을 활용하였으며 각 평면은 고휘도 시트지를 활용하여 제작되었다. 면의 개수가 많고, 막혀있는 시트지로 제작되었으므로 야외환경에서 발생할 수밖에 없는 바람으로 인하여 모델의 점군이 흔들린 상태로 찍히게 되고, 이는 정밀도 저하로 이어지게 된다. 이에 따라, 본 논문에서는 바람이 부는 야외환경에 강인한 모델을 디자인하였다.

Fig. 1에서 확인할 수 있듯이 면이 갖는 바람 저항을 최소화하기 위하여 철망으로 구성된 디자인을 채택했다. 또한, 면의 개수를 2개로 낮춤으로써 목표하는 위치에 특징점을 더 간편하게 생성할 수 있도록 했다. 이외에도 특징점의 위치에 프로파일 여분이 남아있으므로, 해당 위치에 GPS 모듈을 달아서 해당 특징점의 절대 좌표 위치를 확인할 수 있는 등, 확장성을 염두에 두고 디자인하였다. Fig. 2에서 나타나듯, 두 평면은 수직 상태를 가지므로 평면의 교차하는 지점을 쉽게 위치시킬 수 있다.

https://cdn.apub.kr/journalsite/sites/ksarc/2022-001-01/N0410010102/images/ksarc_01_01_02_F1.jpg
Figure 1.

Model picture: front side

https://cdn.apub.kr/journalsite/sites/ksarc/2022-001-01/N0410010102/images/ksarc_01_01_02_F2.jpg
Figure 2.

Model picture: upper side

4. 자동화된 점군 내 특징점 추출

점군 내 특징점 추출 과정은 Jung et al.(2021)의 방법론에서 평면 추출 단계를 수작업으로 바꾼 것으로, high intensity extraction 과정이 없어졌다고 볼 수 있다. Fig. 3에서 전체적인 흐름을 확인할 수 있다. 데이터의 흐름은 다음과 같다. 먼저 라이다 센서와 IMU 센서에서 받은 데이터를 LIO-SAM, FAST-LIO2와 같은 3차원 점군 맵 생성 SLAM 알고리즘을 활용하여 점군 맵을 생성한 뒤, 수작업을 통하여 점군 맵 내에 위치한 본 논문에서 소개한 특징점 생성 하드웨어의 점군을 추출한다. 이후, matlab 언어를 활용하여 해당 점군 데이터에 K-means Clustering을 취하여 두 개의 plate로 데이터를 쪼갠 뒤, 각 데이터에 RanSaC과 Singular Value Decomposition을 사용하여 outlier를 제거하고 각 plate를 가장 잘 표현하는 평면의 방정식을 구한다. 각 평면의 방정식을 얻었으므로, 두 평면의 교선을 구할 수 있고, 교선이 땅바닥에서 지나는 지점이 해당 하드웨어의 위치, 즉 특징점의 위치를 구할 수 있다. K-means Clustering, RanSaC, Singular Value Decomposition 각 과정의 결과는 실외 환경 데이터의 LIO-SAM 점군 맵을 처리하는 중간 단계 사진인 Fig. 4, 5, 6에서 보다 자세히 확인할 수 있다.

https://cdn.apub.kr/journalsite/sites/ksarc/2022-001-01/N0410010102/images/ksarc_01_01_02_F3.jpg
Figure 3.

System Flow Chart

https://cdn.apub.kr/journalsite/sites/ksarc/2022-001-01/N0410010102/images/ksarc_01_01_02_F4.jpg
Figure 4.

k-mean clustering result

https://cdn.apub.kr/journalsite/sites/ksarc/2022-001-01/N0410010102/images/ksarc_01_01_02_F5.jpg
Figure 5.

RanSaC result

https://cdn.apub.kr/journalsite/sites/ksarc/2022-001-01/N0410010102/images/ksarc_01_01_02_F6.jpg
Figure 6.

Singular Value Decomposition result

5. 실험 및 결과 분석

5.1 Husky System & Sensor System

본 논문의 실험은 실내 실험과 실외 실험, 두 가지 서로 다른 환경에서 데이터를 취득하였다. 각 실험 모두 Velodyne Lidar VLP-32C(Ultra Puck) 라이다 센서와 Microstrain 3DM-GX5- 25 IMU(Inertial Measurement Unit) 센서를 사용하여 데이터를 취득하였다. 데이터 취득 과정에서 센서 시스템의 운용은 Jung et al.(2021)과 같이 Clearpath HUSKY UGV(Unmanned Ground Vehicle)을 기반으로 제작되었다. 드론 컨트롤러와 ROS system을 사용하여 장거리(최소 50m 이상)에서 안정적으로 조종할 수 있으며, 본 논문에서의 사용과 같이, 필요에 따라 추가적인 센서를 부착하여 ROS(Robot Operating System) Bag file 형태로 기록하는 기능을 갖추고 있다. Fig. 7에서 Husky System과 본 논문의 실험 과정에서 사용한 센서들을 확인할 수 있다.

https://cdn.apub.kr/journalsite/sites/ksarc/2022-001-01/N0410010102/images/ksarc_01_01_02_F7.jpg
Figure 7.

Husky System & Sensor System: Upper picture is the full husky system. Paper’s Sensor system is in the red box, which is same as the lower picture. In the lower picture, blue box is the Velodyne VLP-32C Lidar sensor and green box is the 3DM-GX5-25 IMU sensor.

5.2 실험 설계 및 결과

실내외 실험 모두 두 개의 동일한 특징점 생성 하드웨어를 위치시키고 두 모델을 모두 포함하는 경로의 라이다 점군 데이터 및 IMU 센서 데이터를 취득하였다. 실내 실험은 5m, 실외 실험은 7m의 하드웨어간 거리를 두고 데이터를 취득하였다. Fig. 8에서 특징점 생성 하드웨어의 세팅을 보다 자세히 확인할 수 있다. 취득한 실내외 데이터 각각에 LIO-SAM과 FAST-LIO2 방법을 적용하여 3차원 점군 맵을 얻었으며, 본 논문에서 소개한 방법을 사용하여 각 하드웨어의 위치를 얻었다. 얻은 위치 간의 거리를 계산하여 참값인 5m, 7m와 비교하여 최종적인 오차 및 정확도를 계산하였다.

https://cdn.apub.kr/journalsite/sites/ksarc/2022-001-01/N0410010102/images/ksarc_01_01_02_F8.jpg
Figure 8.

Hardware Setting for In/Outdoor Experiments: Upper pictures are positions of each hardware at outdoor. Lower pictures are positions of each hardware at indoor.

Table 1에서 실내외 실험의 결과 및 에러를 확인할 수 있다. 오차율이 적게는 0.1% 미만에서 높게는 1.2% 내외로 나온 것을 확인할 수 있다. Jung et al.(2021)에 비하여 오차율의 편차는 크지 않게 나타났으며, 특히 실외 실험의 정확도는 크게 개선된 것을 확인 할 수 있다. 특이점이라면, 점군의 밀도가 더 높은 FAST-LIO2의 결과가 오히려 오차율이 더 높은 경향성을 보였다는 것이다. 이는 Direct Method라는 특성상 라이다 센서가 감지한 모든 점군을 활용하여 3차원 점군 맵을 만드는 FAST-LIO2의 특징 때문으로 사료된다. LIO-SAM의 경우, 각 라이다 점군에서 면과 가장자리 특징점을 추출하여 SLAM 과정에 사용하므로, 본 논문에서 제시한 특징점 생성 하드웨어의 구조상 점군 맵 생성 과정에서 보다 유리한 면을 가진 것으로 판단된다. 실내 실험의 결과보다 야외 실험의 결과가 보다 정확한 것 또한, 상대적으로 맵 생성 과정에서 특징점으로 삼을 수 있는 오브젝트의 종류가 보다 많은 야외 환경의 이점 때문이라고 판단된다. 따라서, 본 실험의 결과에는 LIO-SAM과 FAST-LIO2 알고리즘 자체의 오차가 포함된 결과임을 감안할 경우, 실내외 환경, 그리고 점군 밀도에 따른 큰 정확도의 차이가 없다고 판단할 수 있다.

Table 1.

Experiment results: data acquired in both indoor and outdoor. Used LIO-SAM and FAST-LIO2 to generate 3d point cloud map.

indoor outdoor
LIO-SAM FAST-LIO2 LIO-SAM FAST-LIO2
hardware1 x 6.2524 m 7.7601m 7.9725m 9.1222m
y 4.8853m 1.4560m -4.6569m 1.1232m
hardware2 x 2.9903m 2.7007m 1.5087m 2.0966m
y 1.0509m 1.5067m -1.9862m 1.2264m
distance 5.0343m 5.0597m 6.9938m 7.0264m
error 0.034275m 0.059654m 0.006192m 0.026358m
error rate 0.6855% 1.1931% 0.0885% 0.3765%

6. 결 론

본 논문에서는 3차원 점군 맵의 정확도 측정 및 서로 다른 3차원 맵의 정합 과정에서 기준점으로 사용할 수 있는 특징점 생성을 위한 하드웨어를 제시하였다. 해당 하드웨어의 경우, 점군 밀도 및 야외 환경의 예측 불가능한 요인들에 강인한 정확도를 가진다. 이외에도 하드웨어의 디자인 상, 중심부의 프로파일에 GPS 센서와 같은 추가적인 장치를 달아서 먼 거리에 있는 특징점 사이의 거리 비교를 통하여 보다 큰 규모의 3차원 점군 맵의 정확도 또한 편리하게 평가할 수 있다는 장점이 있다.

비록 본 논문의 하드웨어를 사용하여 환경 및 점군 밀도에 강인하게 특징점을 생성할 수 있지만, 데이터 처리 과정에서 수작업이 필수로 들어가야 하는 만큼 Jung et al.(2021)의 방법론에 비하면 속도 면에서는 아쉬운 점이 존재한다. 본 논문의 하드웨어에 Jung et al.(2021)의 장점이었던 Intensity 값을 활용한 필터링 과정이 가능한 기능을 추가할 경우 모든 과정이 자동화된 특징점 생성 모델의 사용이 가능해질 것이므로, 이러한 추가적인 후속 연구가 진행되어야 할 것이다.

Acknowledgements

이 연구는 국토교통부/국토교통과학기술진흥원이 시행하고 한국도로공사가 총괄하는 “스마트건설기술개발 국가R&D사업(과제번호 22SMIP-A158708-03)”의 지원으로 수행되었습니다.

References

1
Fischler, M. A., and Bolles, R. C. (1981). Random sampleconsensus: a paradigm for model fitting with applications to image analysis and automated cartography, Communications of the ACM, 24(6), pp. 381-395. 10.1145/358669.358692
2
Forster, C., Carlone, L., Dellaert, F., and Scaramuzza, D. (2017). On- Manifold Preintegration for Real-Time Visual-Inertial Odometry, IEEE Transactions on Robotics, 33(1), pp. 1-21. 10.1109/TRO.2016.2597321
3
Jung, S., Jung, M., and Kim, A. (2021). Map Error Measuring Mechanism Design and Algorithm Robust to Lidar Sparsity, The Journal of Korea Robotics Society, 16(3), pp. 189-198. 10.7746/jkros.2021.16.3.189
4
Kwon, T.-B., and Chang, W.-S. (2014). A New Method for Relative/ Quantitative Comparison of Map Built by SLAM, The Journal of Korea Robotics Society, 9(4), pp. 242-249. 10.7746/jkros.2014.9.4.242
5
Shan, T., Englot, B., Meyers, D., Wang, W., Ratti, C., and Rus, D. (2020). LIO-SAM: Tightly-coupled Lidar Intertial Odometry via Smoothing and Mapping, 2020 IEEE/RSJ International Conference on Intelligent robots and Systems (IROS), Las Vegas, NV, USA. 10.1109/IROS45743.2020.9341176
6
Xu, W., Cai, Y., He, D., Lin, J., and Zhang, F. (2022). Fast-LIO2: Fast Direct LiDAR-Inertial Odometry, IEEE Transactions on Robotics. 10.1109/TRO.2022.3141876
페이지 상단으로 이동하기