1. 서 론
2. 선행 연구 분석
3. 작업 형태 지시 해석 방법론
3.1 궤적 형상 분류
3.2 궤적 형상 적합
4. 실험 및 결과 분석
4.1 실험 환경 및 설정
4.2 결과 분석
5. 결 론
1. 서 론
건설 분야에서 로봇의 적용 범위가 점차 확대되면서 페인팅 로봇, 벽돌 쌓기 로봇 등 다양한 용도의 건설 로봇이 활용되고 있다(Bock and Linner, 2016). 그 중 특히 드릴링, 레이아웃, 용접과 같은 도면 기반 작업에서 로봇이 도면 데이터를 활용해 자동으로 작업을 수행함으로써, 높은 천장 등 사람이 접근하기 어려운 위치에서의 작업이 가능해지며 작업자의 신체적 부담을 줄일 수 있음을 확인하였다(Brosque et al., 2020). 그러나, 건설 현장에서는 도면에 명시되지 않은 작업을 즉각적으로 수행하거나, 작업 대상의 크기, 위치 등을 변경하는 상황이 빈번하게 발생하며, 이러한 예외적인 작업들은 기존의 자동화 프로세스에 의해 처리되기 어렵다(Yoon et al., 2023a). 이와 같은 작업 상황에서 로봇 시스템의 이점을 활용하기 위해서는 작업자의 직관적 의사 결정과 인간-로봇 간의 빠르고 정확한 소통이 필수적이다. 이에 따라 작업자는 작업 대상의 형태와 위치, 크기 등을 결정하여 로봇에 전달하고, 로봇은 이를 토대로 작업을 수행해야 한다. 이때 작업자가 로봇에 전달하는 지시는 “작업 형태 지시”로 정의할 수 있다. 작업 형태 지시는 인간의 제스처(Yoon et al., 2023b)나 레이저 포인터(Sprute et al., 2019) 등의 도구를 통해 작업 대상의 위치와 형상을 표현하는 방식으로 이루어지며, 이는 사람 간의 소통에서 대상의 위치를 명시하거나 강조하는 방식과 유사하여, 작업자의 결정을 로봇에 즉각적으로 전달하는 데 효과적이다(Yoon et al., 2023a).
하지만 작업 형태 지시 과정에서 작업자의 의도하지 않은 미세한 움직임, 특히 손 떨림과 같은 현상은 불가피하며, 이로 인해 작업자가 의도한 형상을 정확하게 전달하는 것은 사실상 불가능하다(Ercan Jenny et al., 2020). 로봇은 센서를 통해 인식된 작업 지시를 기반으로 작업을 수행하므로, 이러한 지시 오류는 작업 품질을 저하시키며, 로봇의 작동 오류를 초래하기도 한다(Yoon et al., 2024). 또한, 건설 현장에서는 곡면이나, 기하학적 패턴의 패널과 같은 다양한 표면을 대상으로 하는 작업이 자주 이루어진다(Gui et al., 2021; Zhou et al., 2021). 이와 같은 표면 형상들은 작업 궤적의 복잡성을 증가시켜, 로봇이 작업 형태 지시로부터 경로를 정확하게 추적하여 작업을 수행하는 것을 더욱 어렵게 만든다(Shah et al., 2023). 작업 형태 지시의 불확실성을 최소화하고 명확한 궤적을 생성하기 위한 다수의 접근법이 제시되었지만, 이들은 방향 전환 등의 정밀한 움직임을 구현하기 어려워 작업자의 의도를 충실히 반영하지 못하거나(Dagioglou et al., 2021; Park et al., 2012), 2차원 평면 상의 궤적을 대상으로 하여 건설 현장에 존재하는 다양한 3차원 형상의 부재를 다루기에 적합하지 않다는 한계를 가지고 있다(Li et al., 2022; Yoon et al., 2024).
따라서, 본 연구는 건설 현장 내 다양한 형상의 부재에 대하여, 작업자의 미세한 움직임으로 인한 오차를 포함하는 작업 형태 지시로부터 작업자가 의도한 형태의 윤곽선을 정확하게 추론하는 방법을 제안한다. 특히, 천장에 위치한 타겟에 대한 작업 형태 지시를 해석하여 로봇이 물리적 작업을 수행할 수 있도록 함으로써, 천장 작업 중 발생할 수 있는 전도 및 추락 사고를 예방하고 작업자의 안전을 확보하는 것에 중점을 둔다(Nadhim et al., 2016). 또한, 건설 작업에서의 활용 빈도가 높은 원형(Park et al., 2015), 직사각형(Yoon et al., 2024), 선분(Lee et al., 2022) 형태의 지시를 해석하여, 배관 통로나 점검구 형성, 물체의 너비 및 높이 표시 등의 작업에서 로봇과의 효율적인 협업을 실현하는 것을 목표로 한다.
본 연구에서는 천장에 위치한 부재의 절단 작업을 위해 8명의 참가자가 레이저 포인터를 통해 로봇에 제공한 작업 형태 지시의 궤적 데이터를 수집한 뒤, 제안하는 방법론을 적용하여 최적화된 로봇 작업 궤적을 도출하고, 그 궤적과 실제 도안 간의 평균 제곱근 오차(Root Mean Squared Error, RMSE)를 계산함으로써 해당 기법의 효과를 검증한다.
2. 선행 연구 분석
작업 형태 지시를 기반으로 한 인간-로봇 협업은 (1) 작업자가 대상 부재에 대해 형태 지시를 수행하고, (2) RGB-D 카메라와 같은 센서를 통해 해당 형태 지시의 궤적을 인식하여 3차원 점군 데이터(Point cloud)의 형태로 획득한 후, (3) 궤적 데이터를 분석하고, (4) 이를 바탕으로 로봇이 작업을 계획하여 실행하는 절차로 이루어진다(Shibata et al., 2011). 본 연구는 이 중 세 번째 단계에 중점을 둔다.
다수의 선행 연구들이 궤적 데이터를 효과적으로 분석하기 위한 다양한 접근을 시도해왔으며, 작업 형태 지시가 나타내는 궤적을 로봇의 작업 궤적으로 변환하는 가장 기본적인 방법은 스플라인 곡선을 통해 원시 데이터(Raw data)로부터 매끄러운 궤적을 생성하는 것이다. 예를 들어, Dagioglou et al.(2021)의 연구에서는 사람의 움직임으로 로봇을 제어할 때, 엔드 이펙터(End effector)가 사람의 시연을 정확하고 부드럽게 재현하도록 하기 위하여 RGB-D 카메라를 사용해 사람의 손목 위치를 추적한 후, 추적한 궤적을 베지어 곡선(Bezier curves)을 이용하여 평활화하였다. 또한 Braglia et al.(2023)는 로봇의 작업 궤적을 부드럽게 유지하면서, 장애물을 감지했을 때 경로의 국부적인 수정을 가능하도록 하기 위해 B-Spline을 활용하여 곡선 궤적을 생성하였다. 이러한 스플라인 곡선 기반 경로 평활화 방법은 궤적의 부드러움과 연속성을 보장하지만, 뚜렷한 곡률 변화나 방향 전환이 필요한 상황에서도 이를 자연스럽게 완화하려는 특성 때문에 매끄러운 경로와 정확한 형태를 동시에 구현하기 어려워 궤적이 왜곡될 수 있다는 한계가 있다(Ravankar et al., 2018).
작업 형태 지시를 해석하여 로봇의 작업 경로를 최적화하기 위하여 회귀 분석을 통한 궤적 형상 적합(Shape fitting)을 활용하는 방법도 제시되었다. Chao et al.(2014)의 연구에서는 최소제곱법 기반의 회귀 분석을 통해 인간이 제시한 필획 데이터에서 잡음을 제거하여 매끄러운 필체를 생성하였으며, Li et al.(2022)는 레이저 포인터를 활용하여 사용자가 생성한 궤적에 최소제곱법을 적용하여 이산 좌표를 매끄러운 곡선으로 변환하였다. 최근에는 작업 형태 지시를 통해 건설 로봇과 협업하기 위해 레이저 포인터를 활용하여 로봇에 작업 지시를 제공하고, 레이저 포인트들이 나타내는 궤적에 형상 적합을 적용하여 작업자가 의도한 형상을 높은 정확도로 도출하였다(Yoon et al., 2024). 이와 같이 회귀 분석 기반의 접근 방식이 작업 형태 지시를 안정적으로 해석하여 로봇의 작업 궤적을 최적화할 수 있었지만, 관련 연구들은 대부분 2차원의 평면을 대상으로 하는 작업 형태 지시를 해석하는 방법을 제시하고 있기 때문에, 이를 곡면이나 패턴이 있는 표면, 비정형 표면 등 건설 현장의 다양한 부재를 대상으로 하는 작업에 적용하기 위해서는 추가적인 연구와 검증이 필요하다.
따라서, 본 연구는 건설 현장에서의 작업 형태 지시를 통한 인간-로봇 협업을 효율화하기 위하여, 회귀 분석을 기반으로 작업자가 로봇에 제공한 작업 형태 지시의 궤적을 로봇이 작업할 형상으로 변환하는 방법을 제시한다. 기존 제시된 2차원 형상 적합 방법을 확장하여, 복잡한 3차원 형상의 부재에 대한 작업 형태 지시에도 로봇이 작업자의 의도를 정확하게 해석하고 반영할 수 있는 기법을 개발 및 평가한다.
3. 작업 형태 지시 해석 방법론
본 연구에서 제안하는 회귀 분석 기반 작업 형태 지시 해석 방법론은 다음과 같은 단계를 포함한다(Fig. 1): (1) 궤적 형상 분류(Trajectory shape classification), (2) 궤적 형상 적합(Trajectory shape fitting).
3.1 궤적 형상 분류
최소제곱법 기반의 회귀 분석 통해 작업 형태 지시의 궤적을 최적의 로봇 작동 경로로 변환하는 과정은 각 형상별 기하학적 매개 변수(e.g., 원의 중심 좌표와 반지름)들을 필요로 한다. 따라서 궤적이 원, 직사각형, 선분의 세 가지 형상 중 어떤 유형에 해당하는지를 자동으로 결정함으로써, 추가적인 형상 정보의 입력 없이 로봇 궤적의 최적화를 수행할 수 있다. 이러한 이유로, 작업자가 의도한 궤적의 위치와 형상을 추정하기 위한 초기 단계는 작업 형태 지시의 궤적을 사전 정의된 세 가지 형상 중 하나로 분류하는 것이다. 작업 형태 지시의 궤적은 RGB-D 카메라로 프레임마다 추출되며, 이 데이터는 3차원 좌표로 변환되어 점군 형식으로 수집된다. 이때 작업 지시의 속도에 따라 점군 데이터의 밀도가 달라질 수 있으므로, 이를 효과적으로 처리하기 위해 분류 모델로는 3차원 점군의 지역적, 전역적 특징을 동시에 학습하는 계층적 학습 방식을 통해 다양한 밀도의 점군 데이터를 효율적으로 분류하는 PointNet++(Qi et al., 2017)를 채택한다.
3.2 궤적 형상 적합
궤적 형상 적합은 작업 형태 지시의 3차원 점군 데이터를 입력으로 하여, 형상 유형에 따른 최적화 과정을 통해 최종적으로 로봇의 엔드 이펙터가 이동할 경로를 산출하는 것이다.
먼저, 3차원의 궤적 점군 데이터를 천장 평면에 투영한 2차원 점군 데이터에 대하여 최적의 형상을 나타내는 매개변수들을 계산하기 위해, 잔차(Residual) 제곱합이 최소화될 때의 매개변수를 계산하는 최소제곱법 기반의 회귀 분석을 적용한다(Fig. 2).
이때 최소 제곱 문제를 해결하는 최적화 기법으로는 Levenberg-Marquardt 알고리즘을 적용하며, 각 형상 유형 별 잔차 계산 방법은 Table 1과 같다(Moré, 1978).
Table 1.
Residuals for data points
| Parameters () | Residuals () | Remarks | |
| Circle | : Distance between and | ||
| Rectangle | : 2D rotation matrix for | ||
| Line | Linear equation: |
최종적으로, 이렇게 도출된 매개변수를 기반으로 생성된 형상은 RGB-D 카메라 이미지의 픽셀 별 깊이 정보와 결합되어 실제 타겟의 형상을 반영한 3차원 궤적으로 변환된다(Fig. 3).
4. 실험 및 결과 분석
4.1 실험 환경 및 설정
본 연구에서 제안하는 방법론이 작업 형태 지시를 정확하게 해석하여 로봇의 경로 계획에 활용될 수 있는지 검증하기 위해, 천장에 위치한 부재를 대상으로 하는 작업 시나리오를 구성하고 해당 방법론을 적용하여 평가하였다.
참여자들은 로봇과 약 2.0m 거리에서 상호작용하며, 로봇이 드릴을 이용해 천장에 위치한 대상 부재에 대해 절단 작업을 수행하도록 절단 형상을 지시하였다. 이때 절단 작업의 대상이 되는 부재는 건설 현장에서 활용되는 다양한 형상의 재료를 포괄하기 위해 평면, 곡면, 그리고 기하학적 패턴을 가진 표면으로 설정하였으며, 이에 따라 참여자들은 각각의 부재에 대해 원, 직사각형, 선분 형태의 도안을 따라 절단 작업 형태 지시를 각 5회씩 수행하였다(Fig. 4). 또한, 작업 형태 지시의 도구로는 사용자에게 시각적 피드백을 제공하여 로봇과의 협업에 익숙하지 않은 작업자도 직관적으로 작업 형태를 지시에 활용할 수 있는 레이저 포인터를 선택하었다 (Sprute et al., 2019; Yoon et al., 2024). 이와 같은 작업 시나리오에서, 총 8명의 참여자들이 지정된 위치에서 3개의 부재에 대해 순차적으로 레이저 포인터를 사용해 작업을 지시하였으며, RGB-D 카메라가 지시에 따라 부재 위에 생성되는 레이저 포인트의 움직임을 촬영하여 데이터를 수집하였다(Fig. 5).
데이터는 Intel RealSense D435 RGB-D 카메라를 통해 획득되었다. 이 카메라는 KUKA KR 6 R 900 6-DoF 매니퓰레이터(Manipulator)에 장착되어 640 × 480 해상도의 RGB 및 깊이 이미지를 초당 30프레임(FPS)으로 생성하며 작업자가 절단하고자 하는 부재와 레이저 궤적을 촬영하였다(Fig. 6). 참여자들이 작업 지시에 사용한 레이저 포인터는 빨간색 레이저를 방출하므로, 각 프레임의 RGB 이미지를 HSV(Hue-Saturation-Value) 이미지로 변환한 후, 실험적으로 결정한 빨간색의 HSV 범위([0, 50, 70]에서 [10, 255, 255] 또는 [170, 50, 70]에서 [180, 255, 255])에 해당하는 픽셀의 좌표를 감지하였다. 이렇게 감지된 프레임별 레이저 포인트의 픽셀 좌표와 해당 픽셀의 깊이 정보를 활용하여 좌표계 변환을 수행함으로써 3차원 점군 형식의 궤적 데이터를 수집하였다(Fig. 7).
4.2 결과 분석
4.2.1 궤적 형상 분류
각 부재, 절단 형태별로 5회씩 수행된 작업 지시 중, 3회에 해당하는 데이터를 통해 3차원 점군 데이터의 분류를 수행하는 PointNet++ 모델을 학습하였으며, 이때 ModelNet10 데이터셋(Wu et al., 2015)을 기반으로 전이 학습을 수행하였다(Table 2).
Table 2.
Hyperparameter settings
| Hyperparameter Options | Settings |
| # of points | 64 |
| Learning rate | 0.001 |
| Optimizer | Adam |
| Decay rate | 1e-4 |
| Epochs | 200 |
학습에 사용되지 않은 데이터를 활용하여 분류 성능을 검증한 결과, 궤적 형상 분류에서 100%의 정확도를 달성하였다(Fig. 8).
4.2.2 궤적 형상 적합
본 연구에서 제안하는 회귀 분석 기반 궤적 형상 적합 방법이 작업자의 형태 지시로부터 실제 의도한 형상을 얼마나 정확하게 추정할 수 있는지 평가하기 위하여, 참여자들에게 제공된 도안의 윤곽선과 제안된 방법을 통해 추정된 형상 간의 오차를 측정하였다. 이는 RMSE를 통해 계산되었으며, 실제 도안과 추정된 형상에서 균등하게 100개의 점을 샘플링(Sampling)한 후, 각각의 대응되는 점들 간의 오차를 계산하여 RMSE 값을 산출하였다.
또한, 비교를 위하여 B-Spline 곡선을 통해 데이터 포인트들을 연결하는 궤적 평활화 기반 작업 형태 지시 해석 방법을 베이스라인으로 설정하였다. 이 방법은 노이즈를 포함한 데이터로부터 매끄러운 곡선을 생성하며, 경로의 국소적 제어를 가능하게 하여, 베지어 곡선 등 다른 스플라인 보간법에 비해 상대적으로 정밀한 경로 형성이 가능하다(Ravankar et al., 2018). 이를 적용한 궤적에서도 동일한 방식으로 100개의 점을 균등하게 샘플링하여, 해당 점들과 실제 도안의 대응되는 점들 간의 오차를 계산하였다.
Fig. 9는 8명의 참여자가 레이저 포인터를 활용하여 제공한 작업 형태 지시를 각각 회귀 분석 기반의 형상 적합 방법, B-Spline 보간법을 통해 최적화한 궤적과 실제 도안 간의 오차를 보여준다.
두 방법의 성능을 객관적으로 비교하기 위하여 대응 표본 t 검정(Paired t-test)을 수행하였다. 8명의 참여자가 평면과 곡면, 기하학적 패턴을 포함한 표면에 지시한 원형, 직사각형, 선분 형태의 절단 형상의 궤적 데이터 중 검증에 활용한 각 16개의 샘플에 대하여, 두 방법을 적용한 궤적의 오차를 대응 표본 t 검정을 통해 비교한 결과는 Table 3과 같다.
Table 3.
Results of paired t-test
이와 같이, 본 연구에서 제안한 회귀 분석 기반 작업 형태 지시 해석 방법이 B-Spline 보간법에 비하여 9개의 작업 시나리오에서 모두 유의미하게 낮은 오차를 나타냈다.
Fig. 10은 3가지 형상의 부재와 3종류의 절단 형태에 대한 작업 지시의 궤적에 형상 적합 방법을 적용하여 추정한 작업 궤적의 예시이다. 부재 형상에 무관하게 안정적으로 절단 작업을 위한 궤적을 추론할 수 있음을 확인할 수 있다.
5. 결 론
본 연구는 건설 현장에서 로봇을 활용하여 작업을 수행함에 있어 계획 변경 등의 변수에 유동적으로 대처하기 위하여, 최소제곱법 기반의 회귀 분석을 통해 작업 형태 지시로부터 작업자가 의도한 작업 궤적을 추론하는 방법을 제시하였다. 이는 다양한 형상의 부재에 대한 작업 형태 지시에서 작업자의 손 떨림 등으로 인한 잡음을 효과적으로 제거하여 건설 작업에서 가장 빈번하게 활용되는 원형, 직사각형, 선분 형태의 작업 지시를 정확하게 해석함으로써 로봇이 안전하고 정밀하게 작업을 수행할 수 있도록 한다. 특히 본 연구에서 제안하는 작업 궤적 추정법은 천장 작업에서 작업자의 안전 확보를 위해 천장에 위치한 부재를 대상으로 하는 작업 형태 지시의 해석에 중점을 두며, 레이저 포인터를 활용한 작업 형태 지시를 통해 로봇과 협업하여 천장에 위치한 부재의 절단을 수행하는 시나리오에서 해당 방법의 정확도를 평가한 결과, 작업자가 의도한 작업 궤적을 안정적으로 추론할 수 있음을 확인하였다.
다만, 본 연구는 실험실 환경에서 수행되었기 때문에, 실제 건설 현장에서의 추가적인 검증을 통해 연구 결과의 실효성을 확인하는 과정이 필요하다. 또한 추후에는 연구에서 제안한 프로세스를 천장 작업 뿐 아니라 다양한 각도와 위치의 부재를 대상으로 하는 작업에도 적용 가능하도록 확장할 계획이다. 이로써 부재 절단, 도색, 용접 작업 등 도안을 기반으로 하는 건설 작업을 보다 효율적으로 수행할 수 있을 것이며, 나아가 본 기술이 육체적, 정신적 부담이 큰 작업으로부터 인간 작업자를 보호함으로써 작업 안전성과 생산성을 향상하는 데 기여할 수 있을 것으로 기대된다.
