1. 건설 로봇의 동향

건설에서 로봇의 도입이 증가하고 있다. 지금까지의 사람 지배적인 환경과는 달리, 앞으로의 건설환경은 건설 근로자와 로봇이 물리적, 상호작용적으로 공존하는 환경이 될 것으로 예상된다.

1.1 건설 로봇의 증가

최근 전세계적으로 건설산업의 로봇 도입 증가로 인해 점차 다양한 로봇을 건설현장에서 볼 수 있다. 예를 들어, bricklaying 로봇(Dormehl, 2017), 건설용 3D 프린터(Gagliordi, 2018), rebar-tying 로봇(Johnson, 2018), unmanned aerial vehicles (UAV)(Ashour et al., 2016), unmanned ground vehicles(UGV) (Boston Dynamics, 2022), 휴머노이드(McSweeney, 2017) 등 다양한 건설 작업을 수행할 수 있는 로봇들이 새롭게 현장에 투입되고 있다. 또한, 덤프트럭, 굴삭기, 불도저 등과 같은 기존의 건설 기계들을 로봇화(즉, 자동화)하는 사례도 증가하는 중이다(Brown, 2019). 이렇듯이, 로봇 기술과 인공지능의 발달에 힘입어 로봇이 투입될 수 있는 건설 작업과 환경이 점차 확장되고 있어 앞으로 더욱 다양한 건설 로봇을 마주할 것으로 예상된다.

1.2 Human-Robot Collaboration

건설 작업은 대부분 상당한 육체적 능력을 필요로 한다(Barbosa et al., 2017). 로봇은 사람들을 대신하여 위험하거나 육체적으로 힘든 건설 업무들에 투입되어 보다 생산적이면서도 안전한 건설환경을 조성하는 데 기여할 것으로 예상된다. 그러나 한편으론, 이러한 로봇의 유망한 가능성은 건설에서 사람의 역할과 영향력을 감소시켜 많은 근로자가 실직의 위협에 직면하게 될 것이라는 우려를 야기하고 있다(Ruggiero et al., 2016). 하지만, 많은 로봇들은 여전히 사람의 문제 해결 능력(problem- solving)이나 의사 결정 능력(decision-making)과 같은 사람의 지능적인 역량에 의존적이다(Vysocky and Novak, 2016). 동적이고 구조화하기 어려운 건설환경의 특성으로 인해 건설의 완전한 자동화는 아직 미래의 일로 여겨지는 것이 사실이다. 따라서, 앞으로의 건설은 로봇과 건설근로자가 긴밀하게 협업하며 공존하는 공간이 될 것으로 예상된다(Vysocky and Novak, 2016). 이러한 새로운 환경에서도 기존 근로자들의 경험과 전문성은 사람과 로봇의 협업에 있어 여전히 귀중한 자원이 될 것이다. 또한, 줄어든 육체적 부담은 장애인, 여성인력 등의 다양하고 능력 있는 새로운 인력의 고용을 활발하게 할 것으로 예상된다. 따라서, 건설 로봇 기술의 발전은 건설에서 로봇(육체적) 과 사람(지능적)의 역할을 각각 활성화하여 조화로운 협업 관계를 형성케 하고 다양한 업무에서 기존의 성과를 능가하는 동시에 안전의 위협을 개선하고, 또한 건설인력을 다양화하는 등 건설 산업 전반에 걸쳐 상당히 긍정적인 기여를 할 수 있는 기회가 될 수 있다.

2. 로봇 공감의 필요성

이러한 로봇의 건설에서의 성공적인 도입을 위해서는 사람에 대한 이해를 바탕으로 한 로봇의 공감 능력이 필수적이다.

2.1 인적 요인의 중요성

일반적으로 로봇의 도입에 대한 평가는 정량적 요소(예, 생산성, 효율성 등)에 집중한다(Kopp et al., 2021). 하지만, 로봇의 성공적인 도입에 있어서 정량적 가능성만큼 중요한 것이 로봇에 대한 인적 요인의 이해이다(Baumgartner et al., 2022). 사람이 로봇에 위협을 느끼거나 협업을 위한 동료로 받아들이는 데 거부감을 가지고 로봇과의 신뢰가 형성되지 않는다면 로봇의 가능성에도 불구하고 성공적인 도입에 실패할 수 있다(Baumgartner et al., 2022). 따라서, 새로운 협업 로봇의 성공적인 도입을 위해서는 기술적인 측면 외에도 로봇에 대한 사람들의 친근하고 우호적인 이미지를 형성하는 과정을 통해 신뢰를 쌓는 것이 필요하다. 그러나, 여기서의 문제는 개개인의 경험과 상황, 선호도 등에 따라 같은 로봇에 대한 평가도 다를 수 있다는 것이다(Yi et al., 2005). 예를 들어, 같은 로봇의 속도나 거리에 대해 누군가는 편안함을 느끼는 반면 다른 누군가는 스트레스와 위협을 느끼기도 한다(Butler and Agah, 2001; Arai et al., 2010). 로봇과의 협업에 대한 거부감을 줄이고 효과적이고 안전한 로봇의 협업을 달성하기 위해서는 로봇이 사람들의 다양성을 고려하여 모두에게 신뢰를 형성할 수 있는 방안들이 요구된다.

2.2 공감적 행동이 가능한 로봇의 필요성

공감은 상대방에 대한 이해를 말하며 협업에서 중요한 요소이다(Wang et al., 2014). 공감을 통한 이해와 이해에 기반한 행동은 우호적이고 화합적인 환경을 조성하며 효과적인 협업을 가능하게 한다. 즉, 로봇이 스스로의 행동에 대해 사람이 어떻게 반응할지 예상하고 그에 따라 다음 행동을 결정할 수 있다면, 앞서 말한 사람들의 다양성에도 불구하고 모두에게 친근하고 화합적인 협업도 어느정도 실현이 가능 할 것으로 예상된다. 하지만, 현재의 대다수의 로봇은 단순히 사람의 명령을 맹목적으로 따르는 공감이 결여된 행동을 하도록 설계되어 있다. 예를 들어, 센서 기술과 인공지능의 발달 덕분에 hand gesture, speech, brainwave 등 사람이 로봇에게 전달할 수 있는 정보들이 다양화되고 있다(Wu et al., 2016; Paliwal and Yao, 2010; Mohammed and Wang, 2018). 이러한 정보는 사람의 상태를 유추하는데 효과적으로 사용될 가능성이 있다. 하지만, 대다수의 로봇 시스템은 그러한 다양한 정보를 단순히 명령의 입력 값으로만 생각할 뿐이다(Wu et al., 2016; Paliwal and Yao, 2010; Mohammed and Wang, 2018). 사람의 협력자로서 사람에게 신뢰를 얻고 사람과 효과적인 협업을 하기 위해서는 로봇 또한 공감적 능력을 갖추는 것이 필수적이다.

3. 로봇 공감을 위한 DPM의 연구

공감적 행동이란 사람에 대한 이해와 이해에 기반한 행동의 변화를 의미한다. 미시간대학의 DPM 연구실은 다양한 센서와 인공지능을 활용하여 사람에 대한 포괄적인 이해(육체, 정신, 감정)를 위해 연구한다. 또한, 사람에 대한 이해는 로봇의 능동적인 공감적 행동을 구현하기 위한 로보틱스 연구로 이어진다.

3.1 사람에 대한 이해

다양한 웨어러블 센서와 비전(이미지 혹은 영상) 정보를 활용하여 주변 환경에 대한 사람의 육체적, 정신적, 감정적 반응들을 이해하기 위한 연구들이 있다.

3.1.1 생체 신호

사람의 생체 신호(예, electroencephalogram(EEG), electrodermal activity(EDA), photoplethysmogram(PPG))는 사람의 복합적인 상태 및 인지 등을 파악하는데 유용한 정보를 담고 있다. 또한 웨어러블화 되어 현장 적용성이 높아지고 있다. DPM 연구실에서는 EEG headset(Fig. 1(a)), wristband biosensor(Fig. 1(b)) 등 과 같은 다양한 웨어러블 센서를 사용하여 사람들의 생체 신호를 취득하고 이를 기반으로 주변 환경에 대한 사람의 육체적(Jebelli et al., 2020), 정신적(Choi et al., 2019), 감정적(Jebelli et al., 2017)인 상태를 이해하기위한 연구들을 수행하였다. 이러한 연구는 로봇과의 협업 중 사람의 로봇에 대한 육체적, 정신적, 감정적인 반응을 파악하여 로봇으로 하여금 사람에 대한 공감적 능력을 갖추기 위한 밑바탕이 될 것이다.

Figure 1.

Wearable biosensors: (a) EEG Headset(Emotive EPOC Flex^TM); (b) Wristband Biosensor(Empatica E4)

3.1.2 비전

행동 분석은 생체 신호와 별개로 사람의 상태를 파악하기위한 또 다른 지표가 될 수 있다(Abtahi et al., 2017). 시간이 흐름에 따라 누적된 육체적, 정신적, 감정적 피로는 사람의 행동에 변화(예, 위치, 자세 등)를 야기할 수 있다. 예를 들어, 사람은 피로나 스트레스를 유발하는 요소를 제거하거나 그러한 상황에서 벗어나고자 하는 행동을 보이는 경향이 있다(Helbig- Lang and Petermann, 2010). 따라서, 계속적인 사람의 행동 변화를 관찰하고 추적하는 연구는 생체 신호와 더불어 사람의 복합적인 상태를 유추하고 이해하는데 중요한 정보를 제공할 수 있다(Abtahi et al., 2017). DPM 연구실에서는 컴퓨터 비전 기술과 딥러닝을 활용하여 Fig. 2에 보이듯 건설 근로자와 건설 기계들의 위치 변화를 추적 및 예측하기위한 연구들이 수행되어 왔다(Kim et al., 2019; Kim et al., 2020a; Kim et al., 2020b). 위치 변화 외에도, Fig. 3과 같이 건설 근로자들의 시간에 따른 자세의 변화를 추적하고 변화를 파악하기 위한 human pose estimation 관련 연구들이 있다(Liu et al., 2016; Han et al., 2012). 이러한 연구들은 사람과 로봇이 협업하는 동안 사람과 로봇의 상대적인 움직임(예, 위치 및 자세)을 분석하여 사람의 로봇에 대한 반응을 이해하고 나아가 로봇의 공감 능력을 발전시키는 기반이 될 수 있다.

Figure 2.

Proximity prediction using computer vision based deep learning analysis

Figure 3.

Pose estimation for behavior analysis: (a) Image; (b) 2D pose estimation; (c) 3D reconstruction of skeleton

3.2 로봇의 학습

로봇의 공감적 행동을 위해선 상황에 따른 능동적인 행동능력을 갖추어야한다. 맹목적인 명령의 수행이 아닌 주어진 상황에 능동적으로 대처하는 로봇 행동을 구현하기 위한 로보틱스 연구들이 있다.

3.2.1 디지털 트윈

디지털 트윈은 현실과 동기화된 가상환경에 실제 로봇과 똑 같은 쌍둥이 로봇을 생성하고 가상환경에서의 분석을 실제 로봇에도 적용할 수 있도록 하는 기술이다(Fig. 4). DPM 연구실에서는 디지털 트윈을 활용한 연구들을 수행하여 왔다(Lee et al., 2021; Lee and Lee, 2021). 실제와 동기화가 이루어진 가상환경은 공간적, 시간적, 비용적 자율성을 바탕으로 다양한 환경 및 시나리오를 시뮬레이션 하기 유용하며 이러한 강점은 실제 환경의 로봇에 비해 효율적으로 로봇 행동의 최적화를 달성할 수 있도록 한다. 최적화된 로봇의 행동 메커니즘은 실제 로봇에 즉각적으로 반영할 수 있다. 따라서, 디지털 트윈은 가상환경에서의 선제적인 테스트를 통해 현실 로봇의 최적화된 행동을 실현할 수 있다. 이러한 연구는 가상 환경에서의 다양한 사람 로봇간 협업 시나리오들을 재현한 후 다양한 사람 반응들에 대해 최적화된 로봇의 공감적 행동을 구현하는 기반이 될 수 있다.

Figure 4.

Digital Twin of Robot: (a) Real Robot; (b) Virtual Twin of the Real Robot

3.2.2 강화학습

DPM 연구실에서는 강화학습을 활용한 연구들을 수행하여 왔다. 강화학습은 지도학습, 비지도학습과 함께 머신러닝을 대표하는 한 영역이며 로봇(혹은, agent)의 행동을 학습하는 데 최적의 방법 중 하나이다. 로봇은 현재의 상태에서 선택 가능한 행동들 중 가장 보상이 큰 행동을 선택하는 능력을 학습한다. 일반적으로 강화학습은 로봇으로 하여금 공간적, 시간적, 비용적 자율성이 뛰어난 가상 환경 안에서 다양한 상황들을 직접 겪으며 수많은 시행착오를 통해 주어진 상황의 변화에 능동적으로 대응하는 방법을 학습하도록 한다(Fig. 5). 이러한 연구는 협업 상황에서 작업을 효율적으로 완수하면서 동시에 사람에게 우호적인 환경을 조성하도록 하는 로봇의 능동적인 공감적 행동을 구현하는 기반이 될 수 있다.

Figure 5.

Construction robot training using Reinforcement Learning in a virtual environment

3.3 공감적 협업 로봇

사람에 대한 깊은 이해와 능동적인 로봇 행동을 구현하기 위한 DPM 연구실의 선행 연구들은 현재의 공감적 협업 로봇 구현을 위한 연구로 이어진다. 본 연구는 로봇의 사람에 대한 이해(공감)를 위한 단계와 이해에 기반하여 로봇의 공감적 행동을 구현하기 위한 여러가지 단계의 연구로 구성되어 있다.

첫 단계에서는 다양한 협업 환경(예, 로봇의 속도, 로봇과의 거리 등)에 대한 사람의 육체, 정신, 감정의 피로도 간의 상관관계를 통계적 모델로 분석한다(Fig. 6). 사람의 복합적인 상태(육체, 정신, 감정)를 파악하기 위해 생체 신호와 컴퓨터 비전을 통한 행동 분석 등 다양한 선행 방법들이 포괄적으로 적용되고 있다. 이러한 사람에 대한 이해를 토대로 다음 단계에서는 강화학습을 사용하여 로봇이 사람과 협업하는 동안 작업의 성과 뿐 아니라 사람의 육체적, 정신적, 감정적 상태를 최적으로 형성하기 위한 로봇 행동을 학습한다. 또한 인간의 생체 신호를 이용하여 로봇을 조정하는 연구도 진행중이다.

이러한 연구는 건설에서 사람과 로봇과의 공감적 협업의 효율성과 안전성을 입증하고 협업에 있어서 공감의 중요성을 더욱 확고히 하는 데 기여할 것으로 예상한다.

Figure 6.

Ongoing HRC study at DPM

4. 결 론

사람과 로봇이 점차 긴밀하게 공존하는 앞으로의 건설환경에서는 로봇의 공감적 행동이 필수적이다. 로봇의 육체적 능력으로 인해 지능적 능력이 더욱 주목받을 앞으로의 건설 인력은 더욱 다양한 인력의 유입(예, 장애인, 여성인력)을 활성화할 것으로 전망된다. 다양한 사람과의 협업 상황에서 로봇의 사람에 대한 깊은 이해(공감)와 그에 따른 능동적인 행동적 대응은 사람 협력자로 하여금 로봇에 대한 우호적인 인식과 신뢰 형성을 가능케하여 더욱 효과적이고 안전한 건설환경에 기여할 것으로 전망된다.