1. 서 론
1.1 연구의 배경
2. 문헌고찰
2.1 시간 제약과 작업생산성 관련 연구
2.2 이론적 고찰
3. 원격조종 VR 모델 실험환경 개발
3.1 건설 로봇 및 시나리오 설정
3.2 실험환경 설계 및 장비
3.3 실험 구성 및 프로세스
4. 결 과
4.1 인간-로봇 상호작용(HRI) 작업 생산성
4.2 작업자 인지 부하
5. 결 론
1. 서 론
1.1 연구의 배경
안전에 대한 관심이 높아지고, 동시에 인공지능(AI), 정보통신기술(ICT), 센서기술 등이 발전하면서 건설 현장의 고위험 작업에 로봇 기술을 도입하려는 건설자동화에 산/학계에서 많은 관심을 보이고 있다. 이러한 건설 로봇은 사람을 대신해 고위험 작업을 하고, 근본적으로 사람을 위험한 작업환경으로부터 떼어놓고 안전하게 작업할 수 있는 환경을 제공해주기 때문에 이에 대한 수요가 증가하고 있다(Lee et al., 2022). 하지만 가까운 미래에 모든 작업현장에서 건설 로봇들이 완전 자동화가 되어 사람들을 대체하리라 기대하기에는 여러 현장 작업 환경을 고려할 때 쉽지 않은 일이다.
건설 현장은 제조업처럼 정형화 및 구조화되어 어렵지 않게 통제할 수 있는 환경이 아니고 지속적으로 다양한 내‧외부 요인들에 영향을 받으며 작업환경이 변화하고 날씨에 영향을 받는 실외작업이 많다(Lee and Ham, 2022). 이러한 특수성을 고려할 때, 현재 기술로는 건설 로봇의 완전 자동화를 구현하기에 제약이 많고, 앞으로도 자동화 관련 기술 개발 및 연구가 많이 되어야할 것이다. 그래서 가까운 미래에는 완전 자동화의 전 단계인 원격조종(Teleoperation) 형태의 건설 로봇이 현장에서 많은 부분을 차지할 것으로 기대된다. 원격조종(Teleoperation)은 자동화 단계의 한 단계로서 수동 조작(Manual operation)과 완전 자동화(Full automation)의 중간단계로, 사람(Human operator)이 건설 로봇을 멀리서 조작하는 것을 의미한다.
원격조종은 사람이 건설 로봇에 직접 탑승하여 직접 주변 상황을 파악하고 운전/조종을 하는 수동 조작과 다르다. 원격조종에서는 조종자와 로봇 간에 거리가 있기 때문에, 인간과 로봇은 중간 매개체인 인터페이스(Interface)를 통해서 명령/정보를 주고받으면서 상호작용을 한다(Fig. 1 참고). 운전수(Human operator)는 건설 로봇이 놓여있는 건설현장의 상황을 파악하고 인터페이스를 통해 로봇에 작업명령을 내려야한다. 그리고 단순한 작업이라 할지라도 주변에서 건설 노동자들이나 다른 건설 장비가 움직이고 작업장이 평평하지 않고 울퉁불퉁하다면 작업이 어려워지는데, 이러한 상황에서도 중간 매개체를 통해서 안전사고 없이 작업을 잘 수행할 수 있도록 해야한다.
원격조종에서 건설 로봇의 움직임을 최종적으로 계획하고 승인하는 것은 운전수이다. 따라서 운전수가 작업 시 받는 인지 부하(Cognitive load)를 알고, 이것이 인간‧로봇 상호작용(Human-Robot Interaction)과 관련된 작업생산성(Work performance)에 어떤 관계가 있는지 규명하는 것은 안전과 생산성 측면에서 중요하다. 왜냐하면 사람은 무제한적으로 인지 부하를 받을 수 없고, 또한 일정 수준을 넘긴 과도한 인지 부하는 작업생산성을 저하시키기 때문이다. 따라서 본 연구에서는 건설 로봇 원격조종시 어려운 작업 난이도에 따른 인지 부하 및 작업생산성의 관계를 가상현실(Virtual Reality(VR)) 모델 기반 실험을 통해 알아보고자 한다.
2. 문헌고찰
2.1 시간 제약과 작업생산성 관련 연구
건설 현장에서는 날씨, 설계변경, 또는 예기치 않은 재작업 등 여러가지 요인들로 인하여 모든 작업들이 원래 계획대로 진행되기 어렵다. 이에 작업자들은 시간 제약을 느끼면서 일하는 경우가 흔하게 발생한다. 이와 관련하여 건설분야에서도 시간 제약에 관한 연구가 진행되었다. 일부 연구자는 시간 제약이 있을 때와 없을 때를 비교하면서 전선 작업자의 위험 감수 행동과 인지 부하를 MR(Mixed Reality)모델을 기반으로 실험하였고(Pooladvand and Hasanzadeh, 2022), 다른 연구자는 VR환경에서 시간 제약이 건설현장 작업자의 위험인식, 분석 및 의사결정에 어떤 영향을 미치는지 알아보기 위한 실험을 하였다(Han et al., 2021).
시간 제약(Time pressure)은 의사결정, 행동 및 작업 수행에 영향을 미치는 주요 스트레스 중 하나이며, 작업 환경을 더욱 어렵게 만드는 요인으로 알려져 있다. 과도한 시간 제약은 스트레스 뿐만 아니라 부정적인 정서적 반응, 분노, 공격적인 작업, 그리고 작업 효율성 하락을 가지고 오기도 한다(Cœugnet et al., 2013). 이에 반해 적절한 시간 제약이 주어지면 업무를 더 잘 수행할 수 있을 뿐만 아니라 만족도도 함께 올라가기도 한다. 본 연구는 실험을 통해 시간 제약이 사람에게 주는 인지 부하의 정도를 알아보고, 이것이 건설 로봇 원격조종에서의 작업생산성에 어떤 영향을 미치는지 보도록 한다.
2.2 이론적 고찰
적응형 의사결정자(Adaptive Decision Maker) 이론에 따르면 인간의 의사결정 행동은 다양한 작업 조건이나 환경을 고려하여 결정된다(Payne et al., 1993). 이 이론에 따르면 같은 사람이 동일한 작업을 수행하더라도 작업 조건이나 환경이 다르면 최종 결정이나 행동 그리고 작업생산성이 달라질 수 있다. 또한 환경과 작업 조건이 같더라도 개인이 정보처리하는 능력과 그것을 대처하는 능력에 따라 작업 결과물이 다를 수 있다. 예를 들어, 어려운 조건에서 작업을 하는 경우 숙련된 사람은 쉽게 작업을 할 수 있을 수 있으나, 비숙련된 사람은 작업을 하는데 시간이 오래 걸리거나 실수 등으로 인해 작업의 완성도가 떨어질 수도 있다. 그렇다고 숙련된 사람이라 할지라도 정보처리 능력과 스트레스 수용정도가 무한한 것은 아니다. Yerkes-Dodson 법칙에 의하면 작업 조건이 어느 정도 이상 어려워지면 숙련자든 비숙련자든 작업생산성이 떨어지게 된다(Yerkes and Dodson, 1908). 하지만 이 법칙에 따르면 적절한 작업 조건과 스트레스가 주어지면 작업생산성이 올라가기도 한다. 건설 안전사고는 숙련자보다 비숙련자가 연관 되어있는 경우들이 많기에, 본 연구에서는 비숙련자가 건설 로봇을 원격조종 할 때 작업난이도에 따른 작업생산성의 정도를 알아보고자 한다.
3. 원격조종 VR 모델 실험환경 개발
3.1 건설 로봇 및 시나리오 설정
굴착기는 현장에서 제일 많이 활용되는 대표적인 건설 로봇 ․ 기계로 토공사 시 필수적으로 쓰인다. 또한 건설 로봇 자동화 관련 연구에서 대표적인 사례로 많이 활용이 되고 있다. 이러한 점에서 굴착기를 건설 로봇으로 본 연구 실험에 활용하였다.
각 실험 참여자는 VR모델을 활용하여 굴착기를 원격조종을 하면서 실험에 참여한다. 실험 시나리오는 참가자가 굴착기를 활용하여 두 개의 매립된 관들에 닿지 않도록 하면서 그 사이에 있는 흙을 파고, 굴착기 왼편의 매립지에 흙을 내려놓는 것을 총 다섯번 수행을 하는 것이다. 각 실험 참여자는 같은 시나리오를 시간 제약이 없을 때(NTP, No Time Pressure), 약간 있을 때(LTP, Low Time Pressure), 중간정도 있을 때(MTP, Medium Time Pressure), 많이 있을 때(HTP, High Time Pressure)의 총 4번 참여한다. 매립된 관과 4가지의 다른 시간 제약은 까다로운 건설현장을 반영한 것이다.
3.2 실험환경 설계 및 장비
까다로운 작업 환경에서 건설 로봇 ․ 기계로 원격조종 시 운전수가 받는 인지 부하와 인간-로봇 상호작용 관련된 작업 성능을 보기 위한 실험환경은 다음과 같다. 실험 참여자는 3m 떨어진 110인치 디스플레이 화면을 보면서 굴착기를 두개의 조이스틱을 이용하여 원격으로 조종한다(Fig. 1 참고). 화면에서 보이는 범위는 운전수가 굴착기에 탑승했을 경우 보는 정면 시야와 동일하다. VR 시뮬레이션을 위해 사용된 컴퓨터 사양은 CPU i9-12900K, Graphic Card NIVIDIA GeForce RTX 3090, RAM 64GB이다.
3.3 실험 구성 및 프로세스
• 실험 참여자
총 6명(남성4, 여성2)의 건설관련 전공 대학원생들을 대상으로 실험을 진행하였다.
• 설문조사 및 인터뷰
VR 실험 전 설문은 참가자의 성별, 연령, 3D 게임 경험, AEC 산업에서의 업무 경험에 관한 질문으로 구성되어 있다. 각 실험 후 설문에는 인지 부하 측정에 널리 활용되는 NASA TLX 문항들을 사용하여 시간 제약 레벨에 따른 참여자의 스트레스 정도를 파악하였다(Hart, 1986).
• 본 실험
교육 세션 후 시험을 통해서 참여자가 본 실험에 참여할 수 있을 정도의 능력을 갖추었는지에 대한 판단을 하고 통과된 참여자들은 본 실험에 참여했다. 각 참여자는 시간 제약 레벨 별로 총 4번의 본 실험에 참여하게 된다. 처음에는 모든 참여자들은 시간의 압박 없는 상태(NTP)에서 굴착작업을 수행한다. 이때 측정된 시간은 시간 제약을 주는 기준이 된다. 낮은 시간 제약(LTP)에서는 NTP 시간의 90%, 중간 시간 제약(MTP)에서는 NTP 시간의 80%, 높은 시간 제약(HTP)에서는 NTP 시간의 70%에 작업을 완료하도록 지시하였다. 학습효과(Learning effect)를 최소화하기 위해 참여자 마다 LTP, MTP, HTP를 하는 순서는 다 다르게 하였다(Fig. 2 참고). 모든 참여자는 실험 중 시선 추적 센서(Eye-tracking sensor)을 착용하였으며, 이를 통해 각 시나리오 수행 시 관련 데이터를 수집할 수 있었다.
4. 결 과
앞선 실험 환경에서 수집한 데이터를 인간‧로봇 상호작용(Human-Robot Interaction)과 관련된 작업 성능(Work performance) 측면에서 그리고 사람이 원격조종할 때 받는 인지 부하(Cognitive load) 측면에서 분석하고자 한다.
4.1 인간-로봇 상호작용(HRI) 작업 생산성
4.1.1 완료 시간
동일한 작업을 더 느리게 수행하거나 빠르게 수행하는 정도에 따라 작업생산성이 상대적으로 낮아지거나 높아졌다고 할 수 있고, 따라서 각 실험 후 완료 시간(Completion time)을 측정하였다. 시간 제약(LTP, MTP, HTP)이 있는 상태에서 주어진 작업의 완료 시간은 NTP보다 상대적으로 낮았다(Table 1). 하지만 시간 제약이 있는 상황끼리 비교하면 MTP와 HTP 상황에서의 작업완료 시간(M_tMTP = 260.83s, M_tHTP = 275.00s)은 LTP 작업완료 시간(286.33s)보다 더 작은 것을 볼 수 있었다. 하지만 MTP와 HTP의 작업완료 시간은 서로 큰 차이를 보이지 않았고 오히려 HTP 상황에서 소폭 상승하였으며, 주어진 시간내에 작업을 성공할 확률은 MTP가 50%, HTP가 0%인 것을 보았을 때, 높은 시간 제약을 주는 것은 작업 생산성 측면에서는 부정적인 영향을 미치는 것을 알 수 있다. 약간의 시간 제약(LTP)이 있을 때에는 실험 참여자 6명 중 5명이 시간내에 작업을 완료하였고, 평균 완료시간은 NTP에 비해 14.5%가 줄었고, 이 결과값은 앞서와 비교했을 때 작업 시간은 줄고 높은 성공률을 보였기 때문에 이는 앞서 언급한 Yerkes-Dodson 법칙을 따른다고 볼 수 있다.
Table 1.
Completion time and success rate
| Completion Time (Mean) | Success Rate | |
| NTP | 335.17 s | - |
| LTP | 286.33 s | 83% |
| MTP | 260.83 s | 50% |
| HTP | 275.00 s | 0% |
4.1.2 충돌 횟수
충돌 횟수(Number of collisions)는 조작을 얼마나 정확하게 하였는지 측정하는 기준이다. 본 실험에서 충돌 횟수는 굴착기의 버킷(Bucket)과 매설된 2개의 관 사이에 충돌을 얼마나 많이 했는지를 보여준다(Fig. 1 참고). 실험 참여자들은 실험 참가 전 교육세션을 통해 매설된 관을 건드리면 위험한 사고가 발생하는 실제 사례들을 접하며 충돌을 피하도록 교육받았다. 충돌 횟수에 관련된 결과값은 Table 2와 같다. 시간 제약이 적은 조건(LTP)에서 평균 충돌 횟수(M_cLTP = 3.67)는 다른 세가지 조건의 평균 충돌 횟수(M_cNTP = 8, M_cMTP = 8, M_cHTP = 6.67)보다 현저하게 낮았다. 충돌 횟수가 적을 수록 인간‧로봇 상호 작용에서 안전 관련 작업 생산성이 높아지는 것을 의미한다. 따라서 실험 결과 값은 완료시간(Completion time)의 결과값과 비슷한 추세를 보이는데, 이 또한 적절한 스트레스 또는 각성 수준은 작업 생산성을 향상시킬 수 있다는 Yerkes-Dodson 법칙과 일맥상통한다.
Table 2.
Number of collisions by participants
4.2 작업자 인지 부하
4.2.1 NASA TLX
직무난이도가 올라갈 수록 작업자는 직무 수행에 어려움을 느끼고 작업 오류들이 발생하여 작업 생산성이 떨어질 수 있다. NASA TLX(Task load index)는 작업자가 느끼는 정신적 작업부담(Workload) 정도를 측정하기 위해 개발되었다. 정신적 부담 정도(Mental demand), 신체적 부담 정도(Physical demand), 시간압박의 정도(Temporal demand), 자기자신평가(Self-rated performance), 노력정도(Effort level), 좌절감 정도(Frustration level)를 측정하는데, 개인이 자신이 느꼈던 부담 정도나 만족도를 0부터 10으로 표시하면 그것을 기반으로 작업부담정도를 해석한다.
Fig. 3를 보면 시간 제약에 따라 참여자들이 느꼈던 작업부담 정도를 측정한 결과를 알 수 있다. 정신적 부담 정도(Mental demand), 신체적 부담 정도(Physical demand), 시간압박의 정도(Temporal demand), 노력정도(Effort level), 좌절감 정도(Frustration level)는 시간 제약이 클수록 그 정도가 커지는 것을 볼 수 있고, 반면에 자기자신평가(Self-rated performance)는 낮아지는 것을 볼 수 있다.
4.2.2 동공 확장
동공 확장(Pupil dilation) 정도에 대한 데이터는 시선 추적 센서(Eye-tracking sensor)를 통해 얻었으며, 이를 통해 시간 제약에 따른 작업 수행 시 참여자들의 반응을 분석할 수 있었다. 설문에 의존한 조사는 참여자의 주관적 의견이 들어갈 수 있기 때문에 객관적으로 측정되는 생리학적 정보가 이를 어느 정도 보완할 수 있다. 일반적으로 동공의 확장정도는 인지 부하와 관련이 있다고 알려져 있다(Shahini et al., 2022). 총 6명의 실험참가자 중 3명의 동공확장 데이터는 실험도중 시선추적센서가 움직이는 등으로 인해 너무 작게 측정이 되어(0.12~ 0.5mm), 본 연구에서는 이를 제외한 나머지 3명의 데이터로 실험 결과를 분석하였다.
Table 3를 보면, 평균적으로 시간 제약이 없을 때(NTP)보다 시간 제약이 있을 때(LTP, MTP, HTP) 동공이 확장되는 것을 볼 수 있다. 또한 그 중에서 시간 제약이 약간 있을 때(LTP)의 동공 지름의 평균 크기가 제일 컸다는 것을 알 수 있다. 이 동공 확장 결과값은 인간-로봇 상호작용 작업 생산성의 완료시간(Completion Time), 충돌 횟수(Number of Collisions), NASA TLX의 자기자신평가(Self-rated performance)의 중앙값(Mean) 추세와 일치한다는 점에서 작업 생산성이 높을수록 동공의 지름이 더 커진다는 것을 알 수 있다.
5. 결 론
최근 건설자동화와 관련 기술들이 발전하면서, 건설 로봇에 대한 수요와 연구가 증가하고 있다. 하지만 완전자동화까지는 아직 기술적 한계가 있기 때문에 중간정도의 자동화 수준인 원격조종(Teleoperation)의 형태를 가진 건설 로봇이 많이 활용될 것으로 보인다. 하지만 건설현장에서의 대부분 작업들은 정형화되어 있지 않고 여러 내/외부 요인들로 인해, 간단한 작업도 난이도가 있는 작업이 되기도 한다. 따라서 본 연구에서는 건설 로봇 원격조종시 인간-로봇 상호 작용 및 사람의 인지 부하를 조사했다. 실험에는 대표적인 건설 로봇인 굴착기를 사용하였고, 숙련자보다 상대적으로 안전사고에 취약한 비숙련자를 실험에 참여시켰다.
전반적인 실험 결과, 시간 제약이 없는 경우(NTP)보다 시간 제약이 있는 경우(TP)가 운전수의 인지 부하를 증가시키고 성과를 저하시킨다는 것을 알 수 있었다. 하지만 시간 제약이 있는 경우를 세부적으로 보면, 인간-로봇 상호 작용과 관련된 성능은 적당하고 합리적인 시간 제약(LTP)이 주어질 때 향상됨을 볼 수 있었다. 이는 적당한 정도의 스트레스는 작업성능을 끌어올려주고, 그 이후에는 작업성능이 떨어진다는 Yerkes- Dodson 법칙과도 일치한다. 본 연구 결과는 건설로봇 원격조종과 인간-로봇 상호작용에 관한 지식 체계(Body of knowledge)와 건설 로봇을 조종하는 사람(human operator)에 대한 보다 심층적인 이해를 높이는데 기여할 수 있을 것으로 기대된다.
