1. 서 론
1.1 연구의 배경 및 목적
2. 우주 건설환경에서의 원격조종 시스템
2.1 오퍼레이터와 건설로봇의 커뮤니케이션 거리 및 지연시간 범위
2.2 지연시간에 따른 상황인식 변화
2.3 장거리 원격조종 지연시간 영향에 대한 선행 연구
3. 우주 건설환경에서의 원격조종 지연시간 시뮬레이션 실험
3.1 실험 배경 및 설정
3.2 실험 과정
3.3 작업 성과 및 인간-로봇 상호작용 평가 방법
4. 실험 결과
4.1 작업 성과 및 작업부하 평가
4.2 지연시간에 따른 오퍼레이터의 행동변화
5. 결 론
1. 서 론
1.1 연구의 배경 및 목적
화성과 같은 행성으로의 우주 탐사 및 달 표면에 우주 기지 건설이 실현 가능한 계획들로 언급된지 수년이 지나왔다. 예를 들어 NASA의 아르테미스(Artemis) 미션은 달 표면에 사람을 보내고, 추후 지속가능한 기지를 건설하는 것을 목표로 하고 있다(Grande et al., 2021). 이같은 계획들이 꾸준히 제안되어 왔지만, 인간에게 지속가능한 거주 환경을 제공하기 위한 실제 우주 건설을 위해서는 여전히 검토되고 해결되어야 할 기능성, 경제성, 안전성과 관련된 요소들이 남아 있다. 달 표면 환경에서 건설작업을 하기위해 초기단계에 수행되어야 하는 업무는 지반 정리(site preparation) 작업이다. 이를 위해 다양한 형태의 우주 건설 로봇이 개발되고 있지만, 달 표면의 토질, 극심한 온도변화, 특수 지형 등 극한 환경의 특성을 반영하여 작업을 수월히 할 수 있는 완전 자동화된 시스템 활용은 여전히 요원하고 극히 제한적이다. 이를 극복하기 위해 인간-로봇의 협업을 통한 효율적인 작업이 필요하다. 특히, 건설로봇은 우주에서의 예측 불가능한 환경에 대한 대비, 에너지 부족, 통신 기술 제약 등 복잡한 상황을 고려해야 한다. 건설 로봇의 효율적인 활용을 위해, 원격조종 기술을 통한 보다 안정적이고 생산적인 작업 진행에 그 가능성이 있다.
그러나 우주환경에서의 건설을 위한 원격조종 작업은 장거리 커뮤니케이션 시간지연 현상을 극복 해야한다. 시간지연 현상은 오퍼레이터와 로봇사이의 거리 및 커뮤니케이션 네트워크 시스템의 기술적 한계에 따라 발생하기에 불가피하다. 그동안 원격조종기술과 시간지연에 대한 연구는 의료용 기기, 자율주행 자동차, 우주시설 유지관리 로봇 등의 분야에서 연구되어 왔으며, 인간-로봇 상호작용 및 지연시간에 따른 어려움을 줄이기 위한 방안이 연구되어 왔다. 그럼에도 불구하고 건설 현장에서의 원격조종 로봇의 활용 및 장거리 지연시간에 대한 연구는 아직 부족한 것으로 파악된다. 우주기지 건설 환경과 같이 로봇의 활용 및 장거리 원격조종 기술이 필수불가결한 상황에서의 작업 성과 및 인간-로봇 상호작용에 대한 분석 및 평가는 작업계획단계에서 중요하다. 이에 본 논문은 달 표면에서의 지속가능한 기지 건설을 위해 필요한 원격조종 작업 성과에 대한 평가 및 인간-로봇 상호작용에 대한 연구에 집중한다.
2. 우주 건설환경에서의 원격조종 시스템
2.1 오퍼레이터와 건설로봇의 커뮤니케이션 거리 및 지연시간 범위
우주에서의 원격조종 지연시간과 로봇-인간 상호작용은 상호간의 물리적 거리와 커뮤케이션 시스템에 따라 크게 다르다. 달 표면과 지구 표면 사이의 평균 거리는 약 384,400km이며, 이론적으로 빛의 속도로 왕복 시 약 2.5s가 소요된다. 지구에서 달 표면 혹은 근처까지의 원격조종 시스템의 커뮤니케이션 시간은 최소 3s 이상 소요되며(Sheridan, 1993), 궤도를 선회하는 장비 혹은 비행선에서의 원격조종 시스템의 경우 5~7s까지 신호 전달이 지연 된다(Sheridan, 1993; Zhou et al., 2014). DSN(Deep Space Network, 심우주 통신망)시스템에서는 신호 데이터가 지구 표면 혹은 특정 궤도를 선회하는 우주선에서 TDRS(Tracking and Data Relay Satellites, 추적 데이터 중계 위성)을 통해 전달되므로, 데이터 처리 및 전송시간이 상황에 따라 더욱 더 지연될 수 있다. 지연시간 및 범위는 지구에서의 위치, 달 표면에서의 위치(earth side or far-side), TDRS의 위치, 사용 가능한 주파수 대역폭(bandwidth)의 타입, 데이터 전송 양과 질 등의 통신 네트워크 시스템 조건에 따라 결정된다(Wilde et al., 2015). Fig. 1은 우주 건설환경에서의 원격조종 시스템 및 인간-로봇 상호작용 관계를 도식화 하였다.
2.2 지연시간에 따른 상황인식 변화
원격조종 작업에서 통신 지연은 오퍼레이터가 현장 상황을 인식하는데에 있어 가장 큰 방해요인 중 하나이다. 입력된 정보의 반응이 지연되고, 현장에서의 정보가 지연되어 전달됨에 따라 오퍼레이터의 정신적 작업부하(스트레스, 피로, 좌절감 등) 및 작업 성과가 영향을 받는다. 인간이 행동 후 반응에 대한 지연된 시간을 감지할 수 있는 최소 지연시간 범위는 10~20ms이며(Chen et al., 2006; Wilde et al., 2015), 상대적으로 정교한 작업을 요구하는 의료용 원격조종의 경우, 100~250ms 시간 지연은 지연이 없는 경우와 오퍼레이터의 인지 및 성과에 있어 큰 차이가 없으나, 400ms 이상의 지연시간에 대해서는 작업성과에 상당한 영향을 미치는 것으로 나타났다(Farajiparvar et al., 2020). 건설작업은 건설기기의 조작뿐만 아니라 예측 불가능한 상황을 포함한 건설작업환경으로부터 직접적인 상호영향을 받는다. 실시간 변화하는 상호작용에 대응하는 능력은 오퍼레이터의 상황인식, 주의력, 반응시간, 기억력, 눈-손 협업 등의 요소를 고려하여 평가할 수있다. 건설 작업의 유형을 Rasmussen(1983)의 이론으로 분류하면 인간의 기계사용에 대한 행동 및 의사 결정 요구정도에 따라, Skill, Rule, Knowledge-based 단계로 구분지을 수 있다. 지연시간 상황에서의 원격조종 작업은 즉각적인 반응을 확인하거나 예측이 어려운 경우, 기존의 반복적이고 규칙적인 작업유형에서 경험 혹은 지식이 요구되는 의사결정이 필요한 단계의 작업부하를 요구하게 된다. 예측할 수 없는 상황과 건설 기기 조작의 반응은 작업자의 정신적 작업부하를 증가시키는 주요 요인이 될 것이다. 따라서 지연시간에서의 건설작업시 작업유형, 상황인식 능력 및 작업부하를 이해하고, 작업부하를 경감시키는 방안을 고려한 인간-로봇 인터페이스를 계획하는 것이 중요하다. 본 연구는 지연시간에서의 작업성과 및 작업부하에 대한 정량적 평가 및 관련 행동의 정석적 평가를 통해 작업에 필요한 정보들을 직관적으로 제공할 수 있는 인터페이스 개발에 기반 지식을 제공할 것이다.
2.3 장거리 원격조종 지연시간 영향에 대한 선행 연구
우주에서의 시간지연에 따른 작업 성과 및 정신적 작업부하에 대한 연구들은 주로 궤도를 선회하는 원격조종 업무수행에 대한 연구(Timman et al., 2023; Guo et al., 2022; Wilde et al., 2015) 또는 탐사 미션수행을 위한 원격조종 연구(Coloma et al., 2022)들이 주를 이루었다. 지연시간 실험연구에서 지연시간에 대한 설정은 지연시간이 없는 경우 부터 250ms, 500ms, 1s, 3s, 6s 등 다양한 조건에서 실험이 수행되었다. 지연시간에 대한 인간-로봇 상호작용에 대한 영향을 평가하기 위해 업무수행 완료시간, 작업부하 질의 항목 평가, 연료 소비량 비교 등의 평가 방법을 활용하였다. Timman et al.(2023)은 달 표면에서의 샘플링 원격조종 작업에서의 지연시간에 대한 영향에 대해 NASA-TLX, 작업완료시간, ECG(electrocardiogram), 그리고 시선추적 자료로 정량적 평가를 하였다. 달 표면에서의 샘플링 작업 연구는 궤도를 선회하는 원격조종 작업에 비해, 건설 작업과 유사한 환경적(토질, 지형 등) 영향을 포함하고 있다. 최근 시선추적 연구는 건설작업을 포함한 여러 분야에서 인간 인지 및 행동에 대한 평가로 널리 이용되고 있다(Cheng et al., 2022; Clay et al., 2019). 대부분의 지연시간 실험 연구에서 오퍼레이터가 지연시간 상황을 인식하면 전략을 바꾸는 행동변화가 관찰되었다. Sheridan(1993)은 이를 “move and wait” 전략이라 설명하였다. 이는 오퍼레이터가 연속적인 입력이나 조작 행동을 취하는 대신, 행동 후 출력 이미지나 반응을 확인하고 다음 작업을 수행하는 경향을 보이는 것을 의미 한다.
그동안 커뮤니케이션 지연시간에 대한 연구에도 불구하고, 건설 작업 원격조종 지연시간 연구는 로봇과의 상호작용 및 인터페이스 개선 측면에서 여전히 연구해야 할 부분이 많다. 우선, 건설장비 및 건설작업은 다른 비행장비 및 우주 탐사작업과는 다른 성격을 가지고 있으며, 고려해야할 환경적 요인도 다르다. 또한 현재까지 지구 밖에서의 건설 작업에서 인간-로봇 상호작용에 대한 연구는 충분하지 않은 상태이며, 건설 작업이 실제로 수행된 적이 없기에 그에 대한 분석이 더욱 어려운 실정이다. 달표면에서의 건설을 성공적으로 수행하고 시행착오를 최소화 하기 위해서는 건설 환경 및 건설 작업에서의 시간지연 영향과 오퍼레이터의 원격조종 작업에서의 상호작용에 대한 연구가 필요하다.
3. 우주 건설환경에서의 원격조종 지연시간 시뮬레이션 실험
3.1 실험 배경 및 설정
본 실험에서는 달 표면 건설작업에서의 원격조종시스템을 세가지 조건의(No-delay, 1.5s delay, 3s delay) 시나리오를 바탕으로 살펴보았다. No-delay 조건은 결과를 비교하기 위한 기준이며, 1.5s delay는 오퍼레이터의 위치가 궤도를 선회하는 우주선인 경우를 3s delay는 오퍼레이터가 지구에 있는 기지에 위치하는 것을 가정하여 지연시간을 설정하였다(Fig. 2). 건설작업의 경우 NASA의 달표면 피난처 건설을 위한 연구를 기반으로 하였으며, 본 실험은 초기 부지 정리(site preparation) 단계에서 작은 암석들을 제거하는 작업을 시뮬레이션하였다.
실험 참여자는 Head Mounted Display를 착용하고, 가상의 달 표면의 건설 작업 환경에서 작업을 수행한다. 원격조종 작업은 양 손으로 조이스틱을 활용하여 장비를 조작한다(Fig. 2).
3.2 실험 과정
12명의 참가자(평균나이 23.8세)들이 참여한 총 3개의 시나리오 세션은 각각 작업구간에 흩어져 있는 작은 암석을 정해진 구역인 작은 분화구(crater)에 옮기는 것을 목표로 하며, 업무를 완료하면 해당 세션은 종료된다. 실험 시작 전, 참여자들은 지연시간이 없는 작업 환경을 배경으로 조이스틱 조작 방법이 익숙해질때까지 트레이닝을 받았다. 각 세션의 총 작업 시간은 10분을 초과하지 않는다. 첫번째 세션은 no-delay 조건에서, 두 번째와 세번째 세션은 나머지 조건을 임의의 순서로 선택하여 실험하였다. 작업을 하는 동안 오퍼레이터의 시선 추적 데이터를 수집하였으며, 각 세션 후 참가자는 NASA-TLX(Hart and Staveland, 1988) 설문지에 응답하였다. 마지막으로, 실험완료 후 인터뷰를 진행하였다.
3.3 작업 성과 및 인간-로봇 상호작용 평가 방법
각 조건에 따른 작업 성과를 평가하기 위해, 각 세션의 업무 성공률 및 완료 시간을 측정하였다. 오퍼레이터의 정신적 작업부하를 평가하기 위해 각 실험 세션에 대해, NASA-TLX를 활용하였다. NASA-TLX(Hart amd Staveland, 1988)는 총 6개의 항목(Mental Demand, Physical Demand, Temporal Demand, Performance, Effort, Frustration)의 질의 항목에 대해 20점 리커트 척도(Likert scale)의 답변을 할 수 있다. 또한, 오퍼레이터의 행동 변화에 대해 시선 추적 데이터 및 인터뷰를 통해 지연시간에 대한 오퍼레이터의 작업부하, 인지변화 및 행동변화에 대해 분석하였다.
4. 실험 결과
4.1 작업 성과 및 작업부하 평가
실험결과, 지연시간 증가는 작업 완료시간, 작업 성공율, 정신적 작업부하, 작업부하에 대한 생리학적 반응에 부정적인 영향을 끼치는 것으로 나타났다.
4.1.1 작업 성과
참가자 12명의 전체 작업 성공률은 67%이며, 각 지연 조건에서의 성공률은 no-delay 조건에서 83%(10명), 1.5s-delay에서 75%(9명), 그리고 3s-delay 에서 42%(5명)였다. 또한 각 세션에서 암석을 정해진 구역에 옮기는 것을 목표로 세션의 작업 완료시간과 첫 번째 암석을 옮기기까지의 시간을 평가하였다. 1명의 참가자는 모든 세션에서 정해진 시간(10분)을 초과하여 작업 성과 분석에서 제외하였다. 실험결과, 첫번째 암석을 옮기는데에 걸리는 시간은 no-delay조건(1분 58초)에 비해, 1.5s-delay 경우 150%(2분 56초), 3s-delay의 경우 270% (5분 22초) 증가하였다. 지연시간이 길어질 수록 업무 완료 시간 또한 유의미하게(p > .05) 증가하였다(Fig. 3(a)).
4.1.2 작업부하
작업부하에 대한 자가평가 질문에 포함된 6개 항목에 대한 각 오퍼레이터들의 점수는 예상대로 지연시간이 증가하면 작업부하량이 증가하는 경향을 보였다(Fig. 3(c)). 굴착기의 조이스틱 조종에 어려움을 표현한 오퍼레이터의 경우, 지연시간이 없는 경우와 지연시간이 있는 경우 작업 부하량이 크게 차이나지 않는 경향을 보였다. 시선 추적 데이터 중, 눈깜박임은 오퍼레이터의 작업부하를 평가하는데에 이용될 수 있다. 눈깜박임 수는 일반적으로 정신적 작업 부하가 증가하거나 시각적 정보량이 증가하는 경우 증가하는 것으로 알려져 있으나, 시각적 정보의 내용 및 외부 다양한 조건의 자극에 따라 증가 및 감소할 수 있다(Cheng et al., 2022). 실험결과, 개인에 따라 분당 눈깜박임의 범위는 넓게 분포하지만, 오퍼레이터들의 분당 평균 눈깜박임의 수(no-delay: 13.5 time/minute, 1.5s delay: 16.4, 3s delay: 21.6)는 지연시간이 길어질수록 증가하는 경향을 보였다(Fig. 3(b)). 시간지연이 오퍼레이터의 작업부하를 증가시키는 정도를 NASA-TLX를 통한 주관적평가와 더불어 생리학적 자료(눈깜박임 반응)를 통해 정량적으로 평가할 수 있음을 확인하였다.
4.2 지연시간에 따른 오퍼레이터의 행동변화
시선추적정보를 통해, 오퍼레이터가 작업을 위한 조이스틱 조작시 3s delay 조건과 no-delay 조건에서 뚜렷한 차이가 있음을 검증할 수 있었다. 오퍼레이터들은 시간지연 상황에 적응하면서 “move and stop” 혹은 “move and wait”과 같은 전략을 보였으며, 조이스틱을 조작함에 있어 이러한 전략을 빨리 인지하고 적응할수록 작업성과가 효율적임을 확인 할 수 있었다. 모든 세션 완료 후, 지연시간에서의 오퍼레이터의 행동변화에 대한 개방형 질의에서 대부분의 참여자들이 전략을 변경했다고 대답했다. 그들은 행동 변화에 대해 “천천히 움직임”, “멈춤”, “기다림”, “반응 시간을 계산함”, “움직인 후 기다림” 등의 답변을 하였다. 이러한 지연시간 상황에서의 원격조종 전략은 시선 추적 데이터로부터의 시선 경로 분석결과와 일치함을 확인할 수 있었다. 시선추적 경로분석의 예시로, Fig. 4와 Fig. 5는 한 오퍼레이터의 버킷과 암석의 거리 조정 및 하역 작업시의 시선 경로를 나타낸다. No-delay 조건과 3s-delay의 작업에 대해, 각각 3s와 10s 동안의 시선 경로를 보여준다. 두 조건의 유사한 위치의 굴착기 조작 작업시, 오퍼레이터의 시선 경로 및 처리는 3s-delay 조건에서 시선을 고정한 채 반응을 기다리는 반면, no-delay 경우 시선을 다음 목표 위치로 이동하면서, 시선이동과 조이스틱 조작을 동시에 진행하여 작업시간을 단축하는 경향을 보였다. 이러한 지연시간에서의 시선 고정 패턴은 다른 참여자들의 시선 추적 데이터에서도 유사하게 관찰할 수 있었다.
하지만 인간의 상황인식 및 행동변화에 대한 해석은 하나로 단순화하여 일반화하기에는 한계가 있다. 따라서 시간지연 상황에서의 원격조종 작업성과 및 행동에 대한 정확한 이해를 위해 구체적인 상황에 따른 행동변화 및 상황인식 처리 과정에 대한 다각도의 분석이 필요하다. 본 연구에서 시선-행동 패턴을 인지하고, 시간 지연상황 및 복잡한 건설환경에서의 원격조종작업 오퍼레이터의 정신적 작업부하를 평가한 것은 추후 인간-로봇 협업, 인터페이스 및 커뮤니케이션 시스템 설계시 고려해야할 기본적이고 중요한 요소로 활용될 수 있을 것이다.
5. 결 론
본 논문에서는 우주 건설환경에서의 원격조종작업시 지연시간의 영향에 대해 알아보았다. 지연시간은 텔레오퍼레이터와 로봇사이의 거리로 인해 불가피하게 발생하는 작업저해요인이다. 본 연구는 커뮤니케이션 시간지연에 따른 오퍼레이터의 업무 성과, 작업부하 및 행동 변화에 대한 연구를 통해 시간지연 영향에 대해 평가하였다. 추후 오퍼레이터의 업무능력, 작업부하, 상황인지, 행동변화에 대한 데이터 분석 및 이해를 통해, 원격조종작업 효율을 높이고, 오퍼레이터의 작업부하를 낮출 수 있는 방안을 계획할 수 있다. 달 표면의 복잡한 건설 환경 및 지연시간을 반영하는 데에 있어 본 실험의 시나리오는 다양한 상황을 반영하여 유의미한 결과를 분석하기에 여러 제한 요인이 있었다. 본 연구는 현재 진행중인 우주건설 환경의 다양한 지연시간 조건 및 작업 환경 시나리오에서의 오퍼레이터의 작업능력 및 행동변화에 대한 기초연구가 될 것이다.
