Research Article

Journal of Construction Automation and Robotics. 30 June 2026. 9-18
https://doi.org/10.55785/JCAR.5.2.9

ABSTRACT


MAIN

  • 1. 서 론

  • 2. 선행연구

  • 3. 연구 방법

  •   3.1 VR Modeling

  •   3.2 Electrotactile system

  • 4. 실험 설계

  •   4.1 실험 절차 및 조건

  •   4.2 평가 지표

  • 5. 연구 결과

  •   5.1 수행 성과

  •   5.2 설문 결과

  • 6. 결 론

1. 서 론

굴삭기 조작은 제한된 시야와 넓은 작업 반경 안에서 주변 장애물과 인접 작업자 간의 근접 상황이 반복적으로 발생하는 작업이다. 특히 굴삭기의 버킷은 조종석으로부터 떨어진 위치에서 큰 반경으로 움직이기 때문에, 조종자는 작업 중 버킷과 주변 객체 간의 거리를 지속적으로 판단해야 한다. 그러나 실제 작업 환경에서는 구조물, 주변 장비, 지형, 먼지 등으로 인해 시야가 제한될 수 있으며, 이러한 상황에서는 접촉 직전의 위험을 시각 정보만으로 즉각 인지하기 어렵다(Lee and Ham, 2022; Chae et al., 2024a).

따라서 미래형 굴삭기 인터페이스에서는 조종자가 근접 위험을 보다 직관적으로 인지할 수 있도록 시각 외의 다른 감각 채널의 보조 피드백을 함께 제공할 필요가 있다(Sakhakarmi and Park, 2019; Fang et al., 2024; Chae et al., 2024b).

보조 피드백 방식으로는 청각, 촉각 기반 피드백이 고려될 수 있으나 굴삭기 작업 환경에서는 각 방식의 적용에 한계가 존재한다. 청각(Auditory) 피드백은 엔진 및 유압 시스템 소음, 현장 작업 소음, 작업자 간 의사소통 등으로 인해 경고 신호가 명확하게 전달되지 않을 수 있으며(Dang et al., 2022), 진동 촉각(Vibrotactile) 피드백은 굴삭기 자체의 기계적 진동과 중첩되어 위험 신호의 구분이 미미해진다(Sakhakarmi and Park, 2019; Fang et al., 2024). 반면 전기촉각(Electrotactile) 피드백은 피부에 직접 구분 가능한 촉각 신호를 제공할 수 있으며 자극 강도나 주파수를 조절하여 장애물과의 거리 변화와 같은 연속적 근접 정보를 단계적으로 전달할 수 있다(Kaczmarek et al., 2017; Lee et al., 2025; Chae et al., 2026).

그러나 전기촉각 피드백을 실제 굴삭기 장비에 바로 적용하기에는 사용자별 감각 역치 차이, 전기 자극에 대한 불쾌감, 현장 안전성, 장비 적용 비용 등의 문제가 존재한다. AR/MR 기반 환경은 실제 현장 위에 가상 정보를 중첩할 수 있다는 장점이 있으나, 실제 장비 또는 실제 작업 공간과 결합되어야 하므로 초기 단계의 반복 실험과 안전성 검토에는 제약이 있다. 반면 VR 기반 교육 환경은 실제 장비 적용 전 단계에서 굴삭기 작업 상황과 근접 위험을 안전하게 반복 재현하고, 새로운 피드백 방식의 교육적 가능성과 사용자 수용성을 검토할 수 있는 대안이 될 수 있다(Li et al., 2018; Scorgie et al., 2024). 이에 본 연구는 VR 기반 굴삭기 교육 환경에 버킷–장애물 거리 기반 전기촉각 피드백을 통합하고, 해당 피드백이 학습자의 작업 수행, 충돌 회피, 사용자 경험에 미치는 영향을 검토하고자 한다.

2. 선행연구

VR 기반 건설 안전교육은 실제 현장에서 재현하기 어려운 위험 상황을 안전하고 반복적으로 학습할 수 있다는 점에서 활발히 연구되어 왔다. Li et al. (2018)은 건설 안전 분야에서 VR/AR 기술이 위험 인지, 작업 절차 학습, 안전교육 등에 활용될 수 있음을 제시하였다. Scorgie et al. (2024)은 VR 기반 안전교육이 기존 교육 방식보다 지식 습득과 유지 측면에서 효과적임을 보고하였고, Liu et al. (2023)은 굴삭기 teleop eration 교육에서 몰입형 인터페이스가 몰입감, 사실감, 사용자 상호작용을 향상시킬 수 있음을 제시하였다. 그러나 기존 VR 안전교육 연구는 주로 시각적 몰입감, 위험 상황 재현, 운전 절차 학습에 초점을 두었으며, 굴삭기 조작 중 버킷과 장애물 간 근접 위험을 별도의 감각 피드백으로 제공하는 방식은 충분히 다루지 않았다.

굴삭기 작업에서 근접 위험을 보조하기 위한 촉각 피드백 연구도 진행되어 왔다. Lee et al. (2025)은 굴삭기 원격조종 환경에서 전기촉각 피드백이 작업 수행, 위험 인지, 작업부하 완화에 기여할 수 있음을 제시하였다. Chae et al. (2026)은 안전한 굴착 작업을 위해 버킷과 금속 파이프 간 근접 정보를 기반으로 전기촉각 피드백을 제공하는 end-to-end framework를 제안하였다.

기존 연구들은 주로 실제 굴삭기 또는 원격조종 환경에서 촉각 피드백의 기술적 가능성이나 작업 수행 개선 효과를 검토하는 데 초점을 두었다. 그러나 실제 장비에 새로운 촉각 피드백을 적용하기 전에, 이를 몰입형 교육 환경에서 먼저 경험하게 하고 작업 수행, 충돌 회피 성능 및 사용자 수용성을 종합적으로 검토한 연구는 부족하다. 특히 기존 원격조종 연구가 주로 모니터를 통해 제공되는 시각 정보에 의존한 반면, HMD 기반 몰입형 VR 환경에서 굴삭기 작업과 전기촉각 피드백을 함께 적용한 연구는 제한적이다.

VR 환경은 실제 굴삭기 운용 없이도 버킷과 장애물 간 근접 상황을 반복적으로 재현할 수 있으며, 참가자 간 동일한 작업 조건을 제공할 수 있다는 장점이 있다. 따라서 실제 장비 적용 전 단계에서 새로운 피드백 방식의 적용 가능성을 검토하고, 전기촉각 피드백이 작업 수행과 위험 인지 및 사용자 경험에 미치는 영향을 분석하기에 VR 환경은 적합하다.

따라서 본 연구는 몰입형 VR 기반 굴삭기 교육 환경을 구축하고, 버킷–장애물 거리 정보를 실시간으로 산출하여 이를 전기촉각 자극 강도로 변환하는 피드백 시스템을 통합한다. 또한 모니터 기반 조작 조건, VR 기반 조작 조건, VR 기반 조작에 전기촉각 피드백을 추가한 조건을 비교함으로써 VR 기반 교육 환경의 효과를 검토하고 VR 환경에서 전기촉각 피드백이 충돌 회피와 사용자 경험에 미치는 추가적 효과를 분석하고자 한다.

3. 연구 방법

본 연구는 VR 기반 굴삭기 교육 환경에서 버킷과 장애물 간의 근접 정보를 실시간으로 산출하고, 이를 전기촉각 피드백 강도로 변환하여 학습자에게 제공하는 시스템을 구축하였다. Fig. 1은 본 연구에서 구축한 전체 시스템의 구조도이다.

https://cdn.apub.kr/journalsite/sites/ksarc/2026-005-02/N0410050202/images/ksarc_05_02_02_F1.jpg
Figure 1

Overview of the proposed VR-based electrotactile feedback system

전체 시스템은 크게 VR 모델링과 전기촉각 시스템 모듈로 구현된다. VR 모델링은 Unity 환경에서 굴삭기 작업 시나리오를 재현하고, 작업 중 버킷과 장애물 간의 거리를 계산하는 역할을 수행한다. 전기촉각 시스템은 산출된 거리 정보를 자극 강도 단계로 변환한 뒤, ESP32-C3 기반 무선 통신 및 PWM 신호 변환을 통해 조종자에게 전기촉각 피드백을 전달한다.

3.1 VR Modeling

3.1.1 철거 시뮬레이션 및 굴착 작업 재현

본 연구에서는 Unity 기반 굴삭기 철거 작업 시나리오를 구축하였다. 철거 및 벽돌 운반 작업은 굴삭기 버킷이 넓은 작업 반경에서 반복적으로 이동하며 주변 구조물, 자재, 장애물과 근접하거나 충돌할 수 있는 대표적인 작업이므로, 근접 위험 인지와 충돌 회피를 평가하기에 적합한 안전교육 시나리오로 선정하였다. Fig. 2에서 볼 수 있듯이, 시뮬레이션 공간에는 굴삭기, 벽돌, 장애물, 적재함을 배치하였으며, 학습자는 굴삭기 버킷을 조작하여 벽돌을 집어 올린 후 지정된 위치에 적재하는 작업을 수행하도록 설계하였다. 이러한 작업 과정은 실제 굴삭기 조작에서 반복적으로 발생하는 인양, 회전, 투하 동작을 포함하며, 버킷이 넓은 반경으로 이동하는 동안 주변 장애물과 근접하거나 충돌할 수 있는 상황을 재현한다.

https://cdn.apub.kr/journalsite/sites/ksarc/2026-005-02/N0410050202/images/ksarc_05_02_02_F2.jpg
Figure 2

Unity-based excavator demolition site: (a) Excavator (b) Bricks (c) Obstacles (d) Loading box

Fig. 3은 본 연구에서 구현한 벽돌 인양 및 투하 작업을 나타낸 것이다. 해당 과정은 버킷과 벽돌 객체 간의 접촉 및 버킷 각도 조건을 기반으로 구현하였다. 벽돌이 버킷 내부에 진입하면 이를 감지하고, 버킷 각도가 설정된 임계값 θ 이하일 경우 벽돌이 버킷과 함께 이동하도록 처리하였다. 이를 통해 벽돌이 버킷에 담긴 상태로 안정적으로 운반되도록 하였으며, 운반 중 물체가 불필요하게 이탈하는 현상을 방지하였다. 이후 버킷이 배출 각도 δ 이상으로 기울어질 경우 벽돌이 버킷으로부터 분리되어 적재 위치에 떨어지도록 구현하였다.

https://cdn.apub.kr/journalsite/sites/ksarc/2026-005-02/N0410050202/images/ksarc_05_02_02_F3.jpg
Figure 3

Brick pick-up process (up) and dump process (down)

3.1.2 버킷-장애물 거리 산출

버킷과 장애물 간의 근접 위험을 정량적으로 판단하기 위해 거리 계산 모듈을 구현하였다. Fig. 4는 버킷의 대표 샘플 포인트와 장애물 간 거리 계산 방식을 보여준다. 버킷을 둘러싸는 박스를 기준으로 8개의 꼭짓점과 6개의 면 중심점을 포함한 총 14개의 대표 샘플 포인트를 설정하였다. 이후 각 샘플 포인트와 장애물 표면 간의 최단점을 Unity의 ClosestPoint 함수를 이용하여 계산하였다. 각 대표점에서 산출된 거리 중 최솟값을 해당 시점의 버킷-장애물 거리로 정의하고, 이를 실시간 근접 위험 판단 기준으로 사용하였다.

https://cdn.apub.kr/journalsite/sites/ksarc/2026-005-02/N0410050202/images/ksarc_05_02_02_F4.jpg
Figure 4

Distance calculation module

굴삭기 버킷은 회전 및 기울어짐에 따라 특정 모서리나 면이 장애물에 먼저 접근할 수 있으므로, 이와 같은 방식은 버킷의 단일 중심점만을 기준으로 거리를 계산하는 경우보다 버킷 형상에 따른 실제 근접 상황을 더 세밀하게 반영할 수 있다.

3.2 Electrotactile system

3.2.1 거리 기반 자극 강도 제어

본 연구에서는 버킷과 장애물 간의 거리를 전기촉각 자극 강도로 변환하기 위해 거리 기반 강도 변환 규칙을 설정하였다. 사전 예비실험에서 자극이 명확하게 인지되면서도 불편감을 유발하지 않는 최대 수준을 확인하였으며, 이를 기준으로 장치의 강도 8을 실험의 상한으로 설정하였다. 강도 8은 10 kΩ 저항 부하 조건에서 약 5.76 mA의 등가 전류에 해당한다. Fig. 5는 본 연구에서 적용한 거리-강도 변환 규칙이다. 버킷-장애물 거리 d가 1.0 m 이상일 경우 안전 구간으로 정의하고, 전기촉각 자극을 제공하지 않도록 자극 강도를 0으로 설정하였다. d가 0.3 m보다 크고 1.0 m보다 작은 경우에는 근접 구간으로 정의하고, 거리가 가까워질수록 자극 강도가 0에서 8까지 증가하도록 설정하였다. d가 0.3 m 이하일 경우에는 충돌 위험이 높은 위험 구간으로 판단하여 최대 자극 강도인 8을 제공하였다.

https://cdn.apub.kr/journalsite/sites/ksarc/2026-005-02/N0410050202/images/ksarc_05_02_02_F5.jpg
Figure 5

Distance-intensity mapping logic

이러한 거리-강도 변환은 단순한 on/off 형태의 경고가 아니라, 장애물과의 거리 변화에 따라 자극 강도가 단계적으로 증가하는 근접 신호를 제공하기 위한 것이다. 버킷이 장애물에 가까워질수록 위험 수준이 증가하는 공간적 정보를 자극 강도의 증가로 직관적으로 대응함으로써 학습자는 버킷이 장애물에 가까워지는 정도를 촉각적으로 인지할 수 있으며, 시각 정보만으로 판단하기 어려운 근접 위험을 촉각 신호를 통해 파악할 수 있다.

3.2.2 Unity ↔ ESP32-C3 통신

Fig. 6은 시뮬레이션과 ESP32-C3 간의 통신 구조이다. Unity에서 변환된 자극 강도는 50 ms 간격으로 송신 모듈에 전달되도록 구현하였다. 이는 20 Hz의 전송 주기에 해당하며, 굴삭기 조작 중 버킷-장애물 거리 변화가 피드백에 지연 없이 반영되도록 하기 위한 설정이다. 통신 장치로는 저전력, 소형 무선 통신이 가능한 2개의 ESP32-C3 아두이노 모듈을 사용하였다.

https://cdn.apub.kr/journalsite/sites/ksarc/2026-005-02/N0410050202/images/ksarc_05_02_02_F6.jpg
Figure 6

Distance-based feedback transmission structure using ESP32- C3

시스템은 송신 모듈과 수신 모듈로 구성된다. Unity 환경에서 산출된 거리 기반 자극 강도는 송신 모듈로 전달되며, 송신 모듈은 해당 값을 ESP-NOW 방식으로 수신 모듈에 전송한다. ESP-NOW는 별도의 공유기 없이 장치 간 무선 통신이 가능하고 지연 시간이 짧아, 실시간 피드백 전달이 필요한 본 시스템에 적합하다. 수신 모듈은 전달받은 강도값을 3.2.3 PWM 변환 모듈로 전달하고, 이후 전기촉각 장치 구동에 사용되는 제어 신호로 변환한다.

3.2.3 PWM 신호 변환

PWM(Pulse Width Modulation)은 일정한 주기의 신호에서 on/off 시간 비율(Duty cycle)을 조절하여 출력 세기를 제어하는 방식이다. 본 연구에서 수신 모듈은 0~8단계의 자극 강도 값을 사전에 정의된 PWM table에 매핑한다. PWM table은 각 자극 강도 단계에서 출력되는 전압 파형을 오실로스코프로 측정하여 구성하였다.

본 연구에서는 PWM 주파수를 22.2 kHz로 설정하였으며, PWM 해상도는 8-bit로 설정하였다. 강도 단계가 증가할수록 Duty cycle가 증가하도록 설계하였고, 이에 따라 전기촉각 장치에 입력되는 자극 강도도 단계적으로 증가한다.

3.2.4 전기촉각 장치 구성

PWM 출력 신호는 TENS/EMS 기반 전기촉각 장치에 입력되며, 전극 패드는 조작자의 손목 부위에 부착하였다. 손목은 웨어러블 전기촉각 피드백 연구에서 활용되어 온 자극 위치 중 하나로 손바닥과 손가락의 움직임을 방해하지 않으면서 촉각 정보를 전달할 수 있다(Tanaka et al., 2024). 이러한 특성을 고려하여, 조이스틱의 파지와 조작 동작을 유지해야 하는 본 연구의 실험 환경에 적합한 부착 위치로 손목을 선정하였다. 본 연구에서 사용한 TENS/EMS 장치는 인체 적용을 위한 안전성 검증을 받은 상용기기를 사용하였다. 실험에서는 장치의 허용 범위 내에서 자극 강도를 제어하였으며, 참가자가 불편감이나 통증을 느낄 경우 즉시 자극을 중단할 수 있도록 하였다.

Fig. 7은 본 연구에서 사용한 TENS/EMS장치, 수신기, 송신기 구성이다. 전극 패드는 조작 중 비교적 안정적으로 전극을 부착할 수 있고, 전기촉각 자극을 국소적으로 전달하기에 적합한 조종자의 손목 부위에 부착하였다.

https://cdn.apub.kr/journalsite/sites/ksarc/2026-005-02/N0410050202/images/ksarc_05_02_02_F7.jpg
Figure 7

Hardware components of the electrotactile feedback system (a) TENS/EMS device, (b) Receiver (c) Sender

4. 실험 설계

본 장에서는 앞서 구축한 VR 기반 굴삭기 교육 환경과 거리 기반 전기촉각 피드백 시스템을 활용하여 실험을 수행하는 방법을 설명한다. 실험은 굴삭기 조작 교육에서 필요한 기본 조작 수행, 근접위험 인지, 장애물 회피 행동을 학습할 수 있는 환경으로 구성하였다.

4.1 실험 절차 및 조건

참가자는 굴삭기 버킷을 조작하여 벽돌을 집어 올린 후, 뒤쪽에 위치한 적재함에 벽돌을 내려놓는 과업을 수행하였다. 해당 과업은 실제 굴삭기 작업에서 반복적으로 발생하는 인양, 회전, 투하 동작이다. 또한 작업 반경 내에 장애물인 기둥을 배치하여 참가자가 버킷과 장애물 간 근접 상황을 인지하고 회피 행동을 수행해야 하는 상황을 재현하였다. 이를 통해 작업 중 발생하는 근접 위험을 조종자가 어떻게 인지하고 대응하는지를 평가하고자 하였다.

참가자는 굴삭기 캐빈 시점에서 작업을 수행하도록 구성하였다. 이를 통해 참가자는 실제 굴삭기 조종석에 탑승한 것과 유사한 시점에서 버킷, 벽돌, 장애물, 적재함을 확인하며 조작을 수행하였다. 굴삭기 조작은 조이스틱 입력을 기반으로 하였으며, 좌우 조이스틱의 입력은 실제 굴삭기 조작 방식과 대응되도록 매핑하였다. 실험 전 참가자는 전극 패드를 착용한 상태에서 조이스틱을 조작하는 예비 동작을 수행하였으며, 전기 자극이 손목 움직임을 물리적으로 방해하지 않는지 확인하였다. Fig. 8은 본 실험에서 사용한 조이스틱 기반 굴삭기 조작 인터페이스이다.

https://cdn.apub.kr/journalsite/sites/ksarc/2026-005-02/N0410050202/images/ksarc_05_02_02_F8.jpg
Figure 8

Joystick control mapping and excavator components used in the experiment

실험 참가자는 건설환경공학부 학생 13명으로 구성하였다. 실험 조건은 Fig. 9와 같이 총 세 가지로 설정하였다. C1은 모니터 기반 조작 조건으로, 참가자가 HMD(Head-Mounted Display)와 전기촉각 피드백 없이 모니터 화면을 보며 굴삭기를 조작하는 조건이다. C2는 VR 기반 조작 조건으로, 참가자가 HMD를 착용하고 굴삭기 캐빈 시점에서 작업을 수행하되 전기촉각 피드백은 제공하지 않는 조건이다. C3는 VR 기반 조작에 전기촉각 피드백을 추가한 조건으로, 참가자는 HMD를 착용한 상태에서 버킷과 장애물 간 거리에 따라 손목에 제공되는 전기촉각 자극과 함께 작업을 수행하였다. 각 조건의 수행 순서는 학습효과를 통제하기 위해 참가자별로 무작위 배정하였다.

https://cdn.apub.kr/journalsite/sites/ksarc/2026-005-02/N0410050202/images/ksarc_05_02_02_F9.jpg
Figure 9

Experimental conditions: C1: monitor-based control, C2: VR-based control, C3: VR-based control with electrotactile feedback

4.2 평가 지표

평가 지표는 수행 데이터와 설문 데이터로 구분하였다. 본 연구에서 전기촉각 VR 교육 시스템의 실효성은 단일 지표가 아니라 수행 성과, 안전성, 사용자 인식, 작업부하를 종합하여 평가하였다.

수행 데이터는 제한 시간 내 적재량, 장애물 충돌 횟수, 작업시간을 포함한다. 적재량은 참가자가 제한 시간 내 성공적으로 운반 및 배출한 벽돌의 수로 정의하였으며, 작업 생산성을 나타내는 지표로 사용하였다. 장애물 충돌 횟수는 버킷과 장애물 간 접촉이 발생한 횟수로 정의하였으며, 안전성 평가 지표로 사용하였다. 작업시간은 각 조건에서 과업 수행의 효율성을 평가하기 위한 지표로 활용하였다.

설문 데이터는 VR 교육 환경 적합성, 안전교육 효과, 전기촉각 피드백 유용성, 전기촉각 피드백 수용 평가를 포함하였다. VR 교육 환경 적합성과 안전교육 효과는 참가자가 굴삭기 작업 상황과 위험 회피 과정을 교육적으로 의미 있게 경험했는지를 평가하기 위한 항목으로 구성하였다. 전기촉각 피드백 유용성과 수용성은 거리 기반 자극이 학습자의 위험 인지를 보조하는 감각 정보로 작용하는지, 그리고 실제 교육 과정에서 수용 가능한 방식으로 제공될 수 있는지를 함께 검토하기 위해 포함하였다. 또한 NASA-TLX 기반 작업부하 평가 도구를 활용하여 작업부하를 평가하였다. 이를 통해 전기촉각 피드백이 위험 인지에 도움을 주는 동시에 추가적인 인지적·감각적 부담을 유발하는지를 함께 분석하고자 하였다.

5. 연구 결과

5.1 수행 성과

Fig. 10은 실험자들의 조건별 작업량, 충돌 횟수, 작업시간을 나타낸다.

https://cdn.apub.kr/journalsite/sites/ksarc/2026-005-02/N0410050202/images/ksarc_05_02_02_F10.jpg
Figure 10

Task performance results by experimental condition: workload, collision count, and task time

본 연구에서는 C1과 C2의 비교를 통해 VR 기반 교육 환경의 효과를 검토하고, C2와 C3의 비교를 통해 전기촉각 피드백의 추가적 효과를 분석하였다.

C2에서는 C1에 비해 작업량은 18.1% 증가하였고, 충돌 횟수는 47.8% 감소하였으며, 작업시간은 8.4% 감소하는 경향을 보였다. 이는 VR 환경이 굴삭기 캐빈 시점과 작업 공간의 깊이감을 제공하여, 전기촉각 피드백을 적용하고 검증하기에 적합한 교육 시뮬레이션 환경임을 보여준다.

C3에서는 C2에 비해 작업량이 8.0% 증가하였고, 충돌 횟수는 58.3% 감소하였다. 이는 버킷과 장애물 간 거리에 따라 제공된 전기촉각 자극이 학습자의 근접 위험 인지를 보조하고, 충돌 회피 행동을 유도했을 가능성을 보여준다. 특히 전기촉각 피드백은 시각 정보에 집중된 VR 조작 환경에서 별도의 감각 채널을 통해 제공함으로써, 학습자가 버킷과 장애물 간 거리 변화를 보다 명확하게 인식하도록 도운 것으로 해석할 수 있다.

다만 C3의 작업시간은 C2에 비해 3.5% 증가하였다. 이는 전기촉각 피드백이 충돌 회피에는 긍정적으로 작용했지만, 동시에 작업 속도와 인지 부담 측면의 trade-off를 동반할 수 있다는 것을 의미한다(Lee and Ham, 2025).

5.2 설문 결과

Fig. 11은 VR 기반 전기촉각 피드백 교육 시스템에 대한 설문 결과를 나타낸다. 각 지표는 관련 문항들의 평균값으로 산출하였으며, 문항은 7점 리커트 척도(1 = 전혀 그렇지 않다, 7 = 매우 그렇다)로 평가하였다. 설문 항목은 VR 교육 환경 적합성, 안전교육 효과, 전기촉각 피드백 유용성, 전기촉각 피드백 수용성의 네 가지 지표로 구성하였다.

https://cdn.apub.kr/journalsite/sites/ksarc/2026-005-02/N0410050202/images/ksarc_05_02_02_F11.jpg
Figure 11

Post-survey results for the VR-based electrotactile feedback training system

설문 결과, 참가자들은 VR 교육 환경 적합성에 대해 비교적 높은 평가를 보였다. 이는 VR 환경이 굴삭기 조작 상황과 작업 공간을 이해하고, 실제 장비 적용 전 전기촉각 피드백을 안전하게 경험할 수 있는 교육 플랫폼으로 활용될 가능성을 보여준다. 또한 안전교육 효과 역시 높게 나타나, 참가자들이 본 교육이 실제 안전교육에 도움이 되며 장애물 회피의 핵심 내용을 이해하는 데 기여한다고 인식했음을 확인할 수 있다.

전기촉각 피드백 유용성 또한 긍정적으로 평가되었다. 이는 전기촉각 자극이 버킷과 장애물 간 근접 위험을 인지하고 회피하는데 보조적인 감각 정보로 기능할 수 있음을 의미한다. 이러한 결과는 C3 조건에서 충돌 횟수가 감소한 수행 결과와도 일관된다.

반면 전기촉각 피드백 수용성은 다른 지표에 비해 낮고 편차가 크게 나타났다. 일부 참가자는 전기촉각 자극에 대해 불쾌감, 따가움, 통증, 주의 분산을 경험했다. 이러한 경향성은 Fig. 12의 NASA-TLX 결과에서도 확인할 수 있다. C3 조건은 C2 조건에 비해 Mental Demand, Effort, Frustration이 증가하는 경향을 보였으며, 이는 전기촉각 피드백이 근접 위험 인지에는 도움을 줄 수 있지만 동시에 추가적인 감각 자극을 해석하고 반응해야 하는 부담을 유발할 수 있음을 시사한다. 따라서 전기촉각 피드백을 교육 시스템에 적용하기 위해서는 자극의 유용성뿐만 아니라 자극 강도, 제공 시점, 지속시간, 개인별 감각 민감도와 같은 사용자 수용성 요인을 함께 고려해야 한다.

https://cdn.apub.kr/journalsite/sites/ksarc/2026-005-02/N0410050202/images/ksarc_05_02_02_F12.jpg
Figure 12

NASA-TLX workload scores across experimental conditions

6. 결 론

본 연구는 VR 기반 굴삭기 교육 환경에 버킷-장애물 거리 기반 전기촉각 피드백을 통합하고, 해당 시스템이 학습자의 작업 수행, 충돌 회피, 사용자 경험에 미치는 영향을 검토하였다. 이를 위해 Unity 기반 철거 작업 시나리오를 구축하고, 버킷과 장애물 간 거리를 실시간으로 산출하여 전기촉각 자극 강도로 변환하는 시스템을 구현하였다. 또한 모니터 기반 조건(C1), VR 기반 조건(C2), VR 기반에 전기촉각 피드백을 추가한 조건(C3)을 비교하여 VR 교육 환경과 전기촉각 피드백의 효과를 분석하였다.

실험 결과, C2는 C1에 비해 작업량 증가, 충돌 횟수 감소, 작업시간 감소 경향을 보였다. 이는 VR 환경이 굴삭기 캐빈 시점과 작업 공간의 깊이감을 제공함으로써 전기촉각 피드백을 적용하고 평가하기 위한 교육 시뮬레이션 환경으로 적절하게 기능했다. 전기촉각 피드백이 추가된 C3에서 C2에 비해 작업량이 증가하고 충돌 횟수가 감소하였다. 이는 버킷과 장애물 간 거리 변화에 따라 제공된 전기촉각 자극이 학습자의 근접 위험 인지를 보조하고, 충돌 회피 행동을 유도하는 데 기여했음을 보여준다.

본 연구는 VR 기반 교육 환경과 전기촉각 피드백을 하나의 시스템으로 결합하여, 실제 장비 적용 전 단계에서 새로운 촉각 피드백 방식의 교육적 활용 가능성과 실효성을 확인하였다. 특히 굴삭기 작업과 같이 시야 제한과 근접 위험이 반복적으로 발생하는 작업에서 전기촉각 피드백은 시각 정보에 의존하던 위험 판단을 보조하는 추가 감각 채널로 효과를 보였다. 따라서 본 시스템은 건설장비 조작 교육에서 근접 위험 인지와 충돌 회피 훈련을 지원하는 교육 도구로서의 의의가 있다.

다만 전기촉각 피드백은 충돌 회피 측면에서 긍정적인 결과를 보였으나 작업시간 증가와 사용자 부담도 함께 나타났다. 설문 결과에서 일부 참가자는 전기촉각 자극에 대해 불쾌감, 통증, 주의 분산을 경험하였으며 NASA-TLX 결과에서는 C3 조건에서 정신적 요구도, 노력, 좌절감이 증가하는 경향이 확인되었다. 이는 전기촉각 피드백이 위험 인지에는 유용할 수 있지만 자극 강도와 제공 방식이 적절하게 설계되지 않을 경우 교육 과정에서 추가적인 인지적·감각적 부담을 유발할 수 있음을 의미한다.

본 연구는 VR 기반 굴삭기 교육 환경에 전기촉각 피드백을 통합하고 그 효과를 검토하였으나 몇 가지 한계점이 있다. 첫째, 참가자별 감각 민감도와 자극 임계값의 차이를 충분히 반영하지 못하였다. 향후 연구에서는 개인별 감각 특성을 고려한 캘리브레이션 절차를 도입하고, 자극 강도, 제공 시점, 지속시간 및 자극 패턴을 최적화함으로써 위험 정보 전달 효과를 유지하면서도 사용자 불편감을 최소화할 필요가 있다. 둘째, 본 연구는 건설환경공학부 학생 13명을 대상으로 수행되었으며, 단순화된 벽돌 운반 및 장애물 회피 시나리오를 활용하였다는 한계가 있다. 따라서 향후에는 실제 장비 조작 경험자를 포함하고 다양한 현장 조건을 반영한 추가 실험을 수행하여 연구 결과의 일반화 가능성을 검토할 필요가 있다. 마지막으로, 본 연구는 VR 기반 교육 환경에서의 효과를 검증하는 데 초점을 두었으며, 실제 장비 조작으로의 전이 효과는 확인하지 못하였다. 따라서 향후 연구에서는 VR 기반 교육이 실제 장비 조작 능력 향상과 안전 행동에 미치는 영향을 검증하여 교육 효과의 실질적 유효성을 확인할 필요가 있다.

Acknowledgements

본 연구는 서울대학교 신임교수 연구정착금으로 지원되는 연구비와 디지털 전환시대 인재 양성을 위한 고등교육 혁신 사업의 지원으로 수행되었음.

References

1

Chae, Y., Arabi, A. A., Kim, J., and Ham, Y. (2026). End-to-end architectural framework for proximity-based preemptive haptic feedback in safe excavation. Automation in Construction, 187, 106961. https://doi.org/10.1016/j.autcon.2026.106961

10.1016/j.autcon.2026.106961
2

Chae, Y., Gupta, S., and Ham, Y. (2024a). Divergent effects of visual interfaces on teleoperation for challenging jobsite environments. Automation in Construction, 167, 105683. https://doi.org/10.1016/j.autcon.2024.105683

10.1016/j.autcon.2024.105683
3

Chae, Y., Gupta, S., and Ham, Y. (2024b). Effects of Visual Prompts in Human-machine Interface for Construction Teleoperation System. Proceedings of the 41st International Symposium on Automation and Robotics in Construction (ISARC), pp. 73-80. https://doi.org/10.22260/ISARC2024/0011

10.22260/ISARC2024/0011
4

Dang, K., Elelu, K., Le, T., and Le, C. (2022). Augmented hearing of auditory safety cues for construction workers: a systematic literature review. Sensors, 22(23), 9135. https://doi.org/10.3390/s22239135

10.3390/s2223913536501836PMC9740817
5

Fang, Y., Lu, J., Bryan-Kinns, N., Ou, J., Lu, P., and Wang, H. (2024). Vibrotactile warnings design for improving risks awareness in construction environment. International Journal of Human-Computer Interaction, 41(9), pp. 5350-5372. https://doi.org/10.1080/10447318.2024.2359742

10.1080/10447318.2024.2359742
6

Kaczmarek, K. A., Tyler, M. E., Okpara, U. O., and Haase, S. J. (2017). Interaction of perceived frequency and intensity in fingertip electrotactile stimulation: dissimilarity ratings and multidimensional scaling. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 25(11), pp. 2067-2074. https://doi.org/10.1109/TNSRE.2017.2702628

10.1109/TNSRE.2017.270262828504942PMC5681405
7

Lee, J. S., and Ham, Y. (2022). Challenges, tasks, and opportunities in teleoperation of excavator toward human-in-the-loop construction automation. Automation in Construction, 148, 104758. https://doi.org/10.1016/j.autcon.2021.104119

10.1016/j.autcon.2021.104119
8

Lee, J. S., and Ham, Y. (2025). Paradox of time pressure: cognitive and task performance during time-sensitive and challenging teleoperation. Journal of Construction Engineering and Management, 151(1), 04024186. https://doi.org/10.1061/JCEMD4.COENG-15417

10.1061/JCEMD4.COENG-15417
9

Lee, J., Ham, Y., Park, H., and Oh, S. (2025). Enhancing excavation performance and situational awareness in construction teleoperation using electro-tactile feedback. Automation in Construction, 177, 106366. https://doi.org/10.1016/j.autcon.2025.106366

10.1016/j.autcon.2025.106366
10

Li, X., Yi, W., Chi, H. L., Wang, X., and Chan, A. P. C. (2018). A critical review of virtual and augmented reality applications in construction safety. Automation in Construction, 86, pp. 150-162. https://doi.org/10.1016/j.autcon.2017.11.003

10.1016/j.autcon.2017.11.003
11

Liu, D., Kim, J., and Ham, Y. (2023). Multi-user immersive environment for excavator teleoperation in construction. Automation in Construction, 156, 105143. https://doi.org/10.1016/j.autcon.2023.105143

10.1016/j.autcon.2023.105143
12

Sakhakarmi, S., and Park, J. (2019). Investigation of tactile sensory system configuration for construction hazard perception. Sensors, 19(11), 2527. https://doi.org/10.3390/s19112527

10.3390/s1911252731163579PMC6603589
13

Scorgie, D., Feng, Z., Paes, D., Parisi, F., Yiu, T. W., and Lovreglio, R. (2024). Virtual reality for safety training: A systematic literature review and meta-analysis. Safety Science, 171, 106372. https://doi.org/10.1016/j.ssci.2023.106372

10.1016/j.ssci.2023.106372
14

Tanaka, Y., Weiss, N., Bolger-Cruz, R. C., Hartcher-O’Brien, J., Flynn, B., Boldu, R., and Colonnese, N. (2024). ReaWristic: Remote Touch Sensation to Fingers from a Wristband via Visually Augmented Electro-Tactile Feedback. 2024 IEEE International Symposium on Mixed and Augmented Reality (ISMAR), pp. 951-960, https://doi.org/10.1109/ISMAR62088.2024.00111

10.1109/ISMAR62088.2024.00111
페이지 상단으로 이동하기