1. 서 론
2. 선행연구 조사
2.1 중장비의 생산성 및 사이클 타임 예측
2.2 토목 분야의 강화학습 적용 사례
3. 기술 구현 및 현장 검증
3.1 강화학습 기반 시뮬레이션 환경 구현
3.2 성능 평가
4. 결 론
1. 서 론
대부분의 건설 프로젝트에서 고속도로, 댐, 교량, 건물 등의 구조물을 건설하기에 앞서 토공 작업이 수행된다. 토공 공정은 대량의 흙을 운반 및 매립하여 지표면을 계획한 형태로 변형시키는 작업을 의미하며, 이 과정에서 전체 건설 예산의 25~30%가 소요된다고 알려져 있다(Hola and Schabowicz, 2010; Lu et al., 2007). 따라서, 건설 프로젝트를 성공적으로 수행하기 위해서는 토공 작업에 발생하는 비용을 최소화하기 위한 노력이 필요하며, 이는 정확한 장비 생산성(시간당 작업량) 추정을 바탕으로 공정 계획을 최적화함으로써 달성할 수 있다(Shehadeh et al., 2022).
굴삭기는 가장 많이 이용되는 중장비로, 건설 프로젝트에서 굴착, 절토 된 토사의 적재, 평탄화 등 다양한 역할을 수행하며 토공 공정 시 발생하는 비용에 큰 영향을 끼친다(Yang et al., 2003; Vahdatikhaki et al., 2015; Mahmood et al., 2022). 전통적으로 굴삭기의 생산성을 추정하는데 필요한 사이클 타임은 프로젝트 관리자의 경험적 데이터, 표준품셈, 장비 제조사에서 제공되는 제원(예, 사이클 타임 테이블) 등을 바탕으로 이론적으로 예측하는 것이 일반적이다(Parente et al., 2016). 그러나, 기존 방식을 통해 추정된 장비의 사이클 타임과 실제 현장의 사이클 타임 값에는 오차가 있다고 보고되었다(Holt and Edwards, 2015; Rashidi et al., 2014; Akhavian and Behzadan, 2014). 뿐만 아니라, 굴삭기의 작업은 굴착 깊이와 회전 각도, 지형의 경사와 생김새 등 다양한 현장 환경에 영향을 받기 때문에 계획 단계에서 사이클 타임을 정확히 예측을 하는데 어려움이 있다(Yang et al., 2003, Lee et al., 2008, Kim et al., 2020). 이에, 본 연구에서는 굴삭기를 대상으로 기계학습의 한 종류인 강화학습(Reinforcement learning, RL)을 기반으로 현장 작업 조건에 따른 사이클 타임을 추정하는 기법을 제안한다.
2. 선행연구 조사
2.1 중장비의 생산성 및 사이클 타임 예측
토공 장비의 생산성은 장비가 사이클당 수행할 수 있는 흙의 양에 사이클 수를 곱한 값, 즉 장비가 단위 시간 내에 작업을 수행한 토사의 양을 의미하며, 전통적인 굴삭기 생산성 및 사이클 타임 예측 방식의 한계를 개선하기 위해 여러 연구가 수행되었다. 일례로, Edwards and Holt(2000)는 다중 회귀 분석을, Yang et al.(2003)은 퍼지 모델을 이용하여 굴삭기의 사이클 타임을 예측하였으며, Sağlam and Bettemir(2018)는 몬테카를로 시뮬레이션을 통해 굴착작업 소요시간을 예측하는 방법론을 제안하였다. 한편, 기계학습은 인간이 해결하기 힘든 복잡한 문제를 보다 빠르게 해결할 수 있다는 장점으로 인해 교량 유지보수(Jaafaru et al., 2022), 토공 모니터링(Kim and Chi, 2020) 등에 응용되는 등 건설 산업에도 기여하고 있으며, 토공 장비의 생산성을 예측하기 위해서도 기계학습 기술이 사용되고 있다. 일례로, Tam et al.(2002)은 굴삭기의 사이클타임을 예측하는 연구에서 인공신경망(Artificial Neural Network, ANN) 기술을 사용했으며, Edwards and Griffiths(2000)는 굴삭기의 사이클타임과 굴착공정에 소요되는 비용을 예측하기 위해 ANN 기술을 채택했다.
하지만, 이러한 노력에도 불구하고 기존의 연구에서 해결되지 못한 한계점은 다음과 같다. 회귀 모델과 인공신경망 모델 등 예측을 학습시키기 위해서는 다량의 입력 데이터가 필요하다. 하지만, 토공 공정의 경우 다양한 현장 조건에 따른 충분한 학습 데이터가 부재한 실정이며 현장에서의 데이터 수집에 많은 시간이 요구되는 등 데이터 확보에 어려움이 있다(Nikas et al., 2007; Kim et al., 2019). 또한, 기존 방식들의 경우 시시각각 변하는 현장 작업 조건(예, 지형, 장애물, 회전 각도, 굴착 깊이)을 사이클 타임 추정에 정확히 반영하는데 한계가 있다.
2.2 토목 분야의 강화학습 적용 사례
최근 건설 분야에서도 강화학습이 터널(Erharter et al., 2021), 교통 시스템(Genders et al., 2019) 등 다양한 연구 주제에 적용되고 있다. 여러 도메인 중 건설 장비에 대한 연구 또한 다양하게 진행되고 있는데, 일례로 Adi et al.(2020)은 트럭의 최적 경로를 찾기 위해, Ali and Frimpong(2021)은 덤프트럭의 자동화를 위해, Cho and Han(2022)은 타워크레인의 양중 작업 경로 계획을 위해 강화학습을 도입하였다. 또한, 굴삭기와 관련된 연구에서도 강화학습이 적용되고 있으며, 일례로 Kurinov et al.(2020)은 강화학습을 통해 가상 환경에서 굴삭기를 자동화하였고, Egli and Hutter(2020, 2022)는 실제 굴삭기 자동화를 위해 강화학습 기법을 이용하였다. Woo et al.(2018)는 학습 환경의 이미지를 강화학습의 입력 값으로 설정하고, 컴퓨터 비전 기술에서 널리 사용되는 합성곱 신경망(Convolutional Neural Network, CNN)과 강화학습을 결합하여 토공 공정에서 굴착 순서를 최적화하는 방법을 제안하였다.
하지만, 기존 굴삭기 관련 강화학습 연구에서 제안된 기술들을 건설 현장에서 바로 적용하기 위해서는 추가적인 연구가 필요하다 판단된다. 예를 들어, 굴삭기 자동화 기술의 경우 실제 현장에서 안전하게 구현되기 위해서는 로보틱스, 센싱 등의 요소들에 대한 고려가 필요하며, 굴착 순서 최적화 기술의 경우 2차원의 그리드 환경에서 기술이 구현되었기 때문에 실제 현장 특성을 반영하는 3차원 환경에 대한 추가적인 연구가 필요할 수 있다. 본 연구에서는 강화학습 기반의 굴삭기 작업 3D 시뮬레이션을 통해 장비의 제원(예, 몸통의 회전속도, 버켓의 회전 속도 등)을 반영한 굴삭기 에이전트를 현장 지형을 반영한 포인트클라우드 기반의 가상환경에서 학습하여 사이클 타임을 예측한다.
3. 기술 구현 및 현장 검증
3.1 강화학습 기반 시뮬레이션 환경 구현
3.1.1 3차원 가상환경 구현
강화 학습 시뮬레이션 환경은 Fig. 1과 같이 3단계로 구현되었다. 먼저 드론을 이용하여 현장의 포인트 클라우드를 수집하고 Pix4D 소프트웨어를 이용하여 드론을 통해 수집된 지형 이미지에서 포인트 클라우드를 추출하였다. 두 번째로, Cloud Compare 소프트웨어를 사용하여 포인트 클라우드를 메쉬 형태로 변환한 뒤 Unity 3차원 가상환경에 입력하였다. 마지막으로, 굴삭기의 장비 제원을 참고하여 실제 굴삭기와 동일한 속도로 작동하는 가상 환경 굴삭기를 구현하고 굴착 공정이 수행되는 위치에 굴삭기와 덤프트럭을 배치하였다.
Fig. 1
Process of simulation environment implementation
지형의 경사와 생김새는 굴착을 위한 회전 각도, 굴착 깊이, 장애물 유무 등 굴삭기의 작업 조건에 영향을 미친다. 일례로, 전후 5%, 좌우 3% 이상의 경사는 굴삭기의 작업을 위태롭게 만들 수 있으며, 35도 이상의 급경사는 굴삭기가 오르내릴 수 없어 굴착 작업에서 장애물로 인식되어 굴삭기의 작업 경로에 영향을 끼칠 수 있다(Kim et al., 2020). 본 현장의 경우, 굴착작업이 수행되는 위치의 지형이 평탄하여 작업이 안정적일 것으로 확인되었으며, 굴삭기 에이전트가 급경사를 장애물로 인식하도록 설정하였다. 또한, 본 현장의 지형을 확인한 바, 굴삭기의 위치가 사이클타임에 유의미한 영향을 끼치지 않는다 판단하여, 효율적인 강화학습을 위해 굴삭기의 위치는 고정되어 있다 가정하였다.
3.1.2 강화학습 모델링 및 훈련
강화학습은 기계학습의 한 종류로, 의사결정의 주체인 에이전트(agent)가 환경(environment)을 관찰(observation)하며 행동(action)함으로써 상호작용하고, 사용자가 정해준 보상 함수(reward function)에 따라 주어지는 보상의 값을 최대화하는 방향으로 행동(action)의 확률분포인 정책(policy)을 변경하는 방식으로 학습이 진행된다(Fig. 2). 이에, 강화학습은 일반적으로 주어진 환경에서 에피소드(episode)를 반복하며 시행착오(trial and error)를 통해 학습을 진행함에 따라 학습 데이터가 필요하지 않는다는 장점이 있다. 본 연구에서는 굴삭기 에이전트를 강화학습시켜 가상환경 내에서 자동화한 뒤, 3차원 가상환경 내에서 굴착 작업을 시뮬레이션하여 사이클 타임을 예측하였다. 강화학습은 Proximal Policy Optimization(Schulman et al., 2017) 알고리즘을 기반으로 구현되었다.
Fig. 2
Mechanism of reinforcement learning
강화학습을 위한 입력 값인 관찰을 위해 거리 센서를 통해 수집되는 거리 데이터(Fig. 2의 distance sensing data)와 굴삭기 에이전트와 트럭, 굴착 지점 등 굴삭기 주변 지형 지물과의 관계 데이터(Fig. 3), 그리고 굴삭기 주요 부품(암, 붐, 버켓, 몸통) 별 회전 각도가 이용되었다(Table 1, Fig. 4). 관계 데이터의 일례로, 굴삭기의 버켓과 굴착 지점 사이의 거리 및 각도, 트럭의 위치 등이 이용되었다.
Fig. 3
Environmental data by excavator agent and other components : (a)Vtb=Vector from truck’s basket to bucket, (b)Vts=Vector from truck’s basket to excavated dirt, (c)ad=Angle between bucket and digging point, = Angle between bucket and truck, (d)Dd=Distance between bucket and digging point
Fig. 4
Angle of each components of excavator agent’s as a environmental data : (a)∆abody= Angle of rotation of body, (b)∆aboom= Angle of rotation of boom, (c)∆aarm= Angle of rotation of arm, (d) ∆abucket= Angle of rotation of bucket
Table 1.
Observations for excavator reinforcement learning
|
Number
|
Contents
|
|
1
|
cosad |
|
2
|
cosat |
|
3
|
Position of the excavated dirt
|
|
4
|
Position of the dump truck
|
|
5
| dd |
|
6
| ∆abody, ∆aboom, ∆aarm, ∆abucket |
|
7
|
Distance sensing data from virtual sensors
|
학습의 기준이 되는 보상 함수로는 매 단위 시간(0.02초) 마다 주어지는 연속적인 보상 함수가 6개, 그리고 특수한 조건이 달성되었을 때 주어지는 이산적인 보상 함수가 8개 이용되었다(Table 2). 각각의 보상은 굴착 된 흙을 떨어뜨리지 않도록 버켓의 각도를 일정하게 유지하거나, 굴착 된 흙을 트럭에 적재하기 위해 버켓을 트럭보다 높게 드는 등 특정 목적을 달성하는 방향으로 강화학습이 진행될 수 있도록 구성되었다. 또한, 효율적인 학습을 위해 굴삭기의 4가지 세부 작업 단계(굴착, 적재 전 회전, 적재, 적재 후 회전)에 따라 서로 다른 보상 함수 조합이 적용되었다(Table 3).
Table 2.
Excavator reinforcement learning reward functions
|
Reward
|
Terms
|
|
CR1
|
If dirt is inside the bucket, positive reward
|
|
CR2
|
Positive reward inversely proportional to
|
|
CR3
|
Positive reward proportional to
|
|
CR4
|
Positive reward proportional to )
|
|
CR5
|
Negative reward as time goes
|
|
CR6
|
Negative reward proportional to
|
|
DR1
|
If bucket reach dig position, positive reward
|
|
DR2
|
If dumping is completed, positive reward
|
|
DR3
|
If bucket bottom touch terrain, negative reward
|
|
DR4
|
If dirt dropped, negative reward
|
|
DR5
|
If bucket penetrate terrain, negative reward
|
|
DR6
|
If rotates opposite direction, negative reward
|
|
DR7
|
If components collide, negative reward
|
|
DR8
|
If excavator hit the truck, negative reward
|
Table 3.
Reward functions for excavator reinforcement learning by detailed excavation process
|
Stage
|
Positive Reward Function
|
Negative Reward Function
|
|
Continuous
|
Discrete
|
Continuous
|
Discrete
|
|
Digging
|
CR1 + CR3
| | |
DR3
|
|
Swing
|
CR1 + CR4
| | |
DR3
|
|
Dumping
| |
DR1
|
CR6
| |
|
Returning
|
CR2
|
DR2
| |
DR4
|
| | | | |
|
Every Stage
| | |
CR5
|
DR4 + DR5 + DR6 +
DR7+ DR8
|
3.2 성능 평가
3.2.1 강화학습 결과
효율적인 학습을 위하여, 17,670,000 스텝까지는 적재 후 회전하여 굴삭기의 버켓이 목표 굴착 지점에 도달하는 시점에 에피소드가 끝나도록 학습이 진행되었으며, 본 단계의 학습에서 누적 보상은 약 1,000에 도달하였을 때 수렴되는 양상을 보였다. 이후, 굴착, 굴착 후 회전, 적재, 적재 후 회전 과정이 모두 완료되는 시점에 에피소드가 끝나도록 환경을 설정하여 학습을 재개하였고, 최종적으로 약 7억 스텝의 학습이 진행되었을 때 누적 보상이 약 6,000에 수렴하였다(Fig. 5).
Fig. 5
Cumulative reward for steps
3.2.2 현장 데이터와의 비교를 통한 기술 검증
본 연구에서 제안하는 강화학습 기반 3D 시뮬레이션 기술은 실제 현장에서 수집된 굴삭기의 사이클 타임 데이터와 시뮬레이션 기법을 통해 예측된 사이클 타임을 비교하고, 또한 이와 표준품셈을 이용한 전통적 방식의 예측 정확도를 비교함으로써 그 성능을 평가한다. 현장에서는 총 108개의 사이클 타임이 수집되었으며, 시뮬레이션을 통해 예측된 사이클 타임과 비교되었다.
Fig. 6는 표준품셈과 강화학습 시뮬레이션을 통해 예측된 사이클 타임의 회전 각도와 굴착 깊이 별 분포를 나타내며, 시뮬레이션을 통해 현장 작업 조건에 따른 사이클 타임이 예측되었음을 확인할 수 있다. Table 4는 강화학습 시뮬레이션과 표준품셈을 통한 사이클 타임 예측 정확도를 나타낸다. 실제 현장의 굴삭기의 평균 사이클 타임은 23.23초였으며, 예측 사이클 타임은 표준품셈 방식의 경우 17.9초, 강화학습 시뮬레이션 기법의 경우 20.65초였다. 전통적인 방식의 예측 정확도가 77.06%인 반면, 본 연구에서 제안된 기법은 88.89%의 정확도를 보였으며, Kassem et al.(2021)에 따르면 80%가 신뢰할 수 있는 예측의 임계 값이므로, 전통적 방식보다 제안된 기법을 채택하는 것이 타당하다 판단된다.
Fig. 6
Comparison cycletime distributions of simulation and standardized estimating systems by : (a) swing angle, (b) digging depth
Table 4.
Cycle time estimation accuracy of traditional and RL simulation methods
|
RL
simulation
|
Traditional
method
|
|
Estimated
cycle time (s)
|
20.65
|
17.9
|
|
Standard deviation of
estimated value
|
5.97
|
x
|
|
Cycle time (s)
of site data
|
23.23
|
|
Standard deviation of
the site data
|
2.94
|
|
Absolute
Error (s)
|
2.58
|
5.33
|
|
Estimation
Accuracy (%)
|
88.89
|
77.06
|
4. 결 론
본 연구에서는 굴삭기의 사이클 타임 예측을 위한 강화학습 기반의 3D 시뮬레이션 기술을 제안한다. 실험 결과는 제안된 기술이 굴삭기의 사이클 타임을 약 88.89%의 정확도로 추정할 수 있음을 보여주며, 이를 통해 정확한 장비 생산성 추정을 바탕으로 효율적인 토공 계획을 수립하는데 기여할 수 있을 것으로 판단된다.
비록 본 연구에서 제안된 강화학습 접근법을 통해서 현장 지형 조건에 따른 굴삭기의 사이클타임을 예측하였지만 다음과 같은 한계가 남아있다. (1)굴삭기 에이전트의 위치가 고정 되어있다. (2)현장 지형의 상황을 저자가 육안으로 판단하는 등 주관적인 기준에 의해 실험 조건이 설정된 사항들이 있다. (3)가상환경에서 굴삭기 에이전트를 학습시키는 것에 많은 시간이 소요된다. 따라서, 향후 현장에서 굴삭기가 이동할 수 있는 위치 별로 사이클타임을 예측할 수 있도록 가상환경을 개선하고, 경사 센서 등을 통해 객관적인 기준을 반영하여 줌으로써 보다 더 정확한 사이클타임 예측이 가능할 것으로 기대된다. 또한, 임의로 제작된 다양한 지형 가상환경에서의 충분한 학습을 통해 굴삭기 에이전트를 사전학습을 시킨 뒤, 현장 지형이 반영된 가상환경에서의 파인튜닝(fine-tuning)하는 전이학습 등에 대한 후속 연구가 필요하리라 생각된다. 추가적으로, 본 기술은 향후 3D 시뮬레이션 내에 입도 구성, 밀도, 공극률 등 토사의 성질과, 흙의 성질이 반영된 지형의 시간적 변형을 학습에 반영함으로써 현장 작업조건이 굴삭기의 사이클타임에 미치는 영향을 이해하고 현장 작업조건에 따른 굴삭기의 움직임을 기반으로 사이클타임을 보다 정확히 추정하는 기술로 확장될 수 있다(Parsakhoo et al., 2008, Kujundžić et al., 2021).
Acknowledgements
이 연구는 국토교통부/국토교통과학기술진흥원이 시행하고 한국도로공사가 총괄하는 “스마트건설기술 개발국가 R&D 사업(과제번호 22SMIP-A158708-03)”의 지원으로 수행하였습니다. 본 논문은 한국건설자동화로보틱스학회 제1회 정기학술대회에서 발표된 논문을 수정ㆍ보완하여 작성되었습니다.
References
Adi, T.N., Iskandar, Y.A., and Bae, H. (2020). Interterminal truck routing optimization using deep reinforcement learning. Sensors, 20(20), 5794.
10.3390/s2020579433066280PMC7602099Akhavian, R., and Behzadan, A. H. (2014). Evaluation of queuing systems for knowledge-based simulation of construction processes. Automation in Construction, 47, pp. 37-49.
10.1016/j.autcon.2014.07.007Ali, D., and Frimpong, S. (2021). DeepHaul: a deep learning and reinforcement learning-based smart automation framework for dump trucks. Progress in Artificial Intelligence, 10(2), pp. 157-180.
10.1007/s13748-021-00233-7Cho, S., and Han, S. (2022). Reinforcement learning-based simulation and automation for tower crane 3D lift planning. Automation in Construction, 144, 104620.
10.1016/j.autcon.2022.104620Edwards, D., and Griffiths, I. (2000). Artificial intelligence approach to calculation of hydraulic excavator cycle time and output. Mining Technology, 109(1), pp. 23-29.
10.1179/mnt.2000.109.1.23Edwards, D. J., and Holt, G. D. (2000). ESTIVATE: a model for calculating excavator productivity and output costs. Engineering, Construction and Architectural Management.
10.1108/eb021132Egli, P., and Hutter, M. (2022). A general approach for the automation of hydraulic excavator arms using reinforcement learning. IEEE Robotics and Automation Letters, 7(2), pp. 5679-5686.
10.1109/LRA.2022.3152865Egli, P., and Hutter, M. (2020). Towards RL-based hydraulic excavator automation. in 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), IEEE.
10.1109/IROS45743.2020.9341598Erharter, G. H., Hansen, T. F., Liu, Z., and Marcher, T. (2021). Reinforcement learning based process optimization and strategy development in conventional tunneling. Automation in Construction, 127, 103701.
10.1016/j.autcon.2021.103701Genders, W., and Razavi, S. (2019). Asynchronous n-step Q-learning adaptive traffic signal control. Journal of Intelligent Transportation Systems, 23(4), pp. 319-331.
10.1080/15472450.2018.1491003Hola, B., and Schabowicz, K. (2010). Estimation of earthworks execution time cost by means of artificial neural networks. Automation in Construction, 19(5), pp.570-579.
10.1016/j.autcon.2010.02.004Holt, G.D., and Edwards, D. (2015). Analysis of interrelationships among excavator productivity modifying factors. International Journal of Productivity and Performance Management.
10.1108/IJPPM-02-2014-0026Jaafaru, H., and Agbelie, B. (2022). Bridge maintenance planning framework using machine learning, multi-attribute utility theory and evolutionary optimization models. Automation in Construction, 141, 104460.
10.1016/j.autcon.2022.104460Kassem, M., Mahamedi, E., Rogage, K., Duffy, K., and Huntingdon, J. (2021). Measuring and benchmarking the productivity of excavators in infrastructure projects: A deep neural network approach. Automation in Construction, 124, 103532.
10.1016/j.autcon.2020.103532Kim, H., Ham, Y., Kim, W., Park, S., and Kim, H. (2019). Vision-based nonintrusive context documentation for earthmoving productivity simulation. Automation in Construction, 102, pp. 135-147.
10.1016/j.autcon.2019.02.006Kim, J., Lee, D. E., and Seo, J. (2020). Task planning strategy and path similarity analysis for an autonomous excavator. Automation in Construction, 112, 103108.
10.1016/j.autcon.2020.103108Kim, J., and Chi, S. (2020). Multi-camera vision-based productivity monitoring of earthmoving operations. Automation in Construction, 112, 103121.
10.1016/j.autcon.2020.103121Kujundžić, T., Klanfar, M., Korman, T., and Briševac, Z. (2021). Influence of crushed rock properties on the productivity of a hydraulic excavator. Applied Sciences, 11(5), 2345.
10.3390/app11052345Kurinov, I., Orzechowski, G., Hämäläinen, P., and Mikkola, A. (2020). Automated excavator based on reinforcement learning and multibody system dynamics. IEEE Access, 8, pp. 213998-214006.
10.1109/ACCESS.2020.3040246Lee, S., Kim, G. N., and Seo, J. (2008). Analyzing effect factor in earthwork and skillful excavator operator's behavior. KSCE 2008 convention conference, pp. 1867-1870.
Lu, M., Chan, W. H., Zhang, J. P., and Cao, M. (2007). Generic process mapping and simulation methodology for integrating site layout and operations planning in construction. Journal of Computing in Civil Engineering, 21(6), pp. 453-462.
10.1061/(ASCE)0887-3801(2007)21:6(453)Mahmood, B., Han, S., and Seo, J. (2022). Implementation experiments on convolutional neural network training using synthetic images for 3D pose estimation of an excavator on real images. Automation in Construction, 133, 103996.
10.1016/j.autcon.2021.103996Nikas, A., Poulymenakou, A., and Kriaris, P. (2007). Investigating antecedents and drivers affecting the adoption of collaboration technologies in the construction industry. Automation in Construction, 16(5), pp. 632-641.
10.1016/j.autcon.2006.10.003Parsakhoo, A., Hosseini, S. A., Jalilvand, H., and Lotfalian, M. (2008). Physical soil properties and slope treatments effects on hydraulic excavator productivity for forest road construction. Pakistan Journal of Biological Sciences, 11(11), pp. 1422-1428.
10.3923/pjbs.2008.1422.142818817241Parente, M., Correia, A. G., and Cortez, P. (2016). A novel integrated optimization system for earthwork tasks. Transportation Research Procedia, 14, pp. 3601-3610.
10.1016/j.trpro.2016.05.428Rashidi, A., Nejad, H.R., and Maghiar, M. (2014). Productivity estimation of bulldozers using generalized linear mixed models. KSCE journal of civil engineering, 18(6), pp. 1580-1589.
10.1007/s12205-014-0354-0Sağlam, B., and Bettemir, Ö. (2018). Estimation of duration of earthwork with backhoe excavator by Monte Carlo Simulation. Journal of Construction Engineering, 1(2), pp. 85-94.
10.31462/jcemi.2018.01085094Schulman, J., Wolski, F., Dhariwal, P., Radford, A., and Klimov, O. (2017). Proximal policy optimization algorithms. arXiv preprint arXiv:1707.06347.
Shehadeh, A., Alshboul, O., Tatari, O., Alzubaidi, M. A., and Salama, A. H. E. S. (2022). Selection of heavy machinery for earthwork activities: A multi-objective optimization approach using a genetic algorithm. Alexandria Engineering Journal, 61(10), pp. 7555-7569.
10.1016/j.aej.2022.01.010Tam, C. M., Tong, T. K., and Tse, S. L. (2002). Artificial neural networks model for predicting excavator productivity. Engineering Construction and Architectural Management, 9(5‐6), pp. 446-452.
10.1108/eb021238Vahdatikhaki, F., A. Hammad, and Siddiqui, H. (2015). Optimization-based excavator pose estimation using real-time location systems. Automation in Construction, 56, pp. 76-92.
10.1016/j.autcon.2015.03.006Woo, S., Yeon, J., Ji, M., Moon, I. C., and Park, J. (2018). Deep reinforcement learning with fully convolutional neural network to solve an earthwork scheduling problem. In 2018 IEEE international conference on systems, man, and cybernetics (SMC) (pp. 4236-4242). IEEE.
10.1109/SMC.2018.00717Yang, J., Edwards, D.J., and Love, P.E. (2003). A computational intelligent fuzzy model approach for excavator cycle time simulation. Automation in construction, 12(6), pp. 725-735.
10.1016/S0926-5805(03)00056-6
