Контроль производительности труда на строительной площадке с помощью алгоритмов машинного обучения

Введение. Современная строительная индустрия активно использует сквозные технологии для оценки производительности труда рабочих-строителей, снижая показатели брака готовой продукции. Инновационные подходы повышают эффективность контроля действий рабочих. Применение технологий компьютерного зрения, видеоаналитики и алгоритмов машинного обучения может повысить объективность оценки производительности труда на строительных площадках.

Материалы и методы. Разработанная автоматизированная система анализа действий рабочих для контроля производительности труда на строительных объектах включает модуль распознавания действий и поз строителей, блок классификации действий и компонент для выделения ключевых точек. Платформа MediaPipe с моделью BlazePose идентифицирует 33 анатомические точки на теле для оценки позы строителя. Система компьютерного зрения обес­печивает непрерывный мониторинг и точное распознавание движений. Технология обеспечивает непрерывное распознавание рабочего даже при временной потере визуального контакта, создается база данных с характеристиками работников для аналитических целей. Применение автоматизированной системы исключает необходимость учитывать временной фактор при анализе сведений, что повышает эффективность процесса и позволяет сосредоточиться на элементах сцены. Разбивая запись на логические отрезки, исследуется каждый элемент рабочего процесса. Рекуррентные нейросети LSTM оптимизируют анализ действий рабочих.

Результаты. Оценка эффективности автоматизированной системы произведена на тестовом видео реализации строительного процесса каменной кладки для определения точности и способности к обобщению. Точность идентификации действий строителя достигла 80,1%. В течение 46,5 с при общем хронометраже видео 58 с модель правильно распознает действия.

Выводы. Результаты проведенной работы доказывают эффективность передовой системы мониторинга производительности труда в строительстве на основе технологий визуального распознавания. Система проводит комплексный мониторинг рабочих операций, оборудования и внешних условий на объекте. Алгоритмы и информационная база обеспечивают надежные измерения и возможности внедрения методики в строительное производство.

1. Xu M., Mei Zh., Luo S., Tan Yi. Optimization Algorithms for Construction Site Layout Planning : A Systematic Literature Review // Engineering Construction & Architectural Management. 2020. Vol. 27. Issue 8. Pp. 1913–1938. DOI: 10.1108/ECAM-08-2019-0457. EDN ZQJLJW.

2. Al Hawarneh A., Bendak S., Ghanim F. Dynamic Facilities Planning Model for Large Scale Construction Projects // Automation in Construction. 2019. Vol. 98. Pp. 72–89. DOI: 10.1016/j.autcon.2018.11.021

3. Kaveh A., Vazirinia Y. Construction Site Layout Planning Problem Using Metaheuristic Algorithms : A Comparative Study // Iranian Journal of Science and Technology, Transactions of Civil Engineering. 2019. Vol. 43. Issue 2. Pp. 105–115. DOI: 10.1007/s40996-018-0148-6

4. Jaafar K., Elbarkouky R., Kennedy J. Construction Site Layout Optimization Model Considering Cost and Safety in a Dynamic Environment // Asian Journal of Civil Engineering. 2021. Vol. 22. Issue 2. Pp. 297–312. DOI: 10.1007/s42107-020-00314-3. EDN ASHFQJ.

5. Prayogo D., Cheng M.Yu., Wu Yu.W., Redi A.A.N.P., Yu V.F., Persada S.F. et al. A Novel Hybrid Metaheuristic Algorithm for Optimization of Construction Management Site Layout Planning // Algorithms. 2020. Vol. 13. Issue 5. P. 117. DOI: 10.3390/a13050117. EDN VOBMGW.

6. Arshad S., Akinade O., Bello S., Bilal M. Computer Vision and IoT Research Landscape for Health and Safety Management on Construction Sites // Journal of Building Engineering. 2023. Vol. 76. P. 107049. DOI: 10.1016/j.jobe.2023.107049. EDN ZQJSLG.

7. Tian Yu., Chen J., Kim Ju.In., Kim J. Lightweight Deep Learning Framework for Recognizing Construction Workers' Activities Based on Simplified Node Combinations // Automation in Construction. 2024. Vol. 158. P. 105236. DOI: 10.1016/j.autcon.2023.105236. EDN PITKJM.

8. Baek J., Kim D., Choi B. Deep Learning-Based Automated Productivity Monitoring for on-Site Module Installation in off-Site Construction // Developments in the Built Environment. 2024. Vol. 18. P. 100382. DOI: 10.1016/j.dibe.2024.100382. EDN TOTRVH.

9. Chen X., Wang Y., Wang J., Bouferguene A., Al-Hussein M. Vision-Based Real-Time Process Monitoring and Problem Feedback for Productivity-Oriented Analysis in off-Site Construction // Automation in Construction. 2024. Vol. 162. P. 105389. DOI: 10.1016/j.autcon.2024.105389. EDN INIOZE.

10. Qi K., Owusu E.K., Francis Siu M.F., Albert Chan P.Ch. A Systematic Review of Construction Labor Productivity Studies: Clustering and Analysis through Hierarchical Latent Dirichlet Allocation // Ain Shams Engineering Journal. 2024. Vol. 15. Issue 9. P. 102896. DOI: 10.1016/j.asej.2024.102896. EDN NKMMDC.

11. Zhang M., Zhou Ya., Xu X., Ren Z., Zhang Y., Liu Sh. et al. Multi-View Emotional Expressions Dataset Using 2D Pose Estimation // Scientific Data. 2023. Vol. 10. Issue 1. P. 649. DOI: 10.1038/s41597-023-02551-y. EDN ISMSVS.

12. Bora J., Dehingia S., Boruah A., Chetia A.A., Gogoi D. Real-Time Assamese Sign Language Recognition Using MediaPipe and Deep Learning // Procedia Computer Science. 2023. Vol. 218. Pp. 1384–1393. DOI: 10.1016/j.procs.2023.01.117. EDN EWJOKP.

13. Sundar B., Bagyammal T. American Sign Language Recognition for Alphabets Using MediaPipe and LSTM // Procedia Computer Science. 2022. Vol. 215. Pp. 642–651. DOI: 10.1016/j.procs.2022.12.066. EDN SCJTAC.

14. Kikuta T., Chun P. Development of an Action Classification Method for Construction Sites Combining Pose Assessment and Object Proximity Evaluation // Journal of Ambient Intelligence and Humanized Computing. 2024. Vol. 15. Issue 4. Pp. 2255–2267. DOI: 10.1007/s12652-024-04753-7. EDN KRRKHU.

15. Jang Y., Jeong I., Younesi Heravi M., Sarkar S., Shin H., Ahn Y. Multi-Camera-Based Human Activity Recognition for Human–Robot Collaboration in Construction // Sensors. 2023. Vol. 23. Issue 15. P. 6997. DOI: 10.3390/s23156997. EDN ROYSYQ.

16. Xiao B., Zhang Y., Chen Y., Yin X. A Semi-Supervised Learning Detection Method for Vision-Based Monitoring of Construction Sites by Integrating Teacher-Student Networks and Data Augmentation // Advanced Engineering Informatics. 2021. Vol. 50. P. 101372. DOI: 10.1016/j.aei.2021.101372. EDN HHONZJ.

17. Chen C., Zhu Z., Hammad A. Automated Excavators Activity Recognition and Productivity Analysis from Construction Site Surveillance Videos // Automation in Construction. 2020. Vol. 110. P. 103045. DOI: 10.1016/j.autcon.2019.103045. EDN BMUNVW.

18. Alashhab S., Gallego A.J., Lozano M.Á. Efficient Gesture Recognition for the Assistance of Visually Impaired People Using Multi-Head Neural Networks // Engineering Applications of Artificial Intelligence. 2022. Vol. 114. P. 105188. DOI: 10.1016/j.engappai.2022.105188. EDN RLLYMM.

19. Гладышев М.Д., Рыбаков А.В. Интеграция сенсорных данных и математическое моделирование поведения подводного робота с использованием цифрового двойника // Advanced Engineering Research (Rostov-on-Don). 2025. Т. 25. № 2. С. 142–151. DOI: 10.23947/2687-1653-2025-25-2-142-151. EDN LDXARH.

20. Алпатова М.В., Рудяк Ю.В. Оптимальная 2D-расстановка виртуальных объектов в физическом пространстве для приложений дополненной реальности // Advanced Engineering Research (Rostov-on-Don). 2023. Т. 23. № 4. С. 410–421. DOI: 10.23947/2687-1653-2023-23-4-410-421. EDN QPFEMG.

21. Каракозова И.В., Лисицын И.М., Болдышев К.В. Методы проектирования рабочих операций в условиях внедрения цифровых технологий в строительстве // Вестник МГСУ. 2024. Т. 19. № 8. С. 1373–1389. DOI: 10.22227/1997-0935.2024.8.1373-1389. EDN GXBZQY.