ⓢ[자료] 건설현장 BIM 영상데이터 생성기술_2024-02

[자료] 생성형 AI를 활용한 BIM 기반 건설현장 영상데이터 생성기술

 

 

발행 : 2024. 2.
형식 : pdf 6 page
출처 : 한국전산구조공학회지 Vol. 37 N.01

 

---

원본출처: https://koreascience.kr/article/JAKO202414157673590.page

BIM-based Image Dataset Generation Technology for Construction Site Using Generative AI -Computational Structural Engineerin

 

음성개요(내용설명):

 

생성형 AI를 활용한 BIM 기반 건설현장 영상데이터 생성기술
(BIM-based Image Dataset Generation Technology for Construction Site Using Generative AI)

제공된 자료는 건설 현장에서 딥러닝 기술을 활용한 모니터링 연구가 데이터 부족이라는 큰 문제에 직면해 있음을 지적합니다. 이를 해결하기 위해 **가상 환경과 BIM(Building Information Modeling)**을 활용한 학습 데이터 생성 기술의 동향을 소개하며, 특히 생성형 AI를 사용하여 실제와 유사한 건설 현장 영상 데이터를 생성하는 방안을 제시합니다. 이 기술은 데이터 확보의 어려움과 비용을 줄이고, 다양한 작업에 활용 가능한 고품질 데이터를 제공하여 건설 산업의 디지털화와 효율성 향상에 크게 기여할 것으로 전망됩니다.

---

[주요 내용]

1. 건설현장 모니터링 기술 개발의 어려움 (데이터 부족 문제)

• 제한적인 영상 데이터 양: 사생활 및 보안 문제로 건설현장 영상 데이터 공개가 제한적이며, 데이터 구축 사업을 통해 일부 극복되었으나 객체 및 양식의 확장성과 다양성에 한계가 있다.
  • "건설현장 이미지는 사생활과 보안의 문제로 대중에 공개하는 것이 금지된 경우가 많으며[5], 특히 사람이 포함된 영상의 경우에 큰 제한이 있다."
• 한정적인 데이터베이스 활용: 기존 구축된 건설현장 영상 데이터는 객체 탐지 및 객체 분할 등 특정 과제에만 초점을 맞춰 다양한 딥러닝 모델 개발의 확장성을 제한한다.
  • "기존에 구축되어 공개된 건설현장 영상데이터는 제한된 객체에 대해 객체 탐지와 객체 분할 과제만을 위한 데이터를 제공하고 있으며, 이러한 데이터 종류의 한계는 건설현장 모니터링을 위한 딥러닝 모델 개발의 확장성을 제한하고, 구축된 데이터베이스는 현재 한정적인 활용만이 가능한 실정이다."
• 건설 환경의 다양성과 기존 데이터의 한계: 다양한 객체 타입, 영상 해상도, 조도, 카메라 설치 위치 등 건설 환경의 다양성은 특정 현장 데이터 기반 딥러닝 모델의 성능을 저하시킨다. 컴퓨터 비전 분야는 대용량 데이터베이스로 해결했으나 건설현장 적용은 어렵다.

2. 건설 환경 영상 데이터 생성 기술 동향

• 가상 환경 활용 데이터 생성: 가상 환경 구축 소프트웨어를 활용하여 학습 데이터를 구축하는 연구가 진행 중이다. 실제 현장 영상 없이 학습 가능하고 다양한 상황 시뮬레이션이 가능하지만, 실제 환경과의 괴리감으로 인한 모델 성능 저하 문제가 남아있다.
  • Soltani 등(2016)은 CAD 3D 모델을 활용하여 굴착기 탐지 모델 학습을 위한 가상 데이터셋을 구축하였다.
  • Neuhausen 등(2020)은 Blender를 활용하여 건설 환경을 구축하고 근로자 탐지 모델 학습 데이터를 생성하였다.
  • Assadzadeh 등(2022)은 굴착기 포즈 탐지를 위해 3D CAD 모델 기반 가상 이미지를 생성하고 Domain Randomization을 수행하였다.
  • "가상 환경은 아직 실제 환경과의 괴리감으로 인해 발생하는 모델 성능 저하 문제를 해결하고 있지 못해 실제 산업현장에서 적용하기에는 추가적인 연구가 필요한 상황이다."
• BIM 기반 데이터 생성: BIM 모델을 활용하여 데이터 부족 및 수작업 레이블링 문제를 해결하려는 연구가 진행되었다. 초기에는 레이블링 자동화에 초점을 맞추었다.
  • Braun and Borrmann(2019)는 4D BIM과 포인트 클라우드를 활용한 이미지 레이블링 자동 생성 모델을 제안하였다.
  • Alawadhi와 Yan(2020)은 BIM 모델과 초현실적인 렌더링 기술을 활용하여 구조물 객체 분할 학습용 데이터를 생성하였다.
  • Hong 등(2021)은 BIM 모델 실사화를 위해 CycleGAN을 활용하여 사회기반시설 학습 이미지를 생성하였다.
  • "BIM 기반으로 생성된 이미지는 실제 현장의 모습을 효과적으로 모사하여 딥러닝 모델 성능 향상에 큰 역할을 하고 있다."
• 생성형 AI를 활용한 데이터 생성: 생성형 AI는 실제 데이터와 유사한 새로운 데이터를 생성할 수 있어 데이터 증강 효과를 보이며 건설 환경에 다양하게 적용되고 있다.
  • Bang 등(2020)은 GAN 모델을 통해 객체와 배경을 조합하여 새로운 이미지 데이터를 생성하는 기술을 제안하였다.
  • Baek 등(2022)은 Conditional GAN과 적대적 학습을 통해 다양한 색상과 텍스처를 가진 실제와 유사한 이미지를 생성하는 기술을 제안하였고, 데이터 증강 효과를 입증하였다.

3. 생성형 AI를 활용한 BIM 기반 건설현장 영상 데이터 생성 기술의 필요성 및 적용 방향

• 필요성: 신속하고 효율적인 건설 환경 디지털화를 위해 데이터 부족 문제를 해결하고 학습용 데이터의 다양성과 확장성을 확보하는 기술 개발이 필요하다. BIM 모델과 생성형 AI는 이러한 목표 달성에 필수적인 요소이다.
  • "신속하고 효율적인 건설 환경 디지털화를 위해서는 건설현장 데이터 부족 문제를 해결하고 학습용 데이터의 다양성과 확장성을 확보할 수 있는 기술 개발이 필요하다."
• 연구 수행 항목:BIM 기반 합성 이미지 데이터 생성 알고리즘 개발 (BIM 라이브러리 선정, 객체 추가, 2D 이미지 추출, 레이블링 자동 생성)
  • 합성 이미지 데이터 실사화를 위한 생성형 AI 개발 및 학습 (건설현장 이미지 실사화에 적합한 생성형 AI 선정 및 개발, 레이블링 이미지와의 정합성 유지, 객관적인 성능 지표 제안)
• 기술 적용 방향 및 이점:건설현장 데이터 신속 생성 및 높은 신뢰도의 딥러닝 모델 학습 가능
  • 이미지 분류, 객체 탐지 등 원하는 타입의 학습용 데이터 생성 가능
  • 목표 객체 자유 설정으로 영상 데이터 수집 및 정제 시간 단축
  • 설계 단계에서 학습 데이터 확보하여 시공 시작부터 모니터링 가능
  • 모니터링 대상 현장에 최적화된 데이터 생성으로 높은 성능의 딥러닝 모델 학습 가능
  • 생성형 AI를 활용하여 더 다양하고 확장성 있는 모델 학습 가능
  • 단일 영상으로부터 다양한 영상 데이터 생성으로 학습 데이터 양과 다양성 한계 해결
  • "BIM 기반으로 생성된 데이터는 건설현장 모니터링 대상 현장에 최적화된 데이터를 생성하여 높은 성능의 딥러닝 모델을 학습할 수 있다."
  • "생성형 AI 기능을 이미지 실사화에 국한하지 않고, 단일 영상으로부터 다양한 영상데이터 생성을 통해 학습 데이터의 양과 다양성 측면에서의 한계를 해결할 수 있을 것이다."
• 활용 방안: 영상기반 건설현장 모니터링 기술 개발의 원천 기술로 활용 가능하며, 디지털 트윈, 안전 모니터링, 공정 관리 등 다양한 과업에 적용하여 건설 환경 디지털화를 촉진할 수 있다.

4. 결론

건설현장 모니터링 기술은 데이터 부족 문제를 겪고 있으며, 건설 환경 디지털화를 위해서는 학습용 데이터의 다양성과 확장성을 보장하는 기술 발전이 필수적이다. BIM 모델과 생성형 AI는 이러한 기술 발전을 이끌 핵심 도구이며, 특히 BIM 기반 영상 데이터 생성 기술은 건설현장 영상 데이터 부족 문제를 해결하고 다양한 딥러닝 과제를 수행할 수 있는 정제된 데이터를 생성하여 건설현장 모니터링 분야에서 인공지능 기술과의 융합을 통한 혁신을 기대할 수 있다. 이러한 기술 발전은 데이터 수집, 저장, 정제에 따르는 노동력과 비용 부담을 줄여 건설 산업의 생산성과 안정성을 향상시키고 국가 경제에 긍정적인 기여를 할 것으로 예상된다.

---

[핵심 용어 사전]

• 딥러닝 (Deep Learning): 인공신경망을 깊게 쌓아 복잡한 패턴을 학습하는 기계 학습의 한 분야. 이미지 인식, 음성 인식 등 다양한 분야에서 높은 성능을 보임.
• 건설 현장 모니터링 (Construction Site Monitoring): 건설 현장에서 발생하는 다양한 정보(안전, 공정, 자원 등)를 수집, 분석하여 현장 상황을 파악하고 관리하는 활동.
• 디지털화 (Digitalization): 물리적인 정보를 디지털 형태로 변환하고, 이를 활용하여 업무 효율성을 높이고 새로운 가치를 창출하는 과정.
• 컴퓨터 비전 (Computer Vision): 컴퓨터가 이미지나 비디오와 같은 시각 데이터를 이해하고 해석하는 기술 분야.
• 데이터셋 (Dataset): 인공지능 모델 학습 및 평가에 사용되는 데이터의 집합.
• 객체 탐지 (Object Detection): 이미지나 비디오에서 특정 객체의 위치와 종류를 식별하는 컴퓨터 비전 기술.
• 객체 분할 (Object Segmentation): 이미지나 비디오에서 특정 객체의 영역을 픽셀 단위로 구분하는 컴퓨터 비전 기술.
• 깊이 추정 (Depth Estimation): 이미지나 비디오에서 각 픽셀까지의 거리를 추정하는 컴퓨터 비전 기술.
• BIM (Building Information Modeling): 건축물의 설계, 시공, 운영 등 전 생애주기 정보를 3D 모델 기반으로 통합 관리하는 기술.
• GIS (Geographic Information System): 지리 정보를 수집, 저장, 분석, 시각화하는 시스템.
• 디지털 트윈 (Digital Twin): 물리적 세계의 객체나 시스템을 가상 공간에 똑같이 구현하고 실시간 데이터를 연동하여 시뮬레이션하고 분석하는 기술.
• 가상 환경 (Virtual Environment): 실제와 유사하거나 완전히 새로운 가상의 공간을 컴퓨터 그래픽으로 구현한 환경.
• 레이블링 자동화 (Auto-labeling): 데이터에 대한 레이블(객체 종류, 위치 등)을 수동 작업 없이 자동으로 생성하는 기술.
• 포인트 클라우드 (Point Cloud): 3차원 공간상의 점들의 집합으로, 객체의 형태나 환경을 나타내는 데 사용됨.
• 생성형 AI (Generative AI): 기존 데이터를 학습하여 새로운 데이터(이미지, 텍스트, 음성 등)를 생성하는 인공지능 기술.
• GAN (Generative Adversarial Network): 생성자와 판별자라는 두 개의 신경망을 경쟁적으로 학습시켜 실제와 유사한 데이터를 생성하는 생성형 AI 모델.
• 데이터 증강 (Data Augmentation): 기존 데이터셋을 기반으로 다양한 변형을 가하여 데이터의 양과 다양성을 늘리는 기술.
• mIOU (Mean Intersection over Union): 객체 분할 모델의 성능을 평가하는 지표 중 하나로, 예측된 영역과 실제 영역의 교집합을 합집합으로 나눈 값들의 평균.
• 시각 장면 이해 (Visual Scene Understanding): 이미지나 비디오와 같은 시각 데이터를 종합적으로 분석하고 해석하여 장면의 의미를 파악하는 기술.

 

[마인드맵]

BIM 및 생성형 AI 건설현장 영상 데이터_Mind Map

 

---

NotebookLM을 이용해서 작성되었습니다.

디이씨(D.E.C)

martin@dec-w.com