목표

<aside> 📢

이미지와 LiDAR 데이터가 들어있는 bagfile에서 이미지 데이터에 대한 monocular depth estimation을 진행한 후, LiDAR 데이터로 estimated depth를 평가하는 것.

</aside>

1. 프로젝트 개요

• rosbag파일로부터 image & LiDAR data 추출.
• 선정모델을 통해 추출된 image inference.
• LiDAR data를 사용 가능한 gt data로 가공.
• 가공된 gt data와 model inference 값을 이용해 에러 계산.

2. 모델선정

리뷰한 논문 외에도 paperswithcode 와 github을 참고해서 모델을 선정.

2.1. 모델 선정기준

• 코드를 분석하기 쉬운가
• fps 수치가 높은가 (실시간성 고려)
• pretrained weight가 있는가
• 성능 향상이 가능한 부분이 있는가
• 참고 자료가 많은가
• 프로젝트 목표와 연관이 있는가

<aside> 💡 선정모델: Monocular Depth Estimation through Virtual-world Supervision and Real-world SfM Self-Supervision(MonoDEVSNet)

</aside>

Papers with Code - Monocular Depth Estimation through Virtual-world Supervision and Real-world SfM Self-Supervision

특징: Real World data 비지도학습 + Virtual World data 지도학습을 통해 비지도학습만 있을 때 야기되는 문제점들을 극복.

2.2. 선정이유

• LiDAR 데이터를 GT로 사용

• 성능향상 요소존재

  • Depth threshold 조정.
  • Backbone model 변경이 용이하도록 모듈화.

• Input Image 크기와 상관 없이 적용가능.

• KITTI Eigen 밴치마크에서 우수한 성능을 보임. (4등)

  

• 논문목적이 도로위에서의 traffic depth 추정을 목표로 함. (프로젝트와 방향성 유사)

• fps 수치가 높음. → 실시간성 고려. (하드웨어 성능에 따라 변동 가능.)

  

3. 평가방법

<aside> 💡 모델은 gt data가 존재하는 KITTI data에 대해서는 evaluation 진행 후에 errors를 계산하도록 설계되었다. 제공받은 데이터에 대해서도 똑같이 적용되도록 했다.

</aside>

def compute_errors(gt, pred):
    thresh = np.maximum((gt / pred), (pred / gt))
    a1 = (thresh < 1.25).mean()
    a2 = (thresh < 1.25 ** 2).mean()
    a3 = (thresh < 1.25 ** 3).mean()

    rmse = (gt - pred) ** 2
    rmse = np.sqrt(rmse.mean())

    rmse_log = (np.log(gt) - np.log(pred)) ** 2
    rmse_log = np.sqrt(rmse_log.mean())

    abs_rel = np.mean(np.abs(gt - pred) / gt)

    sq_rel = np.mean(((gt - pred) ** 2) / gt)

    return abs_rel, sq_rel, rmse, rmse_log, a1, a2, a3

• 논문을 참고하여 정량적 평가에 활용한 지표는 크게 오류 지표(Abs_Rel(Absilute Relative), Sq_Rel(Square Relative), RMSE(Root-Mean-Square-Error), RMSE_log(rms와 비슷하지만 log 깊이 값 적용 ) 및 정확도 지표 (오차가 $\alpha^t$ (t = 1, 2, 3, $\alpha$ = 1.25) 내에 들어오는 t 의 비율) 를 사용하였다.
• 이러한 오류 지표의 경우 낮을 수록 좋고, 정확도 지표의 경우는 반대로 높을 수록 좋다.

MonoDEVSNet(rmse, rmse_log, relative absolute error, relative square error)에서 estimation을 진행할 때 요구하는 데이터

<aside> ☝ 모델에 적용하기 위해서는 제공된 rosbag파일에서 이미지 데이터와 라이다 데이터를 추출하여 모델에 적용 가능한 형태로 변형이 필요.

</aside>

3.1 평가용 data