본문 바로가기
Sensor

[LiDAR / python] intel Realsense LiDAR camera L515 시작하기(2)

by hymndaniel 2022. 1. 25.

intel Realsense LiDAR camera L515 user guide 정리 (출처 : https://dev.intelrealsense.com/docs/lidar-l500)

- revision1.0. July 2020

- 일부 오역이 있을 수 있습니다.

  • 안전 및 취급 지침
    • 외부 손상이 관찰되면 카메라의 전원을 켜지 마세요.
    • 카메라는 지정된 주변 온도 범위에서만 작동해야 합니다.
    • 돋보기와 같은 광학 요소는 허용되지 않습니다.
    • 어떤 식으로든 이 장치의 하드웨어를 수정하지 마세요. 방사선 노출 위험이 있습니다.
    • 젖은 조건에서 카메라를 작동시키지 마세요.
    • 먼지가 많은 환경에서 카메라를 작동시키지 마세요.
  •  시작하기
    • 시스템 요구사항
      • 최소 요구사항
        • Ubuntu 16.xx/18.04 LTS
        • Windows 10 (build 15063 or later)
    • 카메라 연결
      • host PC는 USB3.0, LiDAR 장치는 type C로 연결
    • 이미지 스트리밍
      • 카메라를 실행하기 위해서 최신버전의 SDK를 다운
      • 개발자가 아닌 한, 전체 SDK가 아닌 인텔 리얼센스 뷰어만 다운로드하는 것이 좋다고 함
      • 이 응용 프로그램은 Depth 스트림을 보고, 녹화 및 재생하고, 카메라 구성 및 기타 컨트롤을 설정하는 데 사용
    • 가능한 스트림들
      • Depth : 장치에서 계산된 depth map 표시
      • Infrared : 적외선 스트림은 장면의 물체에서 반사된 레이저 광의 강도를 나타냄
      • Confidence : 신뢰 스트림은 각 계산된 깊이 값에 대한 상대 신뢰 수준을 나타냄. 더 밝은 픽셀은 계산된 깊이의 높은 신뢰도를 의미하고, 어두운 픽셀은 계산된 깊이에 대한 낮은 신뢰도를 의미. 이러한 신뢰 값은 깊이 맵에서 노이즈(낮은 신뢰도) 픽셀을 필터링하는 데 사용됨
      • IMU : 가속도계와 자이로스코프 데이터가 표시
      • RGB camera : 선택할 수 있는 여러 해상도와 frame rate가 있음
  • 카메라 컨트롤
    • Laser power
      • 레이저 전력이 높을수록 카메라 범위가 길어짐. 더 긴 범위는 더 짧은 범위 감지를 희생시키며, 이는 레이저 전력이 너무 높으면 더 가까운 물체가 너무 밝아(포화) 것처럼 보이고 적절한 깊이 측정이 불가능할 수 있음을 의미
    • Receiver gain
      • 높은 Receiver gain은 물체에서 돌아오는 신호가 너무 낮은 상황에서 유용함(먼 물체 및/또는 어두운 물체). 그러나, 높은 Receiver gain을 선택하는 것은 또한 노이즈를 증폭시키는 것을 의미함. 여기에는 햇빛과 같은 다른 원천의 간섭 빛이 포함될 수 있어, 주변광의 존재에 따라 Receiver gain의 신중한 선택 필요
      레이저 파워와 수신기 이득을 제어하면 어떤 상황에서는 깊이 성능을 향상시키는 데 도움이 될 수 있지만, 이러한 설정을 조정할 때 이해해야 할 tradeoff 가 있음.
TradeOffs 장점 단점
laser power 증가 반사율이 좋지 않은 물체를 측정하기 더 쉽고, 깊이 범위를 확장함 가까운 물체는 수신기를 과포화시킬 수 있고 수신기가 반사율이 높은 물체가 됨
laser power 감소 카메라와 객체 사이의 최소 거리가 줄어듦 최대 범위가 감소
receiver gain 증가 반사율이 좋지 않은 물체를 측정하기 더 쉽고, 깊이 범위를 확장함 주변광의 노이즈 증가
receiver gain 감소 카메라와 객체 사이의 최소 거리가 줄어들고, 주변광의 노이즈가 감소 최대 범위 감소
  • 카메라 컨트롤(계속)
    • 사전 설정
      • 주변광 없음: 주변 햇빛이 없을 때 유용(창문을 통해 들어오는 빛이 없는 완전히 실내 사용 사례). 햇빛은 860nm에서 거의 IR을 포함하는 가장 일반적인 광원이지만, L515 성능을 줄일 수 있는 다른 광원은 할로겐과 일부 LED를 포함. 최소 물체 거리는 50cm. 무주변 범위와 최대 범위의 주요 차이점은 모호성 범위(10m-VGA, 6.5m-XGA)보다 더 먼 물체의 잘못된 깊이를 피하기 위해 이 사전 설정에서 더 낮은 레이저 전력임
      • 낮은 주변광: 적은 양의 주변광이 존재할 수 있는 환경에 권장. 최대 범위 사전 설정과 마찬가지로, 레이저 출력은 최대로 설정되지만 주변광으로 인한 카메라의 포화를 피하기 위해 수신기 이득이 감소. 사용자가 가까운 물체(<50cm)를 감지하려는 경우에도 권장
      • 최대 범위: 레이저 출력이 실내 조건에서 깊이 품질을 최적화하는 수신기 이득뿐만 아니라 최대로 설정됨. 최대 범위가 필요하고 감지해야 할 50cm보다 가까운 물체가 없는 사용 사례에 좋은 설정
      • 단거리: 레이저 출력과 이득을 낮추어 가까운 물체가 수신기를 과포화시키지 않도록 함. 이것은 물체와 가까운 거리에서 작동할 수 있게 해줌. 멀리 떨어진 물체도 잘 작동해야 한다면 이 설정은 좋지 않을 수 있음
    • Depth 센서 화질, frame rate 등
      • 해상도: 640x480(VGA)과 1024x768(XGA)의 두 가지 해상도를 선택할 수 있음. 장거리 감지를 달성하기 위해, VGA 해상도를 선택하는 것이 좋음. 더 높은 측면 해상도(더 나은 가장자리 충실도)를 갖고 싶다면, XGA 해상도를 권장
      • 프레임 속도: L515는 초당 30프레임(fps)의 고정 프레임 속도를 제공
    • 컨트롤
      • Laser power : 0-100% 사이에서 조정 가능.
      • 신뢰 임계값 : 0-3 사이 조정 가능. 깊이 맵은 깊이 점당 신뢰 값으로 필터링 됨. 이 슬라이더가 0으로 설정되면 필터링이 수행되지 않으므로 노이즈가 너무 높고 측정이 잘못되었을 때에도 계산된 모든 깊이 값을 표시함. 이 값을 최대로 설정하면 매우 높은 신뢰도 측정만 통과함. 기본 설정은 1임. "싱글샷" 성능에 의존하고 여러 프레임의 시간 평균을 통해 잘못된 깊이 값을 처리할 여유가 없는 애플리케이션에는 높은 신뢰 임계값이 권장됨. 반면에, 시간 필터링과 추적을 허용할 수 있는 응용 프로그램은 데이터 채우기 속도를 높임에 따라 Confidence가 낮게 작동할 수 있다.
      • 최소 거리: 카메라에 대한 최소 물체 거리를 설정. 이 값 이하에서 계산된 모든 깊이 값은 0(알 수 없음)으로 설정됨
      • Receiver gain : 다른 깊이 범위와 조명 조건을 수용하도록 조정됨. gain 증가는 또한 노이즈 증가의 tradeoff가 있음
      • 유효성 검사 우회 : 이것은 신뢰 임계값을 0으로 설정하는 것과 같은 효과가 있음. 무효화 바이패스를 활성화하면 계산된 모든 깊이 값을 통과할 수 있음
      • 제로 오더 활성화 : 이 필터는 특정 시나리오에서 카메라에 50cm보다 가까운 물체가 있을 때 활성화할 수 있음. 그것은 물체 뒤의 장면이 멀리 있을 때 가까운 물체 주변의 빛을 제거함. 기본값은 off.
      • 후처리 선명화 : 선명화 제어는 깊이 맵의 가장자리의 스무딩에 영향을 미침. 높은 선명화 값은 날카로운 모서리를 제공하는 반면, 낮은 선명화 값은 가장자리의 평활화를 유발함. 이 스무딩의 결과는 노이즈 감소임
      • 자유 낙하 감지 활성화 : 기본적으로 이 기능은 내부 IMU를 활용하여 카메라의 낙하를 감지하는 알고리즘으로 동작. 자유 낙하가 감지되면, 카메라의 가장 민감한 부분을 파손으로부터 보호하기 위해 스캔 미러가 자동으로 꺼짐
    • Depth 시각화
      • 최소 및 최대 거리를 선택하거나 수동으로 값을 정의하도록 선택 가능. 특정 거리 범위에 초점을 맞추고 싶을 때 유용
    • 3D 뷰어
      • 3D 공간에서 포인트 클라우드를 조작할 수 있음. 드롭다운 메뉴에서 텍스처 소스를 선택하여 3D 뷰에서 IR 스트림이나 컬러 스트림을 오버레이할 수 있음
    • 후처리
      • 후처리 필터는 획득한 프레임의 호스트 컴퓨터에서 실행됨
      • 임시 필터 : 노이즈를 줄이고 depth map의 작은 구멍을 채우기 위한 프레임의 평균값. 정적 장면을 위한 것이며 움직이는 물체에 사용하면 흐려짐
      • 참조 : https://dev.intelrealsense.com/docs/depth-post-processing (sub-section 4, under Simple Post Processing)
  • 유용한 팁
    • 최적 성능을 위한 팁
      • 사전 설정은 "Low Ambient"으로 시작, 센서 해상도(VGA/XGA)를 선택하고, 나머지 슬라이더를 기본 위치에 두는 것이 좋음
      • 카메라를 반사율이 높은 표면 위에 직접 놓으면, 표면에서 카메라로 다시 반사하면서 depth map이 손상될 수 있음
      • 깊이 측정은 (대부분의 반사 레이저 광이 수신기에 의해 수집되는 확산 반사가 있는)거친 표면에서 가장 잘 작동함. 거울과 다른 매끄러운 표면과 같은 반사율이 높은 물체는 반사율이 있음. 반사면 레이저 광은 감지를 위해 수신기로 다시 반사되지 않을 수 있으며, 깊이 값이 수집되지 않음. 매끄러운 표면의 깊이를 성공적으로 측정하려면 카메라는 평면을 향한 큰 입사각을 보면서 표면 위에 있어야 함
      • L515와 TOF 개념을 기반으로 한 모든 depth 카메라는 표면의 빛 반사에 의존함. 와인 잔과 같은 투명한 물체의 경우, 레이저 광은 카메라로 돌아오지 않고 통과하므로 깊이 값을 측정할 수 없음
      • 열 축적을 피하기 위해 공기가 통하지 않는 닫힌 환경에 두지 않는게 좋음
      • 실내 사용을 위해 설계된 센서이기 때문에 창문을 향하여 두면(햇볕이 잘 드는 장소) 성능이 저하될 수 있음. IR 빛이 너무 많을 때 알 수 없는 깊이 정보가 생길 수 있음
      • 최소 거리를 10cm 이하로 줄일 때, 내부 구성 요소를 보호하기 위해 일시적으로 스트리밍을 중단함. 이럴때는 레이저 전력을 줄여야 함
      • depth 카메라의 최대 범위는 대상의 반사율에 따라 다름. 어두운 물체(어두운 머리카락,카펫 등)는 대부분의 레이저 광을 흡수하여 장치의 유효 범위를 줄일 수 있음. 가능한 경우 레이저 전력을 늘리면 도움이 될 수 도 있음
    • 적외선 프로젝터 간섭 및 하드웨어 동기화
      • L515가 여러 적외선 프로젝터에서 동시에 투영된 적외선 패턴을 포착하는 경우 간섭이 발생할 수 있음
      • 높은 간섭을 해결하기 위해, L515는 장치 간의 하드웨어 동기화를 지원함. 카메라 프로젝터를 사용하는 시간을 번갈아 가며 간섭을 완화하거나 제거할 수 있음. LibRS(Inter_Cam_Sync_Mode)를 통한 하드웨어 동기화를 활성화할 때 L515는 레이저를 활성화하고 이미지를 캡처하기 전에 하드웨어 포트가 높을 때까지 슬레이브 모드에서 작동함
      • 참조 : https://dev.intelrealsense.com/docs/whitepapers
    • 최대범위 얻기
      • L515는 최대 9미터 거리에서 깊이를 측정할 수 있음. (진한 빨간색으로 칠한 깊이 프레임의 중심은 카메라에서 9.3미터 떨어져 있음)
      • 카메라를 최대 범위로 설정하고 VGA (640x480) 해상도 사용
      • 주변광이 없어야 함
        • 카메라에 의해 생성된 빛의 강도와 품질은 범위에 따라 감소하므로 주변광이 증가함에 따라 카메라에 의해 생성된 빛과 주변광 노이즈를 분리하기 어려움
      • 대상은 860nm에서 IR 광에 대한 95% 반사율이 있어야 하고 프레임 중앙에 있어야 함
  • Depth 데이터 품질
    • 측면 화질
      • L515는 최대 1024x768 픽셀의 depth map 해상도를 제공
      • 스테레오 카메라와 같은 다른 깊이 감지 방법과 비교할 때, L515는 각 픽셀의 깊이가 직접 측정되기 때문에 더 나은 에지 해상도를 가짐
      • 고해상도 depth map은 장거리에서 작은 물체를 감지할 수 있음. L515의 최소 감지 가능한 물체 크기(MOS)는 1m 떨어진 곳에서 직경 9mm x 높이 11mm만큼 작은 물체를 감지할 수 있음
    • motion blur 강건성
      • It takes <100ns to capture the reflected signal for each pixel. This instantaneous detection results in sharp edges in the depth map for moving objects. The MEMS mirror scans the laser beam starting from one corner of the FOV to the opposite corner. This whole scan takes slightly less than a frame time. Therefore, any movement in the scene may cause rolling shutter type of distortion.
    • Multipath artifacts 
      • TOF 센서의 한 가지 일반적인 문제는 조명의 빛이 수신기로 돌아가기 전에 여러 표면에서 튀어나올 수 있다는 것임. 이로 인해 빛의 전체 경로가 잘못 계산됨
      • L515는 주어진 시간에 하나의 광선만이 다중 경로로 이동한다는 점에서 기존의 TOF 시스템(플래시 조명 포함)에 비해 이점이 있음.
      • 아래 예시에서, L515와 기존의 TOF 카메라는 두 벽의 교차점을 가리킴. L515는 벽 교차로에 소량의 곡률을 가진 직선 벽을 보여주는 반면, 다른 카메라는 교차로에서 구부러진 벽과 훨씬 더 큰 곡률을 보여줌
 

 

 

 

 

 

728x90

'Sensor' 카테고리의 다른 글

[LiDAR / python] intel Realsense LiDAR camera L515 시작하기(3)  (0) 2022.01.25
[LiDAR / python] intel Realsense LiDAR camera L515 시작하기(1)  (0) 2022.01.25

관련글

티스토리툴바