[coco-annotator] Mask-RCNN Instance segmentation & keypoint dataset 라벨링하기

소개

현재 식물의 활력 상태가 어떤지를 모니터링하기 위한 연구를 진행중입니다. 

기존에는 Object Detection, Instance segmentaion task를 주로 수행했는데, 이번 연구에서는 Keypoint를 찾아내보려고 합니다.

기존에 Instance segementation task로 사용한 경험이 있는 Mask RCNN이 keypoint detection을 동시에 수행할 수 있다고 해서  Mask RCNN으로 진행해보려고 합니다. 

Mask RCNN은 나온지는 꽤 되었지만 여전히 사용하기에 좋은 것 같습니다. 추후에 Instance segmentation과 keypoint detection을 동시에 수행하는 다른 모델과 벤치마킹해보는 것도 재미있을 것 같습니다.

Mask RCNN은 coco format으로 학습해야하므로 이를 지원하는 라벨링 툴을 사용해야합니다.(다른 포맷을 coco format으로 변형하는 방법도 있습니다.)

이전까지는 vgg image annotator를 주로 사용해왔는데 coco dataset을 위한 세팅과 keypoint 라벨링에 적합하지 않은것 같아서 

coco-annotator를 사용해보고자 합니다.

 

기본 환경

OS: Windows MacOS(M1)

Mac 사용자는 주의할 사항이 있습니다. coco-annotator가 사용하는 port가 5000인데 docker-compose up을 하면 이미 할당된 port라는 에러가 발생합니다.
5000 포트에 해당된 프로세스를 강제로 종료하여도 다시 프로세스가 시작되는데 
ControlCe 라는 프로세스이며 AirPlay를 위한 것이라고 하네요. 그래서 coco-annotator를 위해 port를 변경하거나 AirPlay 수신을 꺼야 합니다.
저의 경우는 개발하고있는 포트와 꼬여서 그냥 다른 Windows 데스크탑으로 진행했습니다.

Docker : Git으로 repository를 clone한 뒤 docker환경에서 실행하는 방식이므로 미리 Docker를 설치해야합니다. 글의 목적상 Docker의 설치 과정은 생략하겠습니다.

 

 

설치

Docker 가 설치되어있다면 아래 명령어로 버전을 확인해볼 수 있습니다.

docker --verion

docker-compose --version

그 다음으로는 repo를 clone합니다. clone할 위치로 이동하고 다음 명령어를 사용합니다.

git clone https://github.com/jsbroks/coco-annotator.git

https://github.com/jsbroks/coco-annotator

GitHub - jsbroks/coco-annotator: :pencil2: Web-based image segmentation tool for object detection, localization, and keypoints

clone이 완료되면 해당 디렉터리로 이동합니다. 이어서 docker를 실행하고 다음 명령어를 입력합니다.

cd coco-annotator

docker-compose up

다운로드에 시간이 꽤 소요되네요

다운로드가 완료되면 브라우저에서 http://localhost:5000 으로 접속해서 사용할 수 있습니다.

 

실행

처음에는 사용자를 등록해줍니다. 

그리고 Datasets을 create 합니다.

Dataset의 이름, Category를 설정해줍니다.

다음으로 라벨링할 이미지를 clone한 디렉터리에 옮겨줍니다.

coco-annotator > datasets > {사용자가 정의한 Dataset name}

옮긴 후에 조회가 안되면 Scan 버튼을 눌러주세요

 

 

 

 

참고

https://book.st-hakky.com/docs/coco-annotator-intro/

COCO Annotator の紹介 | Hakky Handbook

https://www.youtube.com/watch?v=OMJRcjnMMok 

https://developer.apple.com/forums/thread/682332

Why is Control Center on Monterey … | Apple Developer Forums