건물 외관 영상처리 방법은 영상처리장치가 건물 외관 영상을 입력 받는 단계; 상기 영상처리장치가 상기 건물 외관 영상의 픽셀들을 색상을 기준으로 식별 대상 픽셀들과 비식별 대상 픽셀들을 구분하는 단계; 및 상기 영상처리장치가 상기 건물 외관 영상에서 상기 비식별 대상 픽셀들 중 복수의 픽셀들이 구성하는 연속된 영역단위로 비식별 대상 영역을 라벨링하는 단계를 포함하되, 상기 비식별 대상 영역을 라벨링 하는 단계는 상기 연속된 영역단위 내에서 상기 복수의 픽셀들 중 적어도 일부의 픽셀들로 구성되는 직사각형 영역으로 결정하는 과정을 포함하되, 상기 직사각형 영역은 상기 직사각형의 가로변이 상기 건물 외관 영상의 프레임의 x축에 평행하도록 위치하는 것을 특징으로 한다.