단일 카메라를 이용한 구조물 3차원 변위 측정 시스템 및 그 방법에 관한 것으로, 단일카메라를 통해 구조물의 연속된 영상을 취득하는 영상취득부; 상기 영상으로부터 변위를 추출하고 싶은 구조물의 관심영역을 선택하여 발췌하는 관심영역 선택부; 상기 관심영역 선택부로부터 발췌된 영상에서 목표물의 좌표변화와 크기변화를 추출하는 좌표 산출부; 및 상기 추출된 좌표와 크기변화로부터 구조물의 3차원 변위를 추출하는 캘리브레이션부를 포함한다. 이와 같은 본 발명은, 단일카메라로 촬영된 구조물의 영상에서 목표물의 좌표변화와 크기변화를 산출하여, 신뢰도가 높은 단일 카메라를 이용한 구조물의 3차원 변위 측정방법 및 그 시스템을 제공한다.