본 발명은 사물에 변형과 발생하거나 복잡한 영상이 존재하게 되면 사물을 추적하는데 많은 문제가 발생할 수 있다. 이럴 때 사물의 모양이 어떤 모양이었다는 것을 모델링 하고 이러한 상황에도 정확하게 사물 추적을 할 수 있는 깊이 정보 생성 방법 및 장치를 개시하고 있다. 깊이 정보 생성 방법은 2D 영상을 3D 영상으로 변환하기 위한 깊이 정보를 생성하는 방법에 있어서, 상기 2D 영상 내의 연속된 프레임 내에 존재하는 사물의 중심점과 상기 사물의 윤곽선 상의 특정점들의 상대적 위치를 기반으로 상기 2D 영상의 현재 프레임에서의 상기 사물의 윤곽선을 추적하는 윤곽선 추적 단계; 상기 현재 프레임에서의 사물의 윤곽선을 기반으로 상기 현재 프레임에서의 사물 영역과 배경 영역을 분리하는 영역 분리 단계; 및 상기 분리된 사물 영역과 상기 배경 영역을 기반으로 상기 현재 프레임에서의 깊이맵을 생성하는 깊이맵 생성 단계를 포함할 수 있다.