개시된 실시예는 영상의 다수 프레임으로부터 획득된 희소 광학 흐름에서 다수의 코너점을 검출하고, 검출된 코너점의 이동 거리에 따라 이동 객체에 대한 코너점을 식별하여 관심 영역을 설정하며, 설정된 관심 영역의 종횡비와 식별하고자 하는 관심 객체에 따른 기준 비율에 따라 관심 영역을 분할하고, 신경망 연산으로 각 관심 영역에서 객체를 식별하며 객체 영역을 판별하므로, 적은 연산량을 필요로 하여 실시간 객체 추적이 가능하고, 노이즈에 강건하게 정확하게 이동 객체를 검출 및 추적할 수 있는 이동 객체 추적 장치 및 방법을 제공한다.