메모리 기반의 객체 추적 방법이 개시된다. 개시된 객체 추적 방법은 타겟 객체가 검출된 첫번째 프레임과 이전 프레임 사이의 프레임 각각에서의 타겟 객체에 대한 특징 벡터를 포함하는 피쳐 뱅크에서, 미리 설정된 개수의 특징 벡터를 선택하는 단계; 메모리에 저장된 상기 피쳐 뱅크에서, 상기 선택된 특징 벡터를 로딩하는 단계; 및 상기 로딩된 특징 벡터와 현재 프레임에 대한 특징 벡터를 이용하여, 상기 현재 프레임에서 상기 타겟 객체를 검출하는 단계를 포함한다.