의료기반 스마트 안경 장치의 가상 디스플레이 제어 방법과 이를 위한 스마트 안경 장치가 개시된다. 본 발명의 일 실시예에 따른 스마트 안경 장치는, 디스플레이; 영상 촬영부; 및 상기 디스플레이 및 영상 촬영부와 연결되어 상기 디스플레이 상에서의 의료 영상의 표시를 제어하는 프로세서를 포함하고, 상기 프로세서는, 상기 디스플레이 상에 상기 의료 영상을 출력하고, 상기 영상 촬영부를 통해 사용자의 손가락 동작이 인식됨에 따라 인식된 상기 손가락 동작과 사전 매칭된 손가락 제어정보를 파악하고, 및 파악된 상기 손가락 제어정보를 기초로 상기 의료 영상의 출력을 제어한다.