본 발명은 데이터베이스 및 연산기능을 가진 제어서버에 의해 수행되는, 작업자 고소작업 및 안전상태 평가 시스템으로서, 영상 데이터에서 작업자 및 안전장비를 포함하는 목표 사물을 경계상자(bounding box) 형태로 인식하는 사물탐지 모델 기반 목표 사물 인식부(110), 및 영상 데이터에서 작업자 및 안전장비를 포함하는 목표 사물을 픽셀 단위로 인식하는 의미분할 모델 기반 목표 사물 인식부(120)를 갖는 목표 사물 인식부(100); 상기 사물탐지 모델 기반 목표 사물 인식부(110) 및 상기 의미분할 모델 기반 목표 사물 인식부(120)에서 인식된 사물 영역 정보로 각 안전 장비를 소유한 각 작업자를 구분하는 안전장비 소유자 구분부(200); 상기 의미분할 모델 기반 목표 사물 인식부(120)에서 픽셀 단위로 인식된 각 안전장비의 상호 연결 여부를 판단하는 안전장비 연결성 판단부(300); 작업자의 고소작업 여부를 판단하는 고소작업 판단부(400); 상기 의미분할 모델 기반 목표 사물 인식부(120)에서 픽셀 단위로 인식된 작업자 정보, 상기 안전장비 연결성 판단부(300)의 판단값 및 상기 고소작업 판단부(400)의 판단값을 활용하여 각 작업자의 작업 상황 정보 및 안전 장비 착용 정보를 벡터 형태 또는 행렬 형태로 생성하는 관계 벡터 생성부(500); 및 상기 관계 벡터 생성부(500)에서 생성된 관계 벡터 또는 행렬 정보를 통해 작업자의 안전상태를 판단하는 안전상태 판단부(600)를 포함한다.