뉴럴 네트워크의 수행 시간 예측 방법 및 장치가 개시된다. 일 실시예에 따른 다중 코어 가속기 구조를 반영한 뉴럴 네트워크 수행 시간 예측 방법은 다중 코어 가속기의 각 코어 별로 뉴럴 네트워크의 연산(operation) 타이밍 정보가 탑재된 트레이스(trace) 정보를 생성하는 단계 및 트레이스 정보에 기초하여, 다중 코어 가속기의 코어들 사이의 통신 오버헤드 및 각 코어 별 메모리 접근 시간을 반영한 뉴럴 네트워크의 수행 시간을 계산하는 단계를 포함한다.