신경망 연산 장치가 개시된다. 본 신경망 연산 장치는 입력 데이터와 웨이트 데이터의 합성곱 연산을 수행하여 출력 데이터를 생성하도록 구성되는 신경망 연산 장치에 있어서, 복수의 메모리 계층 구조를 포함하고, 입력 데이터, 웨이트 데이터 및 출력 데이터를 포함하는 신경망 연산 데이터를 저장하도록 구성되는 메모리, 제1 메모리 계층 구조와 제1 메모리 계층 구조보다 상위 레벨인 제2 메모리 계층 구조 사이에서 송수신되는 신경망 연산 데이터의 제1 이동에 대한 제1 스케줄링을 수행하고, 제1 스케줄링이 수행되면, 제2 메모리 계층 구조와 제2 메모리 계층보다 상위 레벨인 제3 메모리 계층 구조사이에서 송수신되는 신경망 연산 데이터의 제2 이동에 대한 제2 스케줄링을 수행하고, 제1 스케줄링의 결과 및 제2 스케줄링의 결과에 기초하여 합성곱 연산을 수행하기 위한 신경망 연산 스케줄을 식별하는 적어도 하나의 프로세서를 포함한다.