인공지능 가속기의 캐시 메모리 구조 설계 방법 및 그를 위한 장치를 개시한다. 본 발명의 실시예에 따른 캐시 메모리 구조 설계 장치에서, 가속기의 캐시 메모리의 구조를 설계하는 방법에 있어서, 캐시 메모리 구조 설계 방법은, 가속기에 입력된 어플리케이션에 대해서 프로세싱 엘리먼트 어레이(PE Array: Processing Element Array)가 각 타임 스탬프마다 접근하는 캐시 메모리의 메모리 주소를 추출하는 메모리 접근 정보 추출 단계; 상기 캐시 메모리에 시간의 흐름에 따라 접근하는 상기 메모리 주소들에 근거하여 상기 어플리케이션에 대한 메모리 접근 패턴을 결정하는 메모리 접근 패턴 결정 단계; 및 메모리 접근 패턴을 기반으로 기 학습된 캐시 구조 설계 모델을 이용하여 캐시 메모리 구조를 도출하고, 상기 캐시 메모리 구조에 대한 캐시 구조 설계 정보를 생성하는 캐시 구조 설계 단계를 포함할 수 있다.