다중 릴레이를 사용하는 통신 시스템에서의 송수신기 설계 방법이 제공된다. 개시된 방법은, 송수신기로 동작하는 기지국, 복수의 중계기 및 복수의 사용자 단말를 포함하는 통신 시스템에서의 송수신기 설계 방법으로서, 중계기 및 기지국의 파워 구속 조건을 이용하여 상기 기지국의 프리코더 T 및 상기 복수의 중계기의 프리코더 W를 초기화하는 단계(a); 상기 초기화된 T 및 W를 이용하여 상기 사용자 단말의 수신 필터 R을 초기화하는 단계(b); 상기 T 및 R을 고정하고 상기 W를 업데이트하는 단계(c); 쌍대성을 이용하여 상기 기지국의 수신 필터 J, 상기 중계기의 수신 필터 M 및 상기 사용자 단말의 프리코더 P를 설정하는 단계(d); 상기 단계 (d)에서 설정된 상기 M 및 P를 고정시키고 MMSE 수신기로 동작하도록 상기 J를 업데이트하는 단계(e); 상기 단계(e)에서 업데이트된 J, M, �� P 및 쌍대성을 이용하여 상기 T, W, R을 재설정하는 단계(f); 상기 재설정된 R이 MMSE 수신기로 동작하도록 업데이트하는 단계(g)를 포함하되, 상기 T, W, R, J, M 및 P가 수렴할 때까지 상기 단계(c) 내지 (f)를 반복한다.