1972년 6월 26일 부산광역시 유형문화재로 지정되었다. 임진왜란 때 순절한 동래부사 송상현(宋象賢:1551~1592), 부산진첨절제사 정발(鄭發:1553~1592)을 비롯해 부산에서 순절한 호국선열의 위패를 모신 곳이다.

1605년(선조 38) 당시의 동래부사 윤훤(尹暄)이 동래읍성 남문 밖 농주산에 송상현의 위패를 모신 송공사(宋公祠)를 지어 해마다 제사를 지냈다. 그뒤 1624년(인조 2)에 선위사 이민구(李敏求)의 청으로 충렬사라는 사액이 내려져 송공사는 충렬사로 명칭이 바뀌었다. 1652년(효종 3) 동래부사 윤문거(尹文擧)가 당시의 사당이 좁고 저습하며, 송상현의 학행과 충절을 후학들에게 가르치기 위해 지금의 충렬사 자리로 이전하면서 사당을 세운 뒤 강당과 동, 서재를 지어 안락서원이라고 하였다.

1709년(숙종 35)에는 옛 송공사 터에 별사를 지어 송상현과 정발이 순절할 때 함께 전사한 동래교수(東萊敎授) 노개방(盧蓋邦), 양산군수 조영규(趙英圭), 향리 송백(宋伯) 등의 위패를 모셨다가 1736년(영조 12) 충렬사로 옮겨 함께 모셨다.   

일제강점기에는 서원과 사우를 보수하지 못했으나 1976년부터 1978년까지 중수와 보수 공사를 했다. 충렬사에는 충렬사 본전과 의열각, 기념관, 정화기념비, 송상현공 명언비, 충렬탑 등의 유적이 있다. 지금도 해마다 5월 25일에 제사를 지내고 음력 2월과 8월 중정일(中丁日)에 충렬사 안락서원에서 제향을 올린다.