1903년 투른페라인 말슈타트라는 체조 협회에서 축구부를 창설한 이후 1909년 FV 자르브뤼켄으로 이름을 변경했고 그 뒤 1945년제2차 세계 대전이 종식된 후 연합군에 의해 해산 조치되었다가 현재의 팀명인 1. FC 자르브뤼켄으로 변경했다.
그리고 지역 리그에서는 여러번 우승을 거머쥐었으나 정작분데스리가에서는 힘 한번 쓰지도 못한 채 강등의 수모를 겪었고 이후 1부에서 3부를 오고 가는 그저 그런 평범한 팀이 되었다.
그나마DFB-포칼에서는 4강에 무려 5번 오르는 저력을 보여주었는데 특히 2019-20 시즌에서는 분데스리가의 강호들을 차례대로 연파하며 35년만에 4번째 DFB-포칼 4강 진출이자 4부 리그팀으로는 최초로 메이저 컵대회 4강 진출의 기적을 만들었고 2023-24 시즌에서도 분데스리가 최강팀바이에른 뮌헨을 격파하는 기적을 일으키는 등 2019-20 시즌에 이어 분데스리가팀들을 3연속 격파하며 4년만에 통산 5번째 DFB-포칼 4강 진출의 쾌거를 이뤄냈다.