En annen kirke er den hvitkalkedeGamle Haderslev kirke, som ligger ved bredden av den indre dammen.
En renovering av byens eldre hus har ført til at Haderslev byr på en unik samling av hus og bygninger fra1400 til begynnelsen av1900-tallet, og bysentrums brosteinslagte gater og smug danner en opplagt bakgrunn for byvandringer.
Tidligere hadde byen slottetHaderslevhus, noe gatenavnetSlotsgade (Slottsgate) fortsatt vitner om. Slottet menes å ha eksistert siden 1200-tallet, men i midten av1500-tallet ble det revet ned og erstattet avHansborg, som ble oppført som et moderne renessanseslott av hertugHans den eldre. Etter hans død falt det tilbake til den danske kronen, ogFrederik II, som selv var født på det gamle Haderslevhus, bygget Hansborg ferdig. Det var på størrelse medKronborg slott. Det nye slottet ble heretter igjen gitt det gamle navnetHaderslevhus. Det ble ett avChristian IVs favorittslott. Her giftet han seg, og mange av hans barn ble født på slottet. Ulykkeligvis ble Haderslevshus nedbrent underHannibalfeiden i1664 og siden ble det aldri gjenoppført. En del av stenene ble i 1660-årene brukt til oppføringen avDet Kongelige Bibliotek.
Byen opplevde enkatastrofe i Haderslevdammen den8. juli1959, da det brøt ut enbrann om bord i turbåtenTuristen. Det hele endte med tap av 57 menneskeliv.[2] På 50-årsdagen i2009 ble en minnestein reist i en park ved dammen.[3]
Haderslev er den eneste byen i Danmark utenom København med en vaktparade, ettersom det slesvigske musikkorpset marsjerer gjennom byen til domkirken de fleste fredager kl. 12. I domkirken blir et minneblad snudd i et minnekapell[4] for det slesvigske fotregimentets[5] falne.
Byskilt på tysk og dansk har lenge vært alminnelige i Nordtyskland, og i 2015 forsøkte Haderslev som første danske by seg med parallelle tyske navn på byskiltene, slik at det under «Haderslev» også står «Hadersleben».[6]