Brian lavorò con Joan Crawford in altre due pellicole di genere sentimentale,I dannati non piangono (1950) diVincent Sherman ePerdono (1952), in cui le sue caratteristiche fisiche (alta statura, capelli biondi, sguardo dai lineamenti severi) fecero da perfetto contraltare alla bruna bellezza e al temperamento passionale dell'attrice. Più portato a ruoli di freddi uomini di legge, politici e figure dal carattere inflessibile, Brian lavorò sul grande schermo per tutti glianni cinquanta, ma senza diventare mai un divo di primo piano. Tra i suoi film del periodo, sono da ricordare i westernL'ultima sfida (1951), al fianco diRandolph Scott, eLa maschera di fango (1952), accanto aGary Cooper, e gli avventurosiPrigionieri del cielo (1954) diWilliam A. Wellman eIl fantasma dei mari della Cina (1958), di cui fu anche sceneggiatore.
Sempre negli anni cinquanta l'attore iniziò a lavorare per la televisione, ottenendo il ruolo di protagonista inMr. District Attorney, una serie poliziesca che in versione radiofonica era da molti anni popolare negliStati Uniti. Il successo televisivo consentì a Brian di abbandonare gradualmente l'attività cinematografica in favore del piccolo schermo. L'attore interpretò ancora alcuni ruoli in film celebri, come la commediaAngeli con la pistola (1961) diFrank Capra e il kolossal westernLa conquista del West (1962). Neglianni sessanta fu interprete eguest star in serie televisive famose comeStar Trek, in cui interpretò l'episodioGli schemi della forza (1968).
Divorziato nel 1948 da Bonita Fiedler, Brian si risposò nel 1949 con l'attriceLorna Gray, nota anche con il nome d'arte diAdrian Booth. Il matrimonio durò fino alla scomparsa di Brian che, già colpito da un cancro, morì il 15 luglio 1993 per unattacco cardiaco, all'età di 78 anni.