Harry Martison byl synem námořního kapitána. Po otcově smrti matka opustila Harryho (odešla do Kalifornie) a šest dalších sourozenců a děti byly předány do státní péče. Vychodil obecnou školu. V šestnácti letech se stal námořníkem (plavčíkem a později topičem). Kariéru námořníka ukončil v roce 1927 ze zdravotních důvodů. V roce1929 uzavřel sňatek s Moa Swartzovou, která byla o 14 let starší než on. Ve stejném roce také vydal svou první básnickou sbírku.
Z jeho dětské touhy po cestování se postupně zrodila určitá životní filozofie světového tuláctví, kterou prosazoval v knize cestopisných črt a reportáží s názvem Cesty bez cíle.
