Como jogador, foi vice-campeão doCampeonato Europeu de 1968 com a Iugoslávia.[2] Tanto como jogador como treinador, participou de Olimpíadas pela Iugoslávia, figurando nos jogos de1964 e1988.
Em clubes, está mais ligado aoŽeljezničar Sarajevo, onde passou dez anos como jogador e oito como treinador - foi a primeira equipe em que começou na nova função; e aoSK Sturm Graz, onde ganhou mais troféus: também passando oito anos treinando a equipeaustríaca, ganhou duas vezes aBundesliga Austríaca, duas Copas da Áustria e duas Supercopas da Áustria. Também ganhou duas vezes o campeonato nacionais doPanathinaikos nas duas temporadas em que ficou na equipe daGrécia.
Chegou a ser brevemente sucedido por uma dupla técnica formada pelomontenegrinoMiljan Miljanić e Ivan Čabrinović (sérvio casado com uma muçulmana),[4] mas a seleção terminou punida dias depois e desclassificada antes da competição. O próprio Osim afirmou que a Iugoslávia, que possuía grandes jogadores na época, não merecia jogar o torneio[5] - do qual o campeão foi justamente a seleção que a substituiu, aDinamarca.[1]
Seu trabalho mais recente foi como técnico daSeleção Japonesa, do qual retirou-se em 2007 em virtude de um ataque cardíaco.