Największe sukcesy odniósł naigrzyskach olimpijskich w 1900 w Paryżu. Rozgrywano na tych igrzyskach dwa biegi z przeszkodami. Orton zwyciężył na dystansie 2500 metrów, a na 4000 metrów był piąty. Na tym drugim dystansie mógł osiągnąć lepszy wynik, ale cierpiał na infekcję jelit. Orton został także brązowym medalistą wbiegu na 400 metrów przez płotki, miał jednak ułatwione zadanie, ponieważ ostatecznie wystartowało tylko pięciu zawodników. Z przedbiegu, w którym startował Orton, do finału kwalifikowali się obaj występujący zawodnicy (Orton przybiegł drugi). W finale wystąpiło tylko trzech zawodników i Orton zajął trzecie miejsce. Został więc medalistą olimpijskim, chociaż zawsze przybiegał na ostatniej pozycji[1].
W latach 1899–1932 bieg odbywał się na dystansie 10 mil (9144 m). Mistrzostwa miały charakter otwarty, co oznaczało, że mogli w nich brać udział zawodnicy z innych krajów.
