На музичній сцені Пол Саймон дебютував разом зі своїм шкільним приятелемАртом Гарфанкелем.1957 року цей дует під назвою «Tom & Jerryl» потрапив до американського чарту з рок-н-рольним хітом «Hey Schoolgirl». Проте записавши альбом, приятелі розлучилися, щоб продовжити навчання в коледжі.
Наприкінці 1950-х та на початку 1960-х років Саймон під різними псевдонімами записав кілька синглів, які принесли йому помірковану популярність. Серед них були, наприклад, «The Lone Teen Ranger» (як Jerry Landis), «Motorcycle» (як Тісо & The Triumphs), «He Was My Brother» (як Paul Kane) та «Just To Be With You» (як Cousins, у співпраці зКерол Кінг).
1964 року співак вирушив до Європи, де час від часу виступав на паризьких вулицях та лондонських фолк-клубах. Того ж року він повернувся до Нью-Йорка, де завдяки протекції продюсера Тома Вілсона уклав угоду з фірмою«CBS» та відновив співпрацю з Артом Гарфанкелем. Наслідком цього став альбом дуетуSimon and Garfunkel «Wednesday Morning 3 AM», куди, наприклад, ввійшов твір «The Sound Of Silence». Однаклонгплей виявився комерційною поразкою і Саймон вирішив повернутися до Лондона.
1965 року Саймон записав там альбом «The Paul Simon Songbook», який було видано лише у Великій Британії. І цей альбом спіткала б доля лонгплея «Wednesday Morning З AM», якби не інтуїція американського продюсера Тома Вілсона. Збагачений електроінструментами, ремікс «The Sound Of Silence» через два тижні очолив американський чарт синглів, зробивши з Саймона та Гарфанкеля ідолівфолк-року. Взагалі, у період 1965–1970 років Simon & Gurfunkel стали одним з найпопулярніших дуетів в історії популярної музики. Однак дует все ж розпався 1970 року, причинами чого були різні музичні концепції та свідомий вибір індивідуальних творчих шляхів.
1972 року Саймон записав стилістично неоднорідний альбом «Paul Simon». З цієї платівки, що поєднувала елементи латиноамериканської музики, регі і джазу, походили хіт-сингли «Mother & Child Reunion» та «Me & Julio Down By The Schoolyard». Записаний роком пізніше, лонгплей «There Goes Rhymin' Simon» призначався для ширшого кола слухачів, що підтвердив рекордний тираж і успіх творів «Kodachrome» та «Take Me To The Mardi Gras». Добре зустрінуте турне принесло концертну платівку «Live Rhymin», де можна було почути кілька стандартів дуету Simon & Garfunkel.
Кульмінацією творчих задумів Саймона став альбом-бестселер 1975 року «Still Crazy After All These Years», відмічений нагородою«Греммі» у кількох номінаціях. Дещо гіркий автобіографічний твір «Twenty Ways To Leave Your Lover» потрапив на вершину американського чарту як перший у сольній кар'єрі співака, а в хітовому «My Little Town» можна було почути дует з Гарфанкелем.
Наступні п'ять років Саймон користувався плодами власної кар'єри. Цей період приніс йому епізодичну роль у«Енні Голл»Вуді Аллена, записаний разом з Гарфанкелем таДжеймсом Тейлором хіт-сінг/і «Wonderful World», компіляцію «Greatest Hits» з твором «Slip Stidin» Away" та зміну фірми «CBS» на«Warner Brothers».
1980 року співак видав лонгплей «One Trick Pony» з музикою до однойменного фільму. Саймон був автором сценарію та виконавцем головної ролі, однак незважаючи на досить амбіційний сценарій та епізодичну появу гурту «The Lovin' Spoonful» і Тіні Тіма, фільм зустріли прохолодно, що певною мірою вплинуло на творчу стагнацію Пола та затримало появу чергового альбому. Бестселером у цей період стала подвійна концертна платівка, що відбивала перший за багато років спільний виступ Саймона з Гарфанкелем, який відбувся у нью-йоркському «Central Park» 19 вересня 1981 року.
Однак спільні студійні сесії не перетворились на відродження діяльності дуету, хоча частина записаного матеріалу потрапила на черговий сольний альбом Саймона «Hearts & Bones», що з'явився 1983 року. Проте споживачі музичної продукції недооцінили нову роботу співака і незважаючи на популярність сингла «The Great Late Johnny Ace» в цілому альбом пройшов непоміченим.
Саймон пережив невдачу цієї платівки і 1984 року, зацікавившись африканськими ритмами, оселився у Південній Африці. Взявши участь у роботі над відомим твором «We Are The World», який виконав колектив зірок «USA For Africa», Саймон у Йоганесбурзі організував студійні сесії з багатьма місцевими чорношкірими музикантами, наприклад, учасниками гуртів «The Boyoyo Boys», «Tao Еа Matsckha» та церковним хором «Ladysmith Black Mambazo». Внаслідок цього з'явився альбом «Graceland» — одна з найцікавіших і водночас найпопулярніших платівок 1980-х років. У запису цього альбому взяли також участь «Los Lobos»,Лінда Ронстадт та «Rockie Dopsie & The Twisters». Однак платівка та промоційне турне у ПАР було засуджено комітетом боротьби з апартеїдом. Але незважаючи на бюрократичні оскарження у «порушенні культурного бойкоту», альбом, використовуючи музичну спадщину різних цивілізацій, був логічним підсумком творчих пошуків артиста, пропонуючи такі відмінні стилі, як фолк, ритм-енд-блюз, карибські ритми та джаз. сингл-хітами з цього лонгплея стали композиції «The Boy In The Bubble», «You Can Call Me All» та заглавний твір «Graceland».
Продовженням різнокультурних пошуків співака була записана 1990 року з африканськими та бразильськими музикантами платівка «Rhythm Of The Saints». Наступного року Саймон видав лонгплей з записом свого концерту в «Central Park», a 1992 року одружився з Едді Брікелл з групи «The New Bohemians». 4 січня 1993 року у них народився син Адріан Едвард. Того ж року Саймон взяв участь у запису альбомуВіллі Нельсона «Across The Borderline». Наприкінці 1997 року співак запропонував новий альбом «Songs From „The Capeman“», який стилістично витримано у дусі «Graceland» та «The Rhythm Of The Saints».