Родио се714. године као синфраначког мајордомаКарла Мартела.741. по смрти Карла Мартела преузима власт заједно са братом Карломаном. Да би обезбедили легитимитет довели су на престо Хиделрика III Меровинга743. године, кога су пронашли у манастиру.747.Карломан се повукао у манастир Монте Касино и власт потпуно препустио брату.751. на сабору у Соасону, уз подршку тадашњегпапе Захарија Пипин Мали добија краљевску круну и збацује Хиделрика III. Хиделрик III је последњи владар меровиншке династије дугокосих краљева, који је при збацивању понижавајуће ошишан и враћен у манастир. Папа је смену династија правдао тиме да је боље да буде краљ онај који стварно влада. Пипин Мали званично започињеКаролиншку династију.
Долазак на власт Пипина Малог и Карломана обележен је и сређивањем односа са црквом који су заоштрени за времеКарла Мартела због секуларизације црквених земљопоседа. Побољшање односа је требало још јаче да их учврсти на престолу. Током њихове владавине сазивају се сабори који заводе строгу црквену организацију и хијерархију. Стварају се степенице црквених положаја. Прописује се строго придржавање бенедиктинског статута по манастирима. Сва одузета црквена земља се сматрала још увек црквеном, али је остајала у рукама обрађивача који плаћају цркви десетак, поред оног који плаћају држави -'двојни десетак'. Реформа је имала јаку опозицију, али је остварена учврстившимајордоме на власти и доневши касније и краљевску круну. Краљевска круна је последица кризе саЛангобардима и заједничких интереса са папом.