מנגלה נולד בעירגינצבורג (Günzburg) שבבוואריה, הבכור מבין שלושת בניו של קרל מנגלה (1881–1959), יצרן מכונות חקלאיות, ואשתו ואלבורגה. למנגלה היו שני אחים צעירים יותר, קרל ואלויס.
ב־1932, בגיל 21, הצטרף מנגלה לארגון ה"שטאלהלם" (קסדת הפלדה), ארגון פארא-צבאי בעל נטייה ימנית שמרנית. בשנת1933 צורף ה"שטאלהלם" לארגון הנאציאס אה. בשנה זו פרש מנגלה מן הארגון עקב בעיות בריאות.
מנגלה למדרפואה ואנתרופולוגיה באוניברסיטאות במינכן,וינה ובון. ב-1935 קיבל דוקטורט באנתרופולוגיה מאוניברסיטת מינכן. נושא עבודת הדוקטורט שלו מעיד על הכיוון לו הקדיש את הקריירה שלו – "מחקר גזעי מורפולוגי של הלסת התחתונה בקרב ארבע קבוצות גזע". בינואר1937 הוא נעשה עוזרו של ד"ראוטמר פרייהר פון פרשוהר במוסד לביולוגיה תורשתית ו"היגיינה גזעית" בפרנקפורט. פון פרשוהר היה מדען מוביל, שהיה ידוע במיוחד בשל המחקר שלו בגנטיקה, וגילה עניין מיוחד בתאומים. כתוצאה מכך פיתח כנראה מנגלה את המשיכה שלו למחקרי תאומים, שליוותה אותו לאורך כל חייו. הוא היה גם תלמידם שלתיאודור מוליסון ואויגן פישר, שהיו מעורבים בניסויים רפואיים שבוצעו על שבט הררו בדרום-מערב אפריקה הגרמנית. ב־1938 קיבל דוקטורט ברפואה.
מנגלה לצד קציניאס-אס אחרים. מימין לשמאל:רודולף פרנץ הס, יוזף מנגלה וריכרד ברילדים ששרדו את ניסויי מנגלה במחנה אושוויץ, לאחר שחרור המחנה.
ב־1942 נפצע מנגלה בעת ששירת בחזית הרוסית, והוכרז כבלתי כשיר לשירות קרבי. בשלב זה החזיק בדרגת אוברשטורמפיהרר (המקבילה לדרגת קפיטן בצבא הגרמני). לאחר שהחלים מפציעתו נשלח אלמחנה ההשמדהאושוויץ.
ב־30 במאי1943 מונה לרופאו של "מחנה הצוענים" BIIE במתחם אושוויץ בירקנאו, אך בספטמבר1944 חוסל חלק זה של המחנה, וכל יושביו הושמדו בגז. לאחר מכן מונה מנגלה לרופא המחנה הראשי באושוויץ II בירקנאו. בניגוד לדעה הרווחת, לא היה מנגלה הרופא הראשי באושוויץ – תפקיד זה מילא איש האס אסאדוארד וירטס. עם זאת, ההשמדה בוצעה במחנה משנה זה, ולכן היה למנגלה חלק מכריע בפעולות ההשמדה.
בפברואר 1944 הוענק לו צלב ההצטיינות במלחמה מדרגה שנייה עם חרבות. בדברי ההמלצה שכתבאדוארד וירטס נאמר, בין היתר: "בתור אנתרופולוג ניצל בשקדנות רבה את הזמן הפנוי המועט שנותר לו כדי להוסיף וללמוד. לשם כך השתמש בחומר המדעי שעמד לרשותו במסגרת תפקידיו הרשמיים, ובעבודתו תרם תרומה רבת ערך למדע האנתרופולוגיה".
ביתן 10 בו מנגלה ערך ניסויים
בתקופת שהותו באושוויץ רכש מנגלה את שמו כאחד הפושעים הנאצים הנוראים ביותר, ואת כינויו "מלאך המוות". כאשר הגיעו קרונות הרכבת אל מחנה אושוויץ II בירקנאו, היה מנגלה ממתין על הרציף על מנת לבחור מי יישלח לעבודת פרך, מי יוקצה לניסויים רפואיים אכזריים, ומי יומת. לפי עדויות ניצולים בסגל הרפואי, מנגלה, בניגוד לרופאים אחרים, אהב מאוד לבצע את הסלקציה מעל ומעבר לתורנות שלו.
מנגלה גילה עניין מיוחד במחקרי תאומים. משנת 1943 בחר בתאומים שהגיעו למחנה ושיכן אותם במבנה מיוחד שהוקם לשם כך. ניסוייו אלו היו מנוגדים לאתיקה הרפואית ולא נערכו לשם השגת ידע מדעי. בין הניסויים המחרידים היה ניסוי לשנות צבע עיניים על ידי הזרקת כימיקלים לעיני ילדים, קטיעות של איברים שונים, ופרוצדורות רפואיות מחרידות אחרות. באחד המקרים ביצע ניסוי ללא תכלית רפואית, שבו תפר בגב ובפרקי הידיים שני תאומיםצוענים בני 4, שהפכו בעקבות הניתוח לתאומים סיאמיים. על פי העדות, סבלם היה כה גדול עד כי אימם השיגהמורפיום ושמה קץ לחייהם.
נושא נוסף שבו גילה מנגלה עניין הוא הגמדות. בין הנבדקים שעוררו את עניינו הייתהמשפחת אוביץ שכללה גמדים ובעלי גובה ממוצע[7]. הוא סיפק חומר למחקריה שלקארין מגנוסן.
ב-18 בינואר 1945 נמלט מאושוויץ אל מחנהגרוס-רוזן. העדויות על אודות תקופתו הקצרה של מנגלה מועטות יחסית בהשוואה לפעילותו באושוויץ, אולם הוא מוזכר בעדותה של שרה הרשפינקל, שהזכירה שמנגלה שיסה כלבים ברופאה יהודייה במחנה[8].
מנגלה ברח ממחנהגרוס-רוזן לצ'כוסלובקיה במדי קציןורמאכט, שם הצטרף ליחידתבית חולים שדה ממונע 2/591 אשר עברה לשטח ההפקר בין הכיבוש הסובייטי לאמריקאי. הוא נתפס והוחזק כשבוי מלחמה על ידי צבא ארצות הברית בווידן ולאחר מכן באינגולשטט, אך שוחרר לאחר שלא הצליחו לעמוד על זהותו האמיתית. לאחר שהסתתר בחווה בבוואריה, הצליח בשנת1949, בעזרת משפחתו, קבוצת "אדלווייס"(אנ') וכמרים קתולים, לצאת דרך איטליה לארגנטינה, שם ביקשו פושעים נאצים רבים מקלט בשל גישתו של הנשיאחואן פרון. מנגלה התגרש מאשתו אירנה, ובשנת1958 נישא לאלמנת אחיו קרל, מרתה, אשר נסעה יחד עם בנה לארגנטינה על מנת להיפגש עימו.
משפחתו בגרמניה תמכה בו מבחינה כספית והוא שגשג בשנות ה־50, בתחילה כמפעיל סדנה לייצור צעצועים, ולאחר מכן כשותף במפעל התרופות FADRO FARM שבו נרשם בשמו האמיתי. בעקבות משפט של סגל מחנה אושוויץ בפרייבורג שבגרמניה, הוצא ביולי 1959צו מעצר כנגד מנגלה ובקשה רשמית לממשלת ארגנטינה להסגירו. בעקבות כך בשנת1959 עבר לפרגוואי, ומשנת1960 חי בברזיל אצל זוג גרמנים שהעניקו לו מקלט עד מותו בעקבותשבץ שבו לקה בעת ששחה בים בשנת1979. הזוג הגרמני קבר אותו תחת השם הבדוי וולפגנג גרהרד.
בשנת 1964 ביטל בית הדין המינהלי של מדינת הסן את רישיון הרופא של מנגלה.
על אף מאמצים בין-לאומיים לאתרו, מעולם לא נתפס, וחי במסווה במשך 35 שנים. לאחר תפיסתאדולף אייכמן היה מנגלה לפושע המלחמה הנאצי המבוקש ביותר, אך הצליח לכלכל צעדיו כך שלא התגלה, על אף ש"המוסד" היה קרוב לתופסו כמה פעמים. לפי עדותו שלצבי אהרוני, הוא הוסט מהמבצע לטובתהחיפושים אחרי יוסל'ה שוחמכר. בעיתון "ג'רוזלם פוסט" פורסם בשנת 1985 מאמר שטען כיבן-גוריון לא אישר את חטיפתו של מנגלה בשל חשש מתסבוכת בין-לאומית.ב-7 במאי1985 הודיע שר המשפטים,משה נסים, על מתן פרס בסך מיליון דולרים למי שיגרום להבאת מנגלה למשפט בישראל[9].
רק כמה שנים לאחר מותו, בשנת 1985, התגלתה גופתו לאחר מאמץ משותף של הרשויות האמריקניות, הגרמניות והדרום-אמריקניות. בשנת1992 הוכיחו בדיקותDNA (לאחר קשיים מרובים – שכן בני משפחתו סירבו לתת מנת דם לשם השוואת DNA) כי אכן מדובר בגופתו של מנגלה. עצמותיו של מנגלה היו מונחות במשך 30 שנה במכון לרפואה משפטית בסאו פאולו בברזיל, עד שבשנת2016 הוחלט שהעצמות ישמשו לניסויים בקורסים לפתולוגיה[10].
מנגלה מעולם לא הביעחרטה על פשעיו, וכאשר נפגש בפעם האחרונה עם בנו רולף בסאו פאולו בשנת 1977, אמר לו כי את ההחלטות באושוויץ קיבלו אחרים. עליו היה לסווג אסירים לפי כשירותם ולמעשה יש לראות בו מציל יהודים אשר הצביע עליהם ככשירים. בשנת 1960 השיב לכתב אישום שהגישה נגדו התביעה בפרנקפורט במילים "מעולם לא הרגתי בעצמי איש, לא פצעתי איש, ולא הסבתי נזק גופני לאיש".
ביולי2011 נמכרו במכירה פומבית יומניו של מנגלה, שכוללים כ-3,000 עמודים בכתב ידו, ובהם סיפורים, שירים, הגיגים פילוסופיים, תמלולי שיחות וציורים, ליהודי חרדי מארצות הברית, בסכום של 245 אלף דולר[11].
ב-28 ביולי 1939 התחתן מנגלה עם אירנה שנביין, אותה פגש בזמן לימודיו בלייפציג. רולף, בנם היחיד, נולד ב-11 במרץ 1941. אירנה התגרשה ממנו ב-1954, חמש שנים לאחר שמנגלה היגר לבואנוס איירס, והמשיכה לגור בגרמניה עם בנם.
ביולי 1958 התחתן מנגלה בשנית עם מרתה מנגלה, אלמנתו של אחיו הצעיר קרל, בנואבה הלוויסיה, אורוגוואי. מרתה מנגלה הגיעה לבואנוס איירס ב-1956 עם קרל-היינץ, בנה מנישואיה הראשונים. ליוזף ומרתה לא היו ילדים נוספים.
