Omkring 2000 f.Kr. börjadePre-Dorsetkulturen etablera sig på norra delen av ön. Dessa efterträddes avDorsetkulturen. De kallades så på grund av att de första fysiska bevisen av denna kultur har hittats näraDorsetudden på öns sydvästkust. Mellan 1100-talet och 1300-talet spredsThulekulturen över ön.
Baffinön var antagligen besökt av nordiska sjömän runt sekelskiftet på 1100-talet och ön kallades antagligenHelluland.Martin Frobisher nådde ön 1576 och mötte avkomlingarna till Thulekulturen, Baffinönsinuiter. Han gjorde ytterligare två resor (1577 och 1578) och förde med sig lådor med vad han trodde var guld, men i själva verket var malm. William Baffin, som ön är döpt efter, besökte öns östkust 1616 ochLuke Foxe kom tillFoxe Channel 1631. Ön låg i vägen för sökandet avNordvästpassagen.William Parry utforskade öns västkust mellan 1821 och 1823. Han följdes av valfångare frånSkottland ochNew England som etablerade en valfångststation iCumberland Sound under det sena 1850-talet.Hudson Bay-kompaniet etablerade en post vid nuvarandeKimmirut 1911.Franz Boas vistades på ön vintern 1883-1884 och lyckades rita en ganska korrekt karta av ön.
Geologiskt är Baffinön en fortsättning på östra kanten avKanadensiska skölden som lutar uppåt i öst för att forma en bergsrygg som sluttar motplatåer och lågland i väst. Dess östkust är indragen avCumberland Sound och Frobisher Bay.
Baffinön ligger i ett relativt nordligt luftflöde året om. Ön har därför, liksom resten av östra Kanada, ett mycket kallt klimat. Detta medför långa, kalla vintrar och dimmiga, molniga somrar, vilket har bidragit till att ön endast har en liten befolkning. Våren kommer mycket senare än för andra områden som ligger pånorra polcirkeln, i Iqaluit i sydöst runt tidig juni, till tidig eller mitten av juli på nordkusten. Snö, även kraftig sådan, kan förekomma när som helst på året, även om det är mindre troligt på sommarmånaderna.
Ön ligger på norra polcirkeln och i de norra delarna är det såledespolarnatt ochmidnattssol.
