La contea si trova nel centro-est dello Stato. Il territorio è prevalentemente montuoso. Nell'area meridionale si elevano imonti Catskill e la contea raggiunge la massima altitudine di 1.043 metri con la Huntersfield Mountain situata al confine con la contea di Greene. Nell'area centrale scorre lo Schoharie Creek, un affluente delfiume Mohawk. Il fiume alimenta due laghi artificiali.[2][3]
Prima dell'arrivo dei coloni europei, la regione era territorio di caccia deinativiMohawk dilingua irochese. Quando nel1683 le dodici contee dellaProvincia di New York furono istituite, il territorio dell'attuale contea faceva parte della contea di Albany. La contea fu istituita nel1795 unendo territori che fino a quel momento avevano fatto parte delle contee di Otsego e Albany. Il nome deriva da una parola Mohawk che significa "legname trasportato dall'acqua che galleggia".[2]
La città di Schoharie fu fondata nel1718 da coloni tedeschi delPalatinato. Fu in larga parte distrutta dagli inglesi e dai loro alleati nativi nel corso dellaguerra d'indipendenza.
Negli anni settanta del XIX furono ritrovati nella città di Gilboa dei resti di alberi fossilizzati. Ulteriori ritrovamenti nel2004 hanno consentito di classificare gli alberi preistorici come appartenenti al genereWattieza, la più antica specie di albero conosciuta.