העיר נוסדה ככל הנראה בתקופת שלטונו שלויקראמאבאהו השלישי(אנ') מלךגאמפולה(אנ') (1357-1374). מלכה הראשון של ממלכת קאנדי,סנה סמאתה ויקראמבאהו(אנ') החליט להקים במקום את בירתו, בעת שהממלכה הצעירה הייתה תחת חסותה שלממלכת קוטה(אנ'). למעט אפיזודה קצרה בתקופת שלטונו שלראג'אסינהה הראשון (1592-1581, המשיכה העיר לשמש כבירת הממלכה. המלך שבא אחריו,וימאלאדהארמאסורייה הראשון (Vimaladharmasuriya) שב לעיר, ואף הדף שתי התקפות של הפורטוגלים שניסו לכובשה. בכך, הייתה לממלכה היחידה על האי שלא נפלה בידי הפורטוגזים. לווימאלאדהארמאסורייה הייתה השפעה מכרעת על האי כולו, כאשר אימץ את הבודהיזם. הוא אף הביא לקאנדי את שרידי השן שלהבודהה, והקים ב-1595 אתמקדש השן בו היא נמצאת.
ב-1638 חתםרג'סינגה השני על הסכם עם ההולנדים, לפיו ישתפו פעולה מול הפורטוגזים, ולאחר סילוקם מהאי תשמור קאנדי על עצמאותה ותקבל את השליטה באזור החוף הפורטוגלי, ואילו הולנד תיהנה משליטה בסחר ובייצוא מהאי. ב-1656 הסתיימה המערכה מול הפורטוגלים בסילוקם מהאי, ואולם ההולנדים לא עמדו בחלקם בהסכם, והמשיכו לשלוט באזור החוף. ב-1761 הצליח המלךקיטרי סרי ראג'אסינהה לכבוש מידי ההולנדים את מרבית אזור החוף (למעט העירנגומבו. במתקפת נגד ב-1763 השיבו ההולנדים את שליטתם בחוף, אך נכשלו בניסיונם לכבוש את קאנדי עצמה, לאחר שהוכרעו בידי מחלות, החום ולוחמה זעירה שנקטו נגדם לוחמים קאנדיאנים שהסתתרו ביערות הסובבים את העיר. ב-1765 הצליחו לבסוף לכבוש את העיר, אך מלחמת התשה שנוהלה נגדם לאחר מכן הביאה אותם לסגת מהעיר ולחתום על הסכם שלום ב-1766.
בתקופת שלטונם גילו הבריטים שהאזורים ההרריים של סרי לנקה, ובהם אלו של קאנדי, טובים לגידולתה, והקימו תעשיית תה ענפה. מאחר שהתושבים המקומיים סירבו להיות מועסקים במטעי התה, הביאו הבריטים מאות אלפיטמילים מהודו לעבודה במטעים. במהלך השלטון הבריטי, פרצו שתי מרידות באזורי ממלכת קאנדי, האחת ב-1817 (מרד אובה) והשנייה ב-1848 (מרד מטאלה), אך שתיהן נכשלו. בעוד שמרד אובה הונהג בידי האצולה הקאנדיאנית ששאפה לחזור לימי הממלכה, מרד מטאלה נשא אופי עממי יותר, ונבעה מהמסים הכבדים שהטילו עליהם הבריטים.
עם הגיעם לאי, הפכו הבריטים אתקולומבו לבירתם, וכתוצאה מכך התפתחה עיר זו, בעוד קאנדי מאבדת מחשיבותה. גם לאחר עצמאות סרי לנקה ב-1948, הייתה קולומבו לבירתה של המדינה החדשה.
קאנדי שוכנת בגובה של 465 מטרים מעלפני הים, ביןרכס נאקלז לרכס הנתאנה. בתחומי העיר נמצאאגם קאנדי, אגם מלאכותי שנחנך ב-1807. בסמוך לגדה הצפונית של האגם מצויים מקדש השן ומרבית מבני הממשל החשובים. בהרים שצפונית-מזרחית לאזור זה, גם כן בתחומי העיר, נמצאת שמורת הטבע אודוואטאקלה (Udawattakelle).
האקלים בקאנדי הואאקלים יער גשם טרופי. עקב גובהה היחסי ביחס לרוב חלקי האי, מזג האוויר בה גם חם פחות ביחס למרביתו. עונות המונסון נמשכות בין מאי ליולי ובין דצמבר לינואר.
מקדש השן הוא אחד המקדשים הבודהיסטים החשובים בעולם. המקדש נבנה ב-1595 עבור שרידי השן של בודהה. למקדש יש גם חשיבות לאומית, פרט לחשיבות הדתית, מאחר שעל פי המסורת המקומית, מי שמחזיק בשן של בודהה שולט בסרי לנקה כולה. משכך, היה המקדש יעד אסטרטגי עבורהנמרים הטמילים במהלךהסכסוך הסינהלזי-טאמילי. ב-1989 אירע במקוםפיגוע ירי בו נהרגו מספר בני אדם, ובפיגוע התאבדות שבוצע ב-1998 נהרגו 17 בני אדם ונזק נגרם למקדש.
הארמון המלכותי של קאנדי שימש את מלכי קאנדי עד שהאחרון שבהם הודח בידי הבריטים ב-1815. בעבר, כלל מתחם הארמון גם את מקדש השן. חלק ממנו מכיל אתהמוזיאון הלאומי של קאנדי.
הגנים הבוטניים המלכותיים בפראדנייה שוכנים כ-5 ק"מ ממערב למרכז העיר. הם משתרעים על פני 0.59 קמ"ר, מכילים למעלה מ-4,000 צמחים, ומדי שנה פוקדים אותם כ-2 מיליון מבקרים.