Die Swartsee is een van vier seë wat inAfrikaans en ander tale nákleure genoem is – die ander is dieGeel-,Rooi- enWitsee. Die rede vir die "kleurterm" as naam kan ’n antieke toewysing van kleure aan die windrigtings wees: swart het noord aangedui, rooi suid en geel oos.
’n Ander verduideliking is die kleur van die Swartsee se diep water. Dit is verder noord en minder sout as die Middellandse See en daarom is die konsentrasie vanalge veel hoër, en dit veroorsaak die donker kleur. Sigbaarheid in die Swartsee is gemiddeld 5 meter in vergelyking met 35 meter in die Middellandse See.