X vzniklo v MIT v roku1984. Súčasná verzia protokolu, X11, bola uvedená v roku1987.X.org Foundation vedie projekt X, vytvára referenčnú implementáciu protokolu X verzie 11 vydanie 7.1, dostupný ako voľný software podMIT licenciou alebo podobnými licenciami. X11 je posledná plánovaná verzia protokolu, toto označenie je ustálené a nebude sa meniť.
Unix prvotne postrádal grafické rozhranie, čo pravdaže nemal pri svojom vzniku aniDOS. S príchodom operačných systémov bola komunikácia s užívateľom orientovaná najmä v textovom móde aUnix, ktorého história siaha až do sedemdesiatych rokov, tiež dostal do vienka grafické prostredie neskôr. X, v prechode z drahých vedeckých staníc k nám a do našich domovov, má bohatú históriu. Koncom roka 1989 nemecký študent Thomas Roell začal portovaťzdrojový kód pre X server za účelom rozbehnúť grafiku na svojom počítači z rady 386. PC, ktoré sa objavili už v osemdesiatych rokov, boli totiž pre verejnosť dostupnejšie. Vznikol tak X server, ktorému dal Roell pracovné pomenovanie X386.1.1.
Jeho úspech upútal pozornosť vývojárov X vMIT, konzorcia X a Dell Unix tímu v Austine v Texase. Tím Dellu primäl Roella k ďalšej práci na ovládačoch pregrafické karty na systéme, na ktorom mal bežať licencovanýUnix System V Release 4 (SVR4).
Roell ďalej pokračoval v spolupráci s X konzorciom a v auguste 1991 vznikol systém X s názvom X11R5 - IBM kompatibilný PC tak dostal svoju prvú oficiálnu implementáciu systému X. Linux sa narodil iba o niečo málo skôr. X konzorcium požiadalo Roella, aby odstránil istý kód v assembleri a Roell súhlasil. Niektorí v komunite však s týmto krokom nesúhlasili. Tu môžeme hovoriť o prelome v histórii. Roell sa rozhodol pracovať pre komerčnú organizáciu určite aj zo zištných dôvodov, čo spôsobilo, že z projektu X386 vypadol.