Первое поселение на территории Гордия возникло в Бронзовом веке и существовало в течение всего хеттского периода. Первые фригийцы появились в середине IX в. до н.э. Примерно 100 лет спустя царь Гордий основал здесь столицу Фригии.
В 695 г. до н.э. на Гордий напали киммерийские кочевники. Они разграбили город, а царь Мидас покончил с собой. Город скоре восстановили, но он уже никогда не был таким же процветающим и могущественным, как прежде.
Легендарный основатель Фригийского царства Гордий родился простым крестьянином. Согласно легенде, он стал царем совершенно случайно — по указанию оракула царем выбрали первого, кто проедет мимо на телеге. Став царем, Гордий установил свою "счастливую" телегу в храме, а ярмо к дышлу привязал таким сложным узлом, что никто не мог его развязать. В 333 г. до н.э. здесь зимовала армия Александра Македонского. Гордый македонский царь решил загадку одним ударом меча — "разрубил гордиев узел".
От храмов и дворцов на территории акрополя (VIII в. до н.э.) сохранились только фундаменты. Руины городских ворот даже в полуразрушенном состоянии имеют высоту свыше 10 м, а в древности были еще больше.
К юго-востоку от акрополя был укрепленный пригород Гордия, разрушенный, когда по пути в Сарды прошла персидская армия Кира. Сейчас там находится курган Кёджюк Хёюк (Köçük Höyük), под которым, вероятно, похоронили фригийского царя Мидаса. Некоторые из найденных на раскопках предметов и образцы мозаики можно увидеть в маленьком музее.