Первые документальные упоминания о Колле-ди-Валь-д'Эльса относятся к X веку.
В своей истории город часто был местом военных сражений. Среди наиболее известных битва между гвельфами (за усиление папского влияния) и гибеллинами (за власть императора), состоявшаяся в 1269 году, имевшая важное значение для политической географии Тосканы.
Со второй половины XV века до объединения Италии в 1860 году город находился под флорентийским влиянием.
Колле-ди-Валь-д'Эльса известен в Италии и во всем мире своим стекольным производством. Сегодня город обеспечивает более 95% всего национального производства хрусталя и 15% его мирового производства. Хрустальное производство в городе началось с небольшой стеклодувной мастерской, открытой в 1331 году. Уже в XVII веке Колле-ди-Валь-д'Эльса стал центром стекольного производства. Хрусталь стал визитной карточкой города.
Но не только хрусталем насущным живет город. Его историческая часть, находящаяся на возвышенности уцелела во время бомбардировок союзников в годы Второй мировой войны.
«Новые ворота» или «Порта Вольтерра» были построены в 1481 году по приказу Лоренцо Медичи на месте ворот, разрушенных войсками герцога Калабрии во время осады в 1479 году.
От ворот Вольтерра начинается улица Gracco del Secco, вдоль которой расположены жилые дома, построенные в XVI-XVIII веках.
С моста, разделяющего историческую часть города, хорошо виден монастырь св. Франциска, основанный в 1229 году — один из первых монастырей францисканского ордена в Тоскане.
От ворот, ведущих в самую старую часть города, начинается улица Борго, на которой расположены дома, в прошлом принадлежащие торговцам, построенные в XIII- XVI веках.
Главная площадь Верхнего города – Соборная, на ней расположен Кафедральный собор.
Неподалёку высится дворец подеста, построенный в середине XIV века, в помещениях которого разместился Археологический музей. В музее хранятся находки из долины Эльсы, относящиеся к периоду он неолита до средних веков. Самая интересная их часть связана с этрусками и происходит из раскопок некрополей Ле Вилле и Дометайа — погребальные урны и саркофаги, керамика, изделия из бронзы и украшения. Один из залов посвящен погребению в Ле Порчилья, там же можно увидеть реконструкцию лица девушки, чьи украшения были найдены в захоронении.
Во дворце Рениери ди Сотто, построенном в XVI веке находится муниципалитет.
В музее церковного искусства хранятся предметы средневекового периода, имеющие религиозное значение.
Церковь Санта-Мария ин Каноника построена в 1183 году. Сохранившиеся фрагменты фресок в нефе находятся в плохом состоянии.
Нижний город – современный, с новым вокзалом и площадью Арнольфо, названной в честь уроженца города — архитектора Арнольфо ди Камбио, родившегося в Колле валь д’Эльса в 1240 году. В числе его высших достижений строительство флорентийского Кафедрального собора.
Верхний и Нижний город соединяет лифт.
