Situato sulla riva sinistra del fiume Elsa, Colle di Val d'Elsa, l'abitato si è sviluppato originariamente in tre borghi autonomi, distinti per strutture e configurazione planimetrica: il Borgo di Santa Caterina, il Castello di Piticciano e il Piano.
Pur presentando il territorio di Colle grandi ritrovamenti archeologici, risalenti addirittura al IV millennio avanti Cristo, i primi documenti, dove si nomina Colle di Val d'Elsa, risalgono al X secolo, ma è dalla fine del XII secolo che la cittadina acquistò progressivamente autonomia e identità politica: i primi statuti comunali documentati risalgono al 1307.
Il tessuto urbano occupava, già nel Medioevo, un'area molto ampia che comprendeva, oltre alla parte alta, il Piano disposto lungo il tracciato delle antiche gore.
Quest'ultime sono le canalizzazioni artificiali del fiume Elsa, costruite nel corso dei secoli a partire dai primi del 200, con la presenza di numerosi edifici andanti ad acqua, come mulini, cartiere e gualchiere.
Le gore in questo senso furono quindi un fattore decisivo per l'economica della città, favorendo lo sviluppo delle attività industriali.
Tra i monumenti di maggiore rilievo a Colle di Val d'Elsa citiamo qui il Duomo, l'Abbazia di San Salvatore, la Chiesa di Sant'Agostino, la Chiesa di Santa Maria a Spugna, il Castello, il Palazzo Pretorio, il Palazzo Campana, la Casa-Torre di Arnolfo Cambio e il Baluardo.