Fin dal 1149 il nome di Castelfiorentino fu dato al Castelvecchio edificato sulla Via Francigena nel luogo di un insediamento di origine romana: Timignano.
Il castello fortificato racchiudeva, sul colle, la pieve di S.Ippolito (l'antica S.Biagio) e con una seconda cerchia di mura, Borgo d'Elsa e Borgo Nuovo. Cinque erano le porte (Porta Fiorentina, Porta Pisana, Porta al Vento, Porta Senese, Porta di Borgo) e due sole strade si incrociavano sull'unica piazza (oggi piazza del Popolo). Feudo dei Cadolingi e poi dei Conti Alberti, acquisito progressivamente dal Vescovo di Firenze nel XII secolo, subì le vicende dei conflitti fra Chiesa ed Impero, guelfi e ghibellini e tra Siena e la stessa Firenze (di cui era un'avamposto importante, e quindi ottenne la sede del podestà, il privilegio del giglio rosso sul gonfalone bianco e l'integrazione ufficiale del nome Castelfiorentino).
Meritano una visita il Santuario di Santa Verdiana (XVIII secolo), la Chiesa di San Francesco (XIII secolo) e la Collegiata dei Santi Lorenzo e Leonardo.