Situata sul primo gradino delle Murge, Palo del Colle potrebbe essere identificato con l'antico centro apulo che Plinio il Vecchio chiama "Palio".
Nel corso del Medioevo andò incontro ad un forte incremento demografico dovuto per lo più ad emigrazioni di genti che dalle coste si rifugiavano nell'entroterra, per sfuggire ai continui attacchi pirateschi.
La Chiesa Madre sembra ispirarsi per stile e proporzioni al romanico-pugliese della cattedrale di Bari; purtroppo a causa dei successivi rifacimenti poco è rimasto della struttura originaria. Il campanile, alto 49 metri, ornato con bifore e trifore e terminante con cuspide piramidale, è una delle poche parti originarie.
La Chiesa si presenta a pianta basilicale con tre navate e la facciata, tripartita da lesene, ha tre portali in stile rinascimentale di cui il centrale fiancheggiato da colonne corinzie in travertino.