L'antico castello di Polverigi realizzato nell'XI-XII secolo, ha le mura a cortina. Si tratta quindi non di un vero e proprio castello bensì di un borgo fortificato come tanti altri nelle Marche. La sua forma è ovoidale e sorge adagiato su una collinetta con un' unica porta sul versante ovest. Alla fine del '300 dopo l'invenzione delle armi da fuoco, le mura furono trasformate in fondazioni per gli edifici soprastanti mentre il lato ovest fu occupato dal Palazzo Comunale, costituito da un corpo di fabbrica e da una torre civica. Le parti più imponenti (non agevolmente visibili) delle sue mura, sono quelle su Via Fossarile, ma la cerchia muraria prosegue ininterrottamente fino a Piazza Umberto I dove si ricongiunge al Palazzo Comunale. Della sua antica struttura interna rimangono due soli edifici e una curiosità sono le numerose grotte, scavate sotto quasi tutti gli edifici, ed una neviera recentemente riscoperta. Infine le torri. Erano due, probabilmente tre e l'unica rimasta intatta è la torre civica. Della seconda rimane la base e della terza, esiste solo una riproduzione quattrocentesca. Oggi il Castello, chiamato affettuosamente "Roccolo" per la sua forma rotonda, è il centro storico del comune, da sempre silenzioso ed ameno testimone dei principali avvenimenti cittadini.

Si accede attraverso un'antica porta con arco a tutto sesto.