Nel Medioevo il castello, dall’alto della rupe su cui è costruito, dominava la via che metteva in comunicazione la pianura di Grosseto con le Colline Metallifere, ed i traffici che lungo questa importante arteria si svolgevano.
Uno scavo archeologico decennale (1997- 2007), ha permesso di capire la cronologia dell’insediamento, all’inizio del XII secolo quando fu costruita una piccola torre. A seguire successivi ampliamenti portano alla struttura riconoscibile ancora oggi. Inizialmente di proprietà dei Pannocchieschi il castello passa nel XIII secolo al Comune di Siena, mentre nel XIV secolo sono le famiglie Tolomei e Malavolti che estendono il loro potere sui territori di Massa e quindi su Castel di Pietra.
Ed è in questo contesto che si sviluppa la storia di Pia dei Tolomei, citata da Dante nel V canto del Purgatorio, “deh, quando tu sarai tornato al mondo, e riposato della lunga via” seguitò il terzo spirito al secondo, “ricorditi di me che son la pia: Siena mi fe’ e disfecemi Maremma: salsi colui che ’nnanellata pria disposando m’avea con la sua gemma”). Canto che ha reso famoso Castel di Pietra. La storia, o la leggenda, narra che proprio in questo luogo trovò la morte Pia de’ Tolomei, moglie di Nello Pannocchieschi, che qui la fece rinchiudere e uccidere per poter sposare Margherita Aldobrandeschi.
