Lo sperone roccioso su cui sorge il castello era sede di attività minerarie almeno dal X secolo, mentre un castello viene menzionato per la prima volta nel 1110 con il nome dell’abitato altomedievale, cioè Nossina.
Entrambe le citazioni ci dicono che il villaggio e il castello dovevano essere più antichi della loro comparsa nella documentazione scritta. Dal XII il castello prese il nome dai proprietari, appunto i figli di “Teodorigolo“.
Le fonti mostrano un’articolazione topografica del castello con edifici difensivi e di rappresentanza fino alla crisi del XIV secolo.
Della fisionomia medievale rimane oggi ancora ben visibile la parte più antica, databile fra XI e XII secolo, realizzata in stile romanico, ma anche nel borgo in più punti sono ancora ben conservati tratti di murature e porte ad arco relative ad edifici medievali che presentano una tecnica costruttiva ben attestata in molti altri castelli del XIV secolo in Maremma.

Lo sviluppo del borgo (villaggio) avviene lungo il crinale con file di abitazioni a schiera.
La chiesa di S. Martino, menzionata a partire dal X secolo, è oggi ancora ben visibile, sebbene rimaneggiata più volte.