Die Gegend um Scarlino war schon in römischer Zeit besiedelt. Ein Hafen namens Scabris Portus ist in der Nähe des heutigen Ortsteils Il Puntone dokumentiert. Das römische Leben spielte sich eher in der Ebene als auf den Hügeln ab. Die erste urkundliche Erwähnung des heutigen Scarlino stammt aus dem Jahr 973 und benennt den Feudalherren Lamberto di Ildebrando. Die Befestigungsanlage mit Kastell, innerhalb derer der Ort wuchs, ist erstmals für das Jahr 1108 dokumentiert, als die Herrschaft  mit dem Bischof von Roselle geteilt wurde. Der Ort von Scarlino hat sich den authentischen Charakter eines mittelalterlichen borgo bewahrt. Höchster Punkt ist das Kastell der Aldobrandeschi, von dem Wehrmauer, Ecktürme erhalten sind. Die zentrale Piazza des Ortes ist nach Giuseppe Garibaldi benannt, dem auch ein Denkmal gesetzt ist. Von dort verlaufen steile Gassen aufwärts zur Festung. Bei gutem Wetter bietet sich eine weite Rundsicht auf die Bucht von Follonica, die Insel Elba und dahinter Korsika.