Πάνω σ' ένα κωνικό ύψωμα, αποτραβηγμένο από τη θάλασσα και τους πειρατικούς κινδύνους, βρίσκεται κτισμένο το κάστρο της Καρύστου, ωραίο, επιβλητικό, πάνω από την περιοχή η οποία απλώνεται κάτω απ' αυτό μέχρι την παραλία.Το κάστρο της Καρύστου ονομάστηκε από τους Λατίνους Castel Rosso ή Κοκκινόκαστρο, ονομασία την οποία διατήρησαν και οι Έλληνες, εξαιτίας των λίθων, με τους οποίους έχει κτιστεί - που προήλθαν από τα σχιστολιθικά πετρώματα της περιοχής - και οι οποίοι του δίνουν μια κοκκινωπή απόχρωση.
