In origine, la sommità della collina di natura calcarea su cui sorge il castello Aghinolfi era caratterizzata dalla presenza di uno sperone roccioso.  I ripidi versanti, che si trasformano in alcuni punti in pareti verticali di roccia, difendono naturalmente il luogo dal quale è possibile dominare gran pane della fascia costiera ligure e toscana.  Indagini archeologiche hanno rivelato una frequentazione dei sito nei secoli IV e III a.C.