L'esistenza di un antico castello è documentata in testi dell'XI secolo, ma di esso non restano tracce visibili. Nel 1225 fu edificata una “torre nuova” e nel 1277 venne concluso un atto tra le mura del mastio esistente. Appartenne a vari signori locali, quindi al Comune albese e ai marchesi del Carretto. Gravemente danneggiato nel 1703 dalle truppe savoiarde, che lo conquistarono, passò definitivamente allo stato sabaudo nel 1726 con la cessione dei cosiddetti “feudi imperiali”. L'attuale Palazzo Scarampi venne edificato a cura dei del Carretto dopo il 1706 sul sito del maniero precedente e ristrutturato nel 1833.