Il castello venne fatto erigere nel 1492 da Boniface d'Avise o Rodolphe d'Avise e fu a lungo in mano alla famiglia. All'estinzione dei d'Avise passò ai Bianco di San Secondo, i quali nel 1798 la cedettero a privati.
Il castello è ben conservato. Più che di un castello si tratta di una casaforte alla quale venne affiancata una torre quadrata, leggermente più alta del resto dell'edificio, alla cui sommità presenta delle eleganti caditoie decorate dal motivo gotico detto a goccia rovesciata.
La facciata è costellata di finestre geminate del XVI secolo di notevole effetto, spesso realizzate con inserti lapidei antichi a fare da cornice. Come rileva il geologo Francesco Prinetti, la facciata mostra esemplari delle tre principali famiglie di rocce rinvenibili nel territorio: i marmi oceanici si alternano agli gneiss, originari del basamento continentale, e alle anfiboliti, derivanti da intrusioni magmatiche profonde avvenute in epoche passate. Gli elementi decorativi, dalla quadratura delle porte e delle finestre agli elementi a chiglia rovesciata, sono realizzati con marmi e calcescisti.
La porta d'ingresso della torre è sovrastata dagli stemmi della famiglia scolpiti e il motto "Qui tost Avise tard se repent". In tutto il castello sono ben leggibili le varie fasi costruttive e le modifiche che si sono succedute nei secoli: alcuni passaggi sono stati murati, mentre sono state nel tempo inserite finestre a dare più luce agli ambienti, in sintonia con i mutati usi nobiliari.
