Il Castello degli Agolanti, o Tomba, prende il nome dalla nobile famiglia fiorentina in esilio che lo fece edificare nella prima metà del XIV secolo, probabilmente su una costruzione preesistente. L'edificio viene descritto nei documenti dell'epoca come una pregevole costruzione fortificata. La sua storia rimane legata agli Agolanti fino al XVIII secolo.
L'edificio costituì per l'importante posizione strategica un punto d'osservazione privilegiato, un avamposto, tanto che nel 1743 fu trasformato in quartier generale dell'esercito austriaco agli ordini del generale Lobkowitz. Ancora nella metà del Settecento sembra essere in buone condizioni. Luigi Vendramin ci informa, nel suo saggio in Tracce di storia, che "si hanno notizie di vari restauri e rimaneggiamenti avvenuti nel tempo; il bel palazzo, non più posseduto dagli Agolanti dall'inizio del XVIII secolo, per la morte di Alessandro, passò successivamente alle famiglie Bertola (o Bertolli), Pedrocchi di Brescia, Buonadrata ed altri ancora. Fu gravemente danneggiato dal terremoto del 1786, venne, successivamente, in parte abbattuto e in parte adibito a casa colonica e tale rimase fino a quando, nel 1982, fu ceduto dai signori Verni di S. Giovanni in Marignano all'Amministrazione comunale di Riccione, ormai ridotto a misero rudere".
