Il castello, che in precedenza era solamente un vecchio torrione, oggi viene anche chiamato castel Herbstenburg; fu comprato nel 1500 dai fratelli Christoph e Kaspar Herbst, del ducato di Krania, nell'odierna Slovenia, inviati a Dobbiaco dall'Imperatore Massimiliano I d'Asburgo: essi al suo interno fissarono la sede del loro giudicato. Caspar Herbst era un uomo di cultura e d'affari, al servizio dell'imperatore dal 1477, che arrivò a Dobbiaco ai primi del '500, probabilmente anticipando la venuta dell'imperatore. Christoph Herbst era invece un uomo d'armi e giunse a Dobbiaco a seguito del conflitto con la repubblica di Venezia.
Il castello fu utilizzato dall'imperatore Massimiliano I d'Asburgo una prima volta nel 1508 per indire la dieta d'Augusta e per tentare un primo inutile attacco al castello di Botestagno. Ma fu soprattutto nel 1511 che l'imperatore vi soggiornò per alcuni mesi, ospite dei suoi fedeli servitori Herbst, per proseguire la battaglia contro la repubblica di Venezia.
Il castello negli anni fu adibito a fortificazione, con massicci torrioni angolari e merlatura perimetrale; fu dotato di un cunicolo sotterraneo segreto che portava alla cosiddetta "Torre Rossa". Una leggenda del paese racconta di una sera di festeggiamenti al castello, nella quale il signore Christoph Herbst, in preda ai fumi del vino, senza alcuna ragione fece rinchiudere uno sconosciuto nelle prigioni sotterranee, per poi lasciarlo morire. La coscienza sporca di Christoph e le notti insonni della moglie convinsero i due ad attraversare tutta l'Italia per recarsi a Roma per chiedere il perdono dei propri peccati. Giunti nella città eterna, fecero voto di portare attorno al collo una catena di ferro come segno di penitenza fino alla loro morte. A testimonianza dell'accaduto, ancora oggi nella chiesa di Dobbiaco sono raffigurati i due nobili in preghiera e con una catena di ferro al collo.
