Ursprünglich hatte die Burg einen beachtlichen Gebäudekomplex gebildet, der von einer mächtigen Gräfte umgeben war. Das Hauptgebäude war das Schloss, das an der Rückseite noch heute das Wappen der Familie Bussche (stark verwittert) trägt. Diese waren 1391 bis 1395 Pfandinhaber der Burg. Die Ruine hat daher ein Alter von über 600 Jahren. An der Nordseite befand sich ein Seitenflügel des Schlosses, das in den oberen Stockwerken in Fachwerkbauweise errichtet war. Die Aufleger der Dachkonstruktion ragen noch heute aus dem Mauerwerk hervor. Die Hinterfront bildete das langgestreckte Pferdehaus, an das sich rechtwinklig das Torhaus (Süden) anschloss. Zwischen dem Torhaus und dem Schloss befand sich ein Verbindungsbau. An das Hauptgebäude angelehnt war ein mächtiger Bergfried, der die Vorderfront deckte. An der Nord- und Südseite waren ebenfalls Türme vorhanden, die diese Bereiche kontrollierten. Der Zugang zur Burg erfolgte über einen Damm, der von der Lemförder Straße von Süden her an die Burg heranführte. Hier befand sich auch die Zugbrücke. Der Gebäudekomplex umfasste etwa 63 x 53 Meter. Der Umfang der Gebäudeanlage wurde 1969 durch Stichpunktgrabungen festgestellt und im Süden (Gelände des Museumshofes) und im Norden (Heimatpark) durch Findlinge markiert. 1649, nach dem Westfälischen Frieden, ging die Burg in Brandenburger Besitz über. Schon in bischöflicher Zeit diente sie als herrschaftliches Vorwerk vorwiegend landwirtschaftlichen Zwecken. 1647 wurden hier 59 Stück Rindvieh und 318 Schafe gehalten.

1575 – 1750

Die für die Verteidigung geplanten engen Verhältnisse auf dem Schloss entsprachen seit langem nicht mehr den Wohnbedürfnissen der Beamten. Die von 1575 bis 1750 immer wieder berufenen Amtmänner aus der Familie Hollwede wohnten seit 1575 etwa auf ihrer Kleinendorfer Stätte Nummer 105, die der Bischof als freie Stätte anerkannt hatte, die als solche auch von den Herrschern Brandenburgs (Preußen) wiederholt bestätigt wurde. Auch die gelegentlich noch berufenen Drosten hielten sich hier nur anläßlich einiger Dienstgeschäfte auf. 1711 wurde in der Nähe dann das Neue Amtshaus, zwei Wirtschaftsgebäude und ein Gefängnis, erbaut (heute Gut Bock). Die Steine für die Grundmauern wurden aus den abgebrochenen Türmen der Burg gewonnen.

Durch Kauf gelangte 1829 die Rahdener Familie Bock in Besitz des neuen Amtshauses und des damit verbundenen Vorwerks. In den Jahren 1882/83 wurde an Stelle des neuen Amtshauses das jetztige Schloß Rahden (Alterspension) errichtet.

Als letztes Gebäude der Burg brannte im Winter 1878/79 das Schloss, die sogenannte Burg, ab. Das Gebäude war damals von den Familien Schwarze und Schunicht bewohnt. Die Außenmauern bilden die heutige Ruine.