Drei Jahre nach dem Tod seiner Gattin Wilhelmine begann Markgraf Friedrich 1761 mit den Bauarbeiten für ein Schloss in Donndorf, ohne dessen Fertigstellung zu erleben. Seine Tochter Elisabeth Friederike Sophie erhielt 1763 den Besitz und nannte ihn »Fantaisie«. Sie ließ das Schloss vollenden und bis 1780 einen spätbarocken Garten anlegen. Aus dieser Zeit sind der Pavillon, die Kaskade und der Neptunbrunnen erhalten geblieben.

Ab 1793 ließ Friederike Dorothee Sophie von Württemberg die Gartenanlagen im Stil des sentimentalen Landschaftsgartens erweitern und eine Katakombe und die Säule der Eintracht errichten. Herzog Alexander von Württemberg brachte Fantaisie in den Jahren 1839 bis 1881 durch den Umbau des Schlosses und die Ergänzung des Schlossparks durch landschaftlich gestaltete Parkräume, Skulpturen, Brunnen und Terrassen in seine noch heute bestehende Form.

Schloss Fantaisie beherbergt seit 2000 das erste Gartenkunst-Museum Deutschlands. Anhand zahlreicher und wertvoller Exponate wird hier die Geschichte der Gartenkunst vom 17. bis zum 19. Jahrhundert anschaulich dargestellt. In den Museumsrundgang eingebunden sind der Weiße Saal sowie die Nachbildung des berühmten Spindler-Kabinetts mit seiner aufwendigen Marketerie.

Der reizvolle Schlosspark ist von originalen Gestaltungselementen der drei wichtigen Stilphasen Rokoko, Empfindsamkeit und Historismus geprägt. Er ist wesentlicher Bestandteil des Gartenkunst-Museums Schloss und Park Fantaisie.