Im 30-jährigen Krieg wurde Zabeltitz 1637 von den durchziehenden Schweden geplündert und verwüstet. Nachdem 1655 einige Reparaturen an den verfallenen Gebäuden in Zabeltitz durchgeführt wurden, hielt Johann Georg II. 1657 und 1659 wieder Jagdlager in Zabeltitz ab. Ab 1699 wurde das Rittergut verpachtet. Da die Pächter oft den festgesetzten Pachtzins nicht zahlten und 1727 infolge einer Missernte 5 Dörfer die Steuern nicht aufbringen konnten, versuchte August der Starke den unrentablen Besitz so schnell wie möglich loszuwerden. August hatte schon 1717 seinem treuen Weggefährten, dem Generalfeldmarschall Graf August Christoph von Wackerbarth, ein Rittergut versprochen. Jetzt bot sich die Gelegenheit, Zabeltitz zu verschenken, da bereits ein Tausch Pillnitz gegen Zabeltitz mit der Gräfin Cosel fehlgeschlagen war. Am 16. Februar 1728 erhielt Graf von Wackerbarth das Rittergut Zabeltitz im Tausch gegen zwei Dresdner Häuser mit Mobiliar.
Der Reichsgraf August Christoph von Wackerbarth, hat 1728 fast das gesamte herrschaftliche Besitz umgestalteten lassen. Wackerbarth baute das Schloss (heutiges Palais) völlig neu und legte einen prächtigen Barockgarten an. Innerhalb von nur zwei Jahren mussten alle Bauarbeiten weitgehend abgeschlossen sein, denn 1730 fand ein großes Manöver der sächsischen Truppen, das sogenannte "Campement de Mühlberg" auch Zeithainer Lustlager unter der Führung des Generalfeldmarschalls Wackerbarth statt, wo das neue Anwesen den hohen Gästen bereits präsentiert werden sollte. Diese Baumaßnahmen erfolgten unter Leitung von Johann Christoph Knöffel, der zu dieser Zeit Oberlandbaumeister in Sachsen war.
