Berühmt wurde Pförten durch seinen Besitzer, den Reichsgrafen Heinrich von Brühl, allmächtiger Premierminister des sächsischen Kurfürsten Friedrich August II., der zugleich als August III. König von Polen war. Brühl machte aus Pförten einen Ort hochfeiner sächsischer Bau- und Gartenkunst und ist auch mit der preußischen Geschichte verworben, wenn auch mit einer dunklen Seite.
Nur langsam kam die Karriere Graf Brühl´s in Fahrt: Geboren 1700, mit 13 Jahren Page am Weißenfelser Hof, 1719 als Silberpage bei August dem Starken, 1727 dessen Kammerjunker. 1730 schlug dann Brühl´s große Stunde. August der Starke wollte sich vor ganz Europa von seiner stärksten Seite präsentieren. Er plante ein Vergnügen, ein sogenanntes Lustlager, von dem man noch nach 100 Jahren reden sollte. Eigentlich wären jetzt Minister und Geheimräte gefragt, aber keiner traute sich. Da sprang der bedeutungslose Kammerjunker Brühl ein und organisierte höchsten Prunk und feinsten Luxus. Von nun an wurde er für August und erst recht für dessen Sohn Friedrich August unentbehrlich. An der Elbe fanden sich 47 Fürsten ein. Zum Gefolge des preußischen Königs gehörte neben 150 Offizieren auch der Kronprinz. Hier begegneten sich also der spätere Premierminister Graf Brühl und der spätere preußische König Friedrich, der einmal der „Große“ genannt werden sollte. Doch noch waren beide quasi ohne Amt und verstanden sich zunächst prächtig.
Vier Wochen Party ohne Ende – da taute selbst Friedrich auf, zur Freude seines Vaters und zum großen Ärger von August. Denn das Ziel seiner Wünsche, die auch wohl sichtlich erfüllt wurden, war die Gräfin Orcselska, die Lieblingstochter August des Starken. Das war zu viel, August schäumte und raste. Aber Graf Brühl konnte die Staatsaffäre eindämmen, er führte dem Kronprinzen eine Gräfin Formera zu. Preußens König dankte ihm mit der höchsten Auszeichnung, dem „Schwarzen Adlerorden“, in seinem Sohn aber wuchs abgrundtiefer Hass.
Nie zuvor und nie wieder hätte sich Friedrich in so einer Weise einer Frau geöffnet, und Brühl war der Organisator des Disasters. Nach dem Zaithainer Lager begann nun der unaufhaltsame Aufstieg des Grafen Brühl, er wurde zum uneingeschränkt herrschenden Minister. Da konnte der König in Potsdam nur spotten: „Friedrich ist sein eigener Minister, Minister Brühl sein eigener König.“ Doch der Spott konnte den Hass nur mühsam verdecken. Im 7jährigen Krieg aber lebte er ihn zügellos aus. Brühl selbst war unerreichbar, denn er war nach Warschau geflohen. Aber alles, was in Sachsen an Brühl erinnerte, wurde von Friedrich in manischer Wut zerstört, zumeist war er selbst zugegen: Die Schlösser Groschwitz, Oberlichtenau und Nischwitz, die Dresdener Palais´und eben auch Schloss Pförten. „Ich habe Vergeltung üben müssen!“, schrieb Friedrich der Gräfin Brühl kühl. Am 1. September 1758 befahl er dem Markgrafen von Brandenburg „nun gerade nach Pförten zu marschieren und das Schloss des Grafen Brühl verbrennen zu lassen.“ Der wollte nicht Mordbrenner werden und schickte seinen General Detachent. In einem Bericht aus der Zeit heißt es: „Der Commandeur ließ im Schloss alle Keller aufreißen und alle großen Weinfässern die Böden ausschlagen; was aber an Flaschen und kleinen Gefäßen vorhanden war, ließ er auf zwei Wagen laden. Mittlerweile hatte ein Commando Husaren einen Wagen mit Stroh und einen Wagen mit Holz aufden Schloßplatz gebracht. Unter dem Dache wurden an 12 verschiedenen Orten Haufen von Holz und Stroh hingelegt, desgleichen auch im untersten Tafelzimmer. Also wurden die Haufen alle angezündet, und der Commandeur gebot zugleich, daß kein Mensch sich unterstehen solle, zum Löschen an das Schloß zu gehen, wenn er nicht eine Kugel vor den Kopf geschossen haben wolle. Indes hat es das Schicksal so wunderbar gefügt, das nicht nur die beiden Seitengebäude, sondern auch die Ganze Stadt nicht im geringstem versehrt worden. Am Ort und am Schloss haben aber der Zahn der Zeit und kommunistischer Dogmatismus ihr übriges getan. Das Schloß allein ist gänzlich bis auf den Grund nebst allen Möbeln und was darin gewesen, verbrannt und zusammengen- gefallen. Die kostbarsten Dinge aus Pförten hatte Graf Brühl mit Kriegsbeginn 1756 jedoch bereits nach Hamburg in Sicherheit gebracht. Darunter auch das rund 2200 Teile zählende Schwanenservice aus Meißener Porzellan. Dies ist jedoch heute über die ganze Welt verstreut und konnte bis heute nicht wieder zusammengeführt werden. Somit konnte sich Graf Brühl keine 20 Jahre an Schloss Pförten erfreuen, dann war es fast 100 Jahre unbewohnbar. Graf Brühl sollte seinen geschändeten Besitz nur ganz kurz wiedersehen, auf der Rückreise aus dem Exil von Warschau nach Dresden machte er in Pförten Halt. Als der sächsische König bald darauf starb, konnte er seinen eigenen Sturz vorraussehen. Doch erlebte er ihn nicht mehr bewußt, denn er verstarb wenige Wochen später und wurde in der Forster Nikolaikirche begraben. Schloß Brühl selbst wurde mit einem Notdach versehen und diente dann als Scheune. Graf Brühl hinterließ vier Söhne und eine Tochter. Sein Sohn Friedrich Aloys von Brühl übernahm als Erbe die Herrschaft Forst-Pförten. Da der Name Brühl in Sachsen über Jahrzehnte „verbrannt“ war, gingen die Brüder ins Ausland und wurden – gute Preußen. Der älteste und der Jüngste der Brüder wurden Generäle und der dritte wurde Generalintendant der Straßen (Straßenmeister). Der Sohn dieses sogenannten Chaussee-Brühls, Karl Moritz, geboren 1772 auf Schloss Pförten, war langjähriger Generalintendant der königlichen Schauspiele in Berlin, später auch der Museen. Erst die letzten Brühl´s auf Pförten konnten 1919/24 den alten Zustand annährend wiederherstellen. 1920 wurde das Flachdach wieder von der Familie Brühl durch ein neues Mansarddach ersetzt. Das brühlische Schloß blieb so bis 1945 im Familienbesitz und wurde im Krieg nicht zerstört. Im Herbst des Jahres 1945 machten jedoch russische Soldaten auf Schloß Brühl Quartier und setzten das Schloß im Wodkarausch aus Versehen in Brand, da sie die Kamine mit ganzen Baumstämmen fütterten, und es wurde somit erneut vollkommen zerstört. Die beiden Kavaliershäuser blieben jedoch all die Jahre verschont. 1946 wurde Schloß Brühl in polnischen Staatsbesitz überführt. Seit dem gab es immer wieder Versuche, die Schlossanlage zu restaurieren. Die Arbeiten wurden jedoch nie zu Ende geführt. 1960 erhielt das Schloß wieder ein neues Mansarddach. Doch seit dem wurden keine Sicherungsmaßnahmen durchgeführt. Deshalb ist das Schloßgebäude heute wieder in einem bemittleidenswerten Zustand und einsturzgefährdet. In den Kavaliershäusern wohnten nach dem Krieg vorübergehend griechische Emigranten. In den 50er Jahren wurden dann die Kavaliershäuser als Landwirtschaftsschule genutzt. Bis in die 70er Jahre erfolgte eine Nutzung als Kinderferienlager und komplett herunter gewirtschaftet. Seit 1997 wurden und werden die Kavaliershäuser nach und nach in Stand gesetzt und als Gaststätte und Hotelanlage genutzt. Das Schloßgebäude selbst ist im Besitz der Gemeinde Brody und dessen Zukunft ist weiter ungewiss.