Schwarzenberg wurde im 15. Jahrhundert durch Erkinger von Seinsheim erworben, die Familie nannte sich forthin von Schwarzenberg. Die frühere Burg wurde mehrmals umgestaltet. 1607 brannte das Schloss teilweise ab. Der Wiederaufbau wurde durch den Augsburger Baumeister Elias Holl geplant. Eine weitere Umgestaltung ist im ausgehenden 17. Jahrhundert nach der Erhebung in den Reichsfürstenstand 1670 durchgeführt worden.  Sehenswert sind die gesamte Schlossanlage mit dem schwarzen Turm, dem Stückturm, dem Ahnensaal und der katholischen Schlosskirche. Von Ostern bis Ende Oktober werden sonn- und feiertags ab 14.00 Uhr oder nach Vereinbarung Führungen durch das Schloss angeboten. Auskunft erteilt die Stadt Scheinfeld Tel.: 09162 / 92910. Heute sind eine Realschule und eine Fachoberschule im Schloss untergebracht. Der Kulturpfad „Auf den Spuren der Fürsten Schwarzenberg in Franken“ widmet sich dem reichen Erbe der einst mächtigen Herrschaft in unserer Region.