Nachdem die alte Residenz, das Schloss Philippsburg in Ehrenbreitstein, baulich renovierungsbedürftig geworden und dem neuen Erzbischof Clemens Wenzeslaus von Sachsen nicht repräsentativ genug war, wurde ein neuer Repräsentationsbau notwendig. Die Landstände bewilligten erst nach längerer Diskussion die notwendigen Gelder. Das Kurfürstliche Schloss wurde schließlich von 1777 bis 1793 erbaut. Architekt war zunächst der Pierre Michel d’Ixnard (1723-1795)aus Paris. Der erste, wahrscheinlich auf Poggi und Salins de Montfort zurückgehende Entwurf von 1776 sah eine mehr landeinwärts gelegene und nach Norden zur Altstadt hin geöffnete Hufeisenanlage vor. D’Ixnard rückte 1777 wohl auf Wunsch des Kurfürsten den Schlossbau näher an den Rhein und drehte die Anlage, die sich nun nach westen zur Neustadt hin öffnen sollte. Nach Kritik an seinen Schlossplänen, die von einem Gegenentwurf des trierischen Baudirektors Johannes Seiz (gest. 1779) und einem Gutachten der Academie Royale zu Paris an Bedeutung gewann, trat d’Ixnard 1779 zurück. Zu diesem Zeitpunkt war der Hauptbau mannshoch und die Gebäudeflügel in den Grundmauern bereits feriggestellt.
Sein Nachfolger Antoine François Peyre d.J. vereinfachte die ursprünglichen Pläne. Am Corps de Logis verringerte er das geplante dritte Geschoss auf ein Mezzanin und verzichtete auf eine mittlere Kuppel (der niedrige Aufbau stammt von Stüler). Die Seitenflügel am Hauptbau und damit dessen Hufeisenform entfielen, sodass die Cirkularflügel unmittelbar am Corps de Logis ansetzen. Die Cirkularflügel selbst wurden stark vereinfacht ohne die von d’Ixnard vorgesehenen großen Baukörper und verbindenden Torarchitekturen. Mit der örtlichen Bauleitung waren Christian Trosson (bis 1782) und Johann Andreas Gärtner aus Dresden betraut. Der Rohbau war im Jahr 1784 vollendet.
