Né le 2 mars 1740 sur l'île de Saint-Domingue dans la famille du gouverneur des Îles-sous-le-Vent, il entre en service à l'âge de 19 ans comme sous-lieutenant au régiment des Suisses gendarmes et participe à la guerre de Sept Ans, sous les ordres du maréchal de Soubise. Après la fin des hostilités, il s'adonne aux divertissements de la société parisienne et de la cour. Il entretient une liaison amoureuse avec la duchesse Gabrielle de Polignac, grâce à laquelle il reçoit le grade de maréchal de camp et les fonctions de gouverneur de la citadelle de Lille et de Grand Fauconnier de France. A Versailles, il devient le chef spirituel de la faction Polignac et le plus proche confident du comte d'Artois, qu'il accompagne en 1782-1783 au siège de Gibraltar. Il contribua à la nomination de ses amis aux postes gouvernementaux les plus importants : Calonne reçut ainsi le portefeuille de ministre des Finances, Ségur celui de ministre de la Guerre, Castries de ministre de la Marine.
Mécène, il collectionne les oeuvres d'art dans son château château de Gennevilliers et protège des écrivains libéraux, parmi lesquels Chamfort, Lebrun-Pindar et Beaumarchais. Lui-même comédien amateur, il interpréta le 19 août 1785 à Trianon le rôle du comte Almaviva dans Les Noces de Figaro. Dès 1787, il vécut en concubinage avec la célèbre portraitiste Elisabeth Vigée-Lebrun.
Il quitte Paris dans la nuit du 16 au 17 juillet 1789 et émigre à Turin en 1792. Adjudant général du comte d'Artois, il participa à la préparation d'une expédition infructueuse en Vendée. Le 23 fructidor de l'an III (9 septembre 1795) il épousa sa cousine Marie-Joséphine-Hyacinthe-Victoire de Rigaud de Vaudreuil, de qui eut deux fils : Charles-Philippe-Joseph-Alfred et Victor-Louis-Alfred.
Depuis 1801, il vécut à Londres, avant de revenir en France lors de la Restauration de 1814. Il fut alors fait lieutenant-général et fut élevé à la dignité de pair de France par le roi Louis XVIII. Il fut également nommé gouverneur du Louvre. Durant les Cent Jours, il a tenté en vain d'organiser la résistance royaliste en Anjou, après quoi il s'est enfui en Espagne. Sous la Seconde Restauration, il est fait Grand Chambellan. Il meurt le 17 janvier 1817 à Paris à l'âge de 76 ans et est inhumé au cimetière du Calvaire.