Selon les mémoires du comte de Maurepas (1792) "Le marquis de Brienne, âgé de 42 ans, a fait acte de folie d’épouser la fille de Bourlet, simple procureur au Châtelet. Le père de M. de Brienne est âgé de 75 ans, et plein de fureur contre son fils qui a fait un tel mariage ; il vient de le chasser de concert avec son épouse. M. de Brienne le mal marié (car c’est le nom qu’on lui donne dans Paris, et d’autres disent Brienne-Bourlet) vit chez les Bourlet, et mange avec les clercs du procureur au Châtelet. Il ne paroîtra plus dans les compagnies, à ce qu’on prétend."
Il s’agit bien d’une mésalliance : on ne pardonnera pas au marquis de Brienne de conclure une histoire d’amour par un mariage avec une roturière. Il est banni de la haute société, jusqu’à faire baptiser son fils unique Paul-Charles-Marie, né le 17 septembre au château de Villers Cotteret, loin de Paris par un petit curé de campagne. En effet, le 13 octobre 1738, Claude-Alexis de Crespy, curé de la paroisse Saint-Gervais et Saint-Protais de Chouy procédait en effet aux cérémonies complémentaire du baptême sur l'enfant qui avait été ondoyé au château le 24 septembre par le P. Viller Mauler chanoine regulier de l’ordre de prémonté et prieur de La Bayes de Villers Cotteret.