La famille Grasset est originaire de la ville de Paulhan, située une dizaine de kilomètres au sud de Pézenas, non loin de Montpellier. Elle est déjà notable à Paulhan en 1436, avec Bernard Grasset, consul de cette ville. Dès 1471, puis en 1493, on la trouve alliée à des familles de notaires de Montpellier, où elle a manifestement des intérêts et réside, au moins partiellement.
Elle s’enrichit alors significativement dans le commerce des tissus et possède des intérêts ou biens fonciers à la fois à Paulhan, Montpellier et Pézenas.