Destiné dès son enfance à l'état ecclésiastique (parce que son frère, enfant naturel comme lui, était destiné à recueillir la fortune de leur mère), on lui fit commencer les études nécessaires, et on le mit au séminaire, sous le nom de l'abbé Vénicourt. Dominé par un penchant irrésistible pour la musique, il y avait introduit en secret une guitare sur laquelle il étudiait, à l'aide d'une méthode, les positions et les accords. Le pianissimo qu'il employait dans ses exercices n'empêcha pas que la guitare ne fût découverte et qu'on ne la lui enlevât. Désespéré de ce contretemps, il résolut de s'affranchir de toute gêne, et s'enfuit du séminaire, en 1788. Dès lors, sa mère ne voulut plus s'occuper de lui. Les troubles de la révolution survinrent, le prince et la marquise sortirent de France, et leur fils, âgé seulement de seize ans, se trouva livré à ses propres ressources. Une blessure grave au genou le retenait au lit : il en profita pour continuer ses études de guitare.
Ce fut alors qu'il quitta le nom de Vénicourt pour celui de Gatayes dans le but de faire oublier son origine aux hommes qui se partageaient le pouvoir révolutionnaire. Le hasard le mit précisément dans le même temps sous la protection d'un conventionnel dont le nom remplissait la France d'épouvante : cet homme était Marat. Il se trouva que Gatayes habitait la même maison que lui et sur le même palier. Il chantait souvent des romances charmantes de sa composition et s'accompagnait de la guitare. Cette musique toucha le monstre : un matin il entra chez le voisin qui lui charmait l'oreille, l'obligea de continuer et après l'avoir écouté pendant une demi-heure, il sortit en l'invitant à venir quelquefois causer avec lui. Ce fut peu de mois après que Marat fut frappé mortellement dans son bain par Charlotte Corday. Attiré par le bruit et les cris, Gatayes courut à l'appartement de son voisin, naguère si redoutable : il vit cette belle fille, au regard noble et pudique, calme au milieu du peuple en fureur qui se précipitait sur elle, et résignée au sort qui l'attendait.
Le nom de Gatayes commençait à être connu par ses romances, qui eurent un succès de vogue, et dont une, "Mon délire", fut chantée par toute la France. En 1790, il avait fait paraître sa méthode de guitare, écrite à l'âge de dix-sept ans, et qui fut longtemps la seule en usage en France. En 1793, Gatayes prit quelques leçons de harpe, et deux ans après il publia une méthode pour cet instrument. Il a beaucoup écrit pour la guitare et pour la harpe.