L'hôtel, de style néo-Louis XV, a été construit en 1887 pour le comte Frédéric Pillet-Will, régent de la Banque de France, à l'emplacement de l'hôtel Marbeuf.
En 1967, l'ambassade du Japon, qui avait acquis l'immeuble en 1965, a fait détruire l'hôtel pour le remplacer par une construction moderne, ne laissant subsister que le bâtiment sur rue.