Construit en 1815 pendant la Restauration, ce pavillon servait de logis à de nombreuses personnalités, dont la Duchesse d'Angoulême, la Duchesse d'Orléans et Napoléon III. Ce dernier y séjourna à plusieurs reprises, alternant affaires politiques le matin et détente aux thermes l'après-midi. C'est également ici qu'eut lieu en 1858 l'« Entrevue secrète » entre Napoléon III et Cavour, le Premier ministre du Piémont-Sardaigne. Cette rencontre décida de l'alliance entre la France et le Piémont contre l'Autriche, en échange de la cession de la Savoie, de Nice et de la Haute-Savoie.