Construit à la demande du Prince de Salm-Kyrbourg, entre 1782 et 1787, l'hôtel de Salm fut acheté en 1804, au nom de l'Institution, par le premier Grand Chancelier, le Comte de Lacepède afin d'y installer l'administration de l'Ordre nouvellement créé par le Premier Consul.
Le Prince de Salm arrêté puis guillotiné en 1794 laisse avec le Palais, d'énormes dettes. Ses créanciers obtinrent que le Palais, inscrit sur la liste des biens nationaux, fût rendu à la famille afin de parvenir à recouvrer leurs créances. Le mobilier fut vendu et le Palais loué à divers locataires.
L'achat en 1804, du bâtiment par le Comte de Lacepède mit un terme aux vicissitudes de l'hôtel de Salm qui devint le Palais de la Légion d'honneur.
Restauré par l'architecte Antoine Peyre, l'hôtel fut ensuite agrandi et modernisé au fil du temps avec en particulier la création du bâtiment qui abrite aujourd'hui encore l'administration centrale de la Grande Chancellerie.
Incendié durant la commune (le 23 mai 1871) en même temps que le Palais des Tuileries, l'hôtel de ville et d'autres bâtiments abritant des Institutions, le Palais fut immédiatement reconstruit à l'initiative du général Vinoy, alors Grand Chancelier, grâce à une souscription lancée auprès des membres de la Légion d'honneur et des Médaillés Militaires.
En 1925, l'aile des écuries fut transformée en musée par le Grand Chancelier d'alors, le général Dubail, donnant au Palais son aspect définitif.