Le 22 janvier 1852, Louis Napoléon Bonaparte, Président de la République, institua la Médaille Militaire pour récompenser les sous-officiers et soldats trop souvent ignorés par la Légion d'honneur. A la veille de la fondation de son Empire, le prince-président voyait sans nul doute dans cette initiative l'occasion de créer une récompense permanente qui fidéliserait ses soldats. Il avait été précédé dans cette voie par son oncle Napoléon Ier, qui créa la Légion d'honneur en même temps qu'il établissait le Consulat à vie.

Toutefois, les motivations politiques ne suffisent pas à expliquer la décision du prince-président, qui répondait à une vraie nécessité sociale. Au cours du XIXe siècle, la Légion d'honneur avait quasiment déserté la poitrine des hommes de troupe, en devenant peu à peu le privilège des officiers. Le neveu du grand Empereur en était conscient. « Quand on est témoin, comme moi, expliqua-t-il, de tout ce qu'il y a de dévouement, d'abnégation et de patriotisme dans les rangs de l'armée, on déplore souvent que le gouvernement ait si peu de moyens de reconnaître de si grandes épreuves et de si grands services. [...] Combien de fois ai-je regretté de voir des soldats et des sous officiers, rentrer dans leurs foyers sans récompense, quoique par la durée de leurs services, par des blessures, par des actions dignes d'éloges, ils eussent mérité un témoignage de la patrie. » La nouvelle décoration  devait « être le prix des services immenses » rendus par l'armée à la France et resserrer les liens de « la grande famille militaire ». Louis Napoléon s'exprima en ces termes lors de la première remise de cette décoration qui eut lieu le 21 mars 1852 dans la cour des Tuileries devant 6000 soldats. Ce jour là, il remit à 48 militaires l'insigne dont il avait arrêté les caractéristiques par décret, le 29 février 1852 : orné à l'avers de son effigie, au revers de la devise « Valeur et discipline » , surmonté de l'aigle impérial et suspendu à un ruban jaune liseré vert, qui rappelait le ruban de l'Ordre de la Couronne de fer créé par Napoléon en 1805 pour le royaume d'Italie.

Cette nouvelle décoration suscita au départ plus de méfiance que d'enthousiasme, jusqu'à ce que l'on comprenne qu'elle devait briller tant sur les uniformes des plus haut gradés que sur ceux de la troupe. En effet, lorsque Louis Napoléon procéda à la deuxième remise le 10 mai 1852, au Champ de Mars , il décora 1705 sous-officiers et soldats et les deux nouveaux maréchaux de France, Reille et Vaillant, élevés à cette dignité le même jour. Cette initiative, qui faisait de la nouvelle médaille, une récompense supérieure à la  Grand'Croix de la Légion d'honneur fut étendue dès le 13 juin 1852 aux généraux ayant rempli les fonctions de ministres ou exercé des commandements en chef et progressivement aux officiers généraux (décisions des 20 octobre 1888, 27 décembre 1897, 16 mai 1907, 24 novembre 1909). Le même insigne décorait donc les plus grands chefs de guerre et les soldats, particularité qui assura sa popularité.

Défini comme la Légion d'honneur du sous-officier, l'administration de la nouvelle décoration et sa discipline en furent confiées à a Grande Chancellerie de la Légion d'honneur.
Récompense d'exploits extraordinaires ou de longs services passés sous les drapeaux,  elle est concédée par le chef de l'Etat sur proposition du ministre de la Défense et remise au cours d'une cérémonie officielle.