Boksi radhitet në mes të ndeshjeve më të shquara olimpike. Kur ai hyri në Lojërat Olimpike të Lashta për herën e parë, mjeti mbrojtës në të ishte vetëm veshja e lëkurës që mbulonte grushtet. Ndeshja nuk përfundonte para sa se një konkurrent të rrëzohej ose të pranonte humbjen e tij. Banorët e Romës e shikonin këtë si ndeshje të gladiatorëve, që përdornin doreza me gozhdë ose me plumb. Këto ndeshje përfundonin shpeshherë me vdekje, ashtu si edhe në lojërat argëtuese të tjera të asaj kohe, në Romë.

Në vitin 1896 kur u rifilluan Lojërat Olimpike Moderne, duke menduar se boksi ishte tepër i rrezikshëm, komiteti organizator i Lojërave Olimpike të Athinës e anuloi këtë ndeshje. Kjo ndeshje u duk përsëri në vitin 1904 në St.louis, për shkak të popularizimit të saj në SHBA. Por më pas u zhduk përsëri në vitin 1912 në Lojërat Olimpike të Stockholmit, sepse ligji i Suedisë e ndalonte ndeshjen e boksit.

Më në fund, boksi u rikthye në vitin 1920 në lojërat olimpike si ndeshje zyrtare. Në këto ndeshje, Hence, Muhammad Ali dhe Teofilo Stevenson, fitues të 3 medaljeve të arta u bënë trima legjendarë.