在讨论第三届奥运会期间，国际奥委会决定在美国举办奥运会，因为该国在前两届奥运会中都取得了不错的成绩。 最初，他们想在芝加哥或纽约举行奥运会，但是结果，选择权落在了港口小镇圣路易斯上。
作为世界展览的一部分，在圣路易斯举行的第三届奥林匹克运动会与巴黎一起举行。 但是，展览的当地管理者并不认为它是竞争对手，而是尽最大努力将这些游戏用于自己的广告目的。 此外，组织者还重复了1900年巴黎夏季奥运会的一些错误。 由于对世界展览的热爱，比赛被归结为背景，奥运会本身持续了将近5个月（1904年7月1日至11月23日）。 在各种专业组织的指导下举行了许多比赛，尽管如此，它们都被授予奥林匹克学科的称号。
根据国际奥委会的说法，有12个国家参加了圣路易斯的夏季运动会。 首次参加比赛的唯一国家是南非。 与巴黎奥运会相比，参加国家的数量急剧下降。 出于经济原因，参加巴黎夏季奥运会的13个州无法来圣路易斯。 当时与日本作战的俄罗斯没有参加比赛。
在第三届夏季奥林匹克运动会上共有651人参加比赛，其中包括6名妇女。 他们参加了18项体育比赛的94套奖项。 最大的球队是美国；他们代表了533人参加了奥运会。 在许多体育项目中（拳击，摔跤，水球，射箭和网球），只有美国运动员参加，因此比赛清楚地表明了该国的首要地位。
在圣路易斯首次开始奖励三名，而不是两名表现最佳的运动员。 比赛的主要获胜者获得了金牌； 亚军-银牌； 第三名获得铜奖。 这种传统一直延续到现在。
在非官方的小组排名中，参赛国家如下：第一名-美国（78金，82银，78铜牌），第二名-德国（4金，4银，5铜牌），第三名-古巴（4金） ，2枚银牌，3枚铜牌）。
