Trong khi thảo luận về vấn đề tổ chức Olympic III, Ủy ban Olympic quốc tế đã quyết định tổ chức trên lãnh thổ của Hoa Kỳ, do quốc gia này đã thể hiện tốt ở hai kỳ thi trước. Ban đầu, họ muốn tổ chức Thế vận hội ở Chicago hoặc New York, nhưng kết quả là sự lựa chọn rơi vào thành phố cảng nhỏ St. Louis.
Olympic III tại St. Louis, cùng với Thế vận hội Paris, được tổ chức trong khuôn khổ Triển lãm Thế giới. Tuy nhiên, ban quản lý địa phương của Triển lãm đã không coi đây là một đối thủ cạnh tranh, mà ngược lại, bằng mọi cách có thể cố gắng sử dụng các trò chơi cho mục đích quảng cáo của riêng họ. Ngoài ra, ban tổ chức còn lặp lại một số sai sót của Thế vận hội Mùa hè 1900 tại Paris. Do gắn bó với Triển lãm Thế giới, các cuộc thi bị đẩy vào nền tảng, và Thế vận hội kéo dài gần 5 tháng (1 tháng 7 - 23 tháng 11 năm 1904). Nhiều cuộc thi đã được tổ chức dưới sự lãnh đạo của các tổ chức chuyên môn khác nhau, tuy nhiên, bất chấp điều này, họ đều đạt danh hiệu Olympic các môn.
Theo IOC, 12 quốc gia đã tham dự Thế vận hội Mùa hè St. Bang duy nhất tham dự cuộc thi lần đầu tiên là Nam Phi. So với Thế vận hội Paris, số lượng quốc gia tham dự đã sụt giảm nghiêm trọng. 13 tiểu bang tham gia Thế vận hội Paris mùa hè đã không thể đến St. Louis vì lý do kinh tế. Nga, quốc gia đang có chiến tranh với Nhật Bản vào thời điểm đó, đã không tham gia cuộc thi.
Tổng cộng 651 người đã tham gia Thế vận hội Mùa hè III, trong đó có 6 phụ nữ. Họ đã tranh 94 bộ giải thưởng ở 18 môn thể thao. Đông đảo nhất là đội của Hoa Kỳ, họ đại diện cho 533 người tại các trò chơi. Trong nhiều môn thể thao (quyền anh, đấu vật, bóng nước, bắn cung và quần vợt), chỉ có vận động viên Mỹ thực hiện, vì vậy các trò chơi thể hiện rõ sự vượt trội của đất nước.
Ở St. Louis, lần đầu tiên, họ bắt đầu trao giải cho ba, không phải hai, vận động viên thể hiện kết quả tốt nhất. Người chiến thắng chính của cuộc thi được trao huy chương vàng; vận động viên về nhì - bạc; và vị trí thứ ba được trao huy chương đồng. Truyền thống này đã tồn tại cho đến ngày nay.
Ở nội dung đồng đội không chính thức, các quốc gia tham dự được xếp vị trí như sau: hạng I - Mỹ (78 vàng, 82 bạc, 78 huy chương đồng), hạng II - Đức (4 vàng, 4 bạc, 5 huy chương đồng), hạng III - Cuba (4 huy chương vàng, 2 bạc, 3 đồng).
