Το Μουσείο Συγχρόνων Ολυμπιακών Αγώνων ιδρύθηκε στην Ολυμπία το 1961. Εμπνευστής του ήταν ο φίλαθλος, φιλότεχνος και φιλοτελιστής Γεώργιος Παπαστεφάνου – Προβατάκις. Το Μουσείο Ολυμπιακών Αγώνων εκθέτει υλικό που καλύπτει τους σύγχρονους Ολυμπιακούς Αγώνες και μια μοναδική συλλογή γραμματοσήμων. Ολυμπιακά μετάλλια, δάδες από λαμπαδηδρομίες, φωτογραφίες και αφίσες αγώνων, συλλεκτικές καρφίτσες των διοργανώσεων (pins), αναμνηστικές σειρές γραμματοσήμων και νομισμάτων και πολλά άλλα από διοργανώσεις θερινών και χειμερινών Αγώνων.
Το 1964 το οίκημα όπου είχε στεγάσει το Μουσείο και το υλικό των συλλογών του περιήλθαν στην κυριότητα της Επιτροπής Ολυμπιακών Αγώνων με δωρεά του Γεωργίου Παπαστεφάνου, ο οποιος εμπνευσμένος από το Ολυμπιακό Πνεύμα εμπλούτιζε το υλικό του Μουσείου. Το 1968 άρχισαν εργασίες κατασκευής νέου κτηρίου, που θα στέγαζε το Μουσείο και στις 27 Ιουλίου 1972 εγκαινιάσθηκε το καινούργιο Μουσείο Σύγχρονων Ολυμπιακών Αγώνων, επιφανείας 400 τ.μ., το οποίο και τέθηκε υπό την αιγίδα της Εφορείας της Διεθνούς Ολυμπιακής Ακαδημίας. Μετά το σεισμό της 8ης Ιουνίου 2008 το κτίριο υπέστη αρκετές φθορές και το 2010, διεκόπη η λειτουργία του μουσείου.
Μετά απο μια σειρά διαπραγματεύσεων και την εξασφάλιση κονδυλίων, το μουσείο παραχωρήθηκε από την ΕΟΕ στο Δήμο Αρχαίας Ολυμπίας που σε συνεργασία με την Περιφέρεια Δυτ. Ελλάδας έχουν αναλάβει την ανακατασκευή του και την βελτίωση του εκθεσιακού προγράμματος με αρκετές προσθήκες, σε μια προσπάθεια ανάδειξης ακόμα περισσότερο του ρόλου της Ολυμπίας ως τόπου γέννησης του Ολυμπιακού Κινήματος. Παράλληλα θα αναδείξει τόσο την εκπαιδευτική του διάσταση όσο και την αποφασιστική συμβολή του στην κοινωνική και οικονομική ανάπτυξη του τόπου.