Idea de Coubertina nawiązywała do igrzysk w starożytnej Grecji, które odbywały się od 776 p.n.e do 385 roku n.e. Najstarsze z nich, w Olimpii, zorganizowane zostały na cześć boga Zeusa i trwały pięć dni.
Pod koniec XIX wieku pomysł francuskiego arystokraty nie od razu zyskał międzynarodowe uznanie. Gdy ogłosił ideę po raz pierwszy w 1892 r. spotkał się z krytyką. Nie osłabiła ona jednak determinacji barona zwieńczonej przeprowadzeniem w 1894 roku w Paryżu „Międzynarodowego Kongresu na Rzecz Przywrócenia Igrzysk”.
Pierwsze igrzyska trwały od 6 do 15 kwietnia 1896 r. Złote medale wykonane zostały ze srebra i przedstawiały na awersie Zeusa z boginią zwycięstwa Nike, a na rewersie ateński Akropol. Zwycięzcy otrzymywali także gałązkę oliwną oraz dyplom.
Koszt organizacji wyniósł 180 tys. drachm, ale sama sprzedaż specjalnej edycji znaczków olimpijskich przyniosła dochód w postaci 400 tys. drachm. Wraz z innymi zyskami zasilił on budżet państwa.
Igrzyska zorganizowane zostały na zrekonstruowanym Stadionie Panateńskim (Panathinaiko), pierwotnie zbudowanym w latach 330-329 p.n.e.. Otworzył je król Grecji Jerzy I. Na trybunach stadionu mogło zasiąść 80 tysięcy kibiców, ale zawody z okolicznych wzgórz oglądało znacznie więcej osób - pierwszego dnia blisko 100 tys.
W pierwszych nowożytnych igrzyskach uczestniczyło 295 sportowców z 14 krajów. Rozegrano 43 konkurencje w dziewięciu dyscyplinach: lekkoatletyka, gimnastyka, podnoszenie ciężarów, szermierka, zapasy, kolarstwo, strzelanie, pływanie oraz tenis. Nie przeprowadzono zaplanowanych zawodów wioślarskich i żeglarskich z powodu złych warunków atmosferycznych. Zmaganiom towarzyszyły liczne wydarzenia kulturalne, m.in. odbywały się uroczyste przedstawienia antycznych tragedii.
Pierwszym złotym medalistą igrzysk ery nowożytnej został, w dniu otwarcia zmagań, Amerykanin James B. Connolly, który wygrał konkurs trójskoku. Zdobył także później srebro w skoku wzwyż i brąz w skoku w dal.
Bohaterami igrzysk byli grecki biegacz Spiros Luis, francuski kolarz Leon Flameng i węgierski pływak Alfred Hajos.
