1896年，第1届奥运会召开前，国际奥委会曾通过法国驻华使馆向清政府发出邀请。但当时的清政府正处于内忧外患之中，对体育事业毫不关心，所以没有应邀参加。1922年，国际奥委会选举我国王正廷为国际奥委会委员。1924年，中国第一个全国性体育组织--中华全国体育协进会成立。同年派出三名网球运动员，在法国巴黎举行的第8届奥运会上作了表演赛（奥运会无正式网球赛）。4年后，中国又派宋如海观光了在荷兰阿姆斯特丹举行的第9届奥运会。1931年，国际奥委会承认中华全国体育协进会。

　　1932年，第十届奥运会在美国洛杉机举行。中国首次派出一名运动员参赛。他就是东北籍运动员刘长春。此后，中国又参加了第11、14届奥运会，但均未能取得任何成绩。在此期间，国际奥委会于1939年、1947年选出了我国孔祥熙、董守义为国际奥委会委员。

　　1949年，新中国成立后，原中华全国体育协进会改组为中华全国体育总会（中国奥林匹克委员会）。1952年第15届奥运会时，由于国际奥委会某些人在中国席位问题上有意制造事端，致使我迟至7月才接到国际奥委会的邀请。待我国派出的由足、篮球队与游泳选手组成的40人代表团，到达赫尔辛基时，比赛已近尾声，仅吴传玉一人参加了仰泳比赛。但是，国际奥委会一直拖延解决我中华全国体育总会在该会的合法席位问题，直到1954年在雅典召开的国际奥委会第49届会议上才得到确认。1956年，国际奥委会在某些人操纵下，仍蓄意制造"两个中国"。同年11月6日，中华全国体育总会发表声明，宣布不参加第16届奥运会，以示抗议。1958年，我国中断了与奥委会的一切联系。

　　1979年11月26日，国际奥委会在洛桑宣布，经过国际奥委会全体委员通讯表决，以62票赞成，17票反对，通过了国际奥委会执委会前此于10月在名古屋作出的承认中国奥委会为全国性奥委会的决定。中国体育代表团参加大会时，使用中华人民共和国国歌和国旗。至此，国际奥委会同我国的关系，才得到了解决。

　　1980年，新中国第一次派队出席了在美国普莱西德湖举行的第13届冬季奥运会。男女运动员共28人，参加了滑冰、滑雪和现代冬季两项等18个单项的比赛。但与世界先进水平差距较大，无一人进入各项前十名。我国未参加同年在莫斯科召开的夏季奥运会。1981年10月，国际奥委会第84次会议选出了我国何振梁为国际奥委会委员。

　　1984年，第23届奥运会在美国洛杉矶举行，中国派出了一个宏大的代表团参赛，在比赛的第一天，中国运动员许海峰就在射击项目中一鸣惊人，为中国夺得男子手枪速射金牌，实现了中国在奥运史上金牌零的突破。在这届奥运会上，中国队共夺得15枚金牌，列金牌总数第4，跨入世界体育强国的行列。

　　1988年，在韩国汉城举行的第24届奥运会上，中国运动员共夺得5枚金牌。

　　1992年，在西班牙巴塞罗那举行的第25届奥运会上，中国运动员共夺得16枚金牌，列金牌总数第4。

　　1996年，在美国亚特兰大举行第26届奥运会上，中国运动员共夺得16枚金牌列金牌榜第四名。还夺得银牌22枚，铜牌12枚，奖牌总数50枚。

　　1993年9月23日国际奥委会宣布悉尼获得2000年奥运会举办权，北京以两票之差失利。

　　1996年亚特兰大奥运会中国代表团再次夺得16枚金牌。

　　1998年11月25日北京正式宣布申办2008年奥运会，再次开始了申办之旅。

　　1999年4月7日北京正式向国际奥委会递交2008年奥运会申办报告。

　　2000年悉尼奥运会中国代表团夺得28枚金牌、16枚银牌和15枚铜牌，金牌和奖牌总数首次进入世界三强。

　　2001年7月13日国际奥委会宣布北京获得2008年奥运会举办权，中国终圆世纪奥运梦。

　　2004年雅典奥运会上,中国代表团夺得32枚金牌、17枚银牌和14枚铜牌，列金牌榜总数第二名。