蔡元培没有在政治的洪流中迷失，更没有被权力搞得忘乎所以、利令智昏。在参与了国民党内的一些政治活动之后，很快回归他一生矢志不渝所追求的教育事业。
应该说，这种对政治的有限参与，客观上也使蔡元培获得了实践教育理念的难得资源。因为，对蔡元培来说，南京国民政.府的成立，为实践他教育兴国的理想又开创了一个新的舞台。
1927年4月27日，蔡元培被任命为国民政.府教育行政委员会委员。蔡元培即建议，仿效法国教育制度，在国民政府内不设教育部，而设“中华民国大学院”，作为全国“最高之学术和教育行政机关”。
蔡元培这样做的理由，是“但求办事上能增加效率，不因人设事，致成衙门化”。
他说：“近来官僚化之教育部，实有改革之必要。欲改官僚化为学术，莫若改教育部为大学院。”
他的想法是不让中国的教育事业行政化，而是走上专业化、学术化的路子。
大学院的特点是贯彻“以教育家办教育”的思想。如，在院内设大学委员会，作为全国最高的教育立法机关，这个委员会由各国立大学校长、大学院教育行政处主任、国内专门学者这三部分人组成，委员长则由大学院院长兼任。这个委员会可推荐大学院院长的人选，议决国家教育的重大方案、政策，与政府各个部门保持相对独立。
大学院内设院长一人，总理全院事务，下属办事机构仅设秘书处和教育行政处。
此后，年过六旬的蔡元培有两年光景全力投入了在国内设立大学区的实验。
所谓大学院，乃是参考法国的大学区制而实行的模式。将全国分成若干学区，每一学区以大学院为中心，全学区的中、小学都归大学院管理，不再设立教育局之类的行政机构。这种体制的好处是突出了教育家治校，更尊重教育规律，而且教育在不同的地区的发展也会相对均衡。
蔡元培做北大校长时，深受教育部行政官僚之苦，对官僚统治深恶痛绝，所以很支持这样的体制改革。
1928年，作为大学院院长的他，亲自主持召开了第一次全国教育会议。大学校长及各省教育主管与会，共商教育改革方向。
正是在这次教育体制改革中，蔡元培的美育精神得到了进一步的发扬。
在确定了大学院为全国最高学术教育机构之后，蔡元培进而突出了科学、艺术、劳动三者在教育中的地位：“大学院以科学化、艺术化、劳动化相提倡，大学必须具备这三种精神。”他倡议，要在大学区中设立劳动大学，提倡劳动教育。更要“设音乐院、艺术院，实行美化教育”。
这就在过去已有的德育、智育、体育之外，再加上劳育、美育，德、智、体、劳、美五育并举，方为完全之教育。
而且，在蔡元培看来，美育还要进一步走向社会：“美育为近代教育之骨干。美育之实施，直以艺术为教育，培养美的创造及鉴赏的知识，而普及于社会。”
蔡元培要求大学院把艺术看得和科学一样重要：“艺术能养成人有一种美的精神，纯洁的人格。”
在蔡元培的积极推动下，在大学院下筹备设立艺术教育委员会，以推进全国的艺术教育。大学院在蔡元培的主持下，很快在上海创建了国立音乐学院，请音乐家萧友梅当校长。接着，又迅速在杭州创办了国立艺术学院，请画家林风眠任校长。由此开始，艺术教育在江南地区蓬勃发展起来。大学院在1928年还支持美术教育委员会向社会推进美育，筹备全国美术展览会，这在国内属创举，成为中国文化界的一大盛事。
在大学院时代，蔡元培广开贤路，设置了特约着作员制，专聘国内学术上有贡献的专家、学者，任其自由着作，大学院给予特殊津贴。这时鲁迅也已在上海自由写作，蔡元培为他颁发了聘书。
中华民国大学院特约着述员(又称特约着述员)，这是一个不用上班就可以拿到300圆干薪的职位。
一年之后，这个职位又在蒋梦麟任部长的教育部里改名为“教育部编辑费”。
蔡元培曾在他的《我在教育界的经验》中说过：“大学院时代，设特约着述员，聘国内在学术上有贡献而不兼有给职者，听其自由着作，每月酌送补助费。吴稚晖、李石曾、周豫才（鲁迅）诸君皆受聘。”
鲁迅的这笔“补助费”长达4年1个月，共计有银圆，数目不小。
1930年12月，蒋梦麟辞去了教育部长之职，到北京大学当校长，国民政府于12月4日改聘高鲁为教育部部长。
高不到任，于是，6日起，就由蒋介石亲自以行政院部长兼任了教育部部长。15日，又任命李书华作为他的政务次长。蒋介石兼任这个教育部部长，一直到1931年6月18日，达7个月。接着就由李书华继任教育部部长，到1932年的1月8日为止。
就在蒋介石兼任教育部部长的期间，据许广平说，有人去向蒋介石告密，说：“现在部里的特约编辑周豫才，就是周树人——鲁迅，也就是最激烈地反对你的中国自由运动大同盟和中国左翼作家联盟的发起人和这两个团体的头子，也就是浙江国民党省党部呈请中央通缉，并已通缉在案的这个人。”
告密者的意思，原来是提请蒋介石注意此事并加以处理，借此邀功。
可是，蒋介石听了，反而说：“这事很好。你知道教育部中，还有与他交好的老同事、老朋友没有？应该派这样的人，去找他，告诉他，我知道了这事，很高兴。我素来很敬仰他，还想和他会会面。只要他愿意去日本住一些时候，不但可以解除通缉令，职位也当然保留；而且如果有别的想法，也可以办到。”
许广平说：“后来教育部来了人，说了这事，鲁迅拒绝了。然而，还拖了几个月，想争取；到年底，就把这个特约编辑(特约撰述员)的职位裁撤了。”
这时的南京国民党政权已日益走向集权，越来越不容许有在国家中独立于其掌控之外的领域出现。这应该也是现代国家制度建立起来之后，一切集权政治的必然趋势。
“清党”之后的蔡元培渐渐与蒋介石疏远，力图在国民党内保持一种“超然”态度，然而，在非友即敌的政治氛围中，不可能允许真正的“超然”存在。蔡元培的态度加深了他与蒋介石国民党政权之间的罅隙。
1928年，南京的蒋氏政权初步巩固后，为把文教事业也完全掌握在其手中，一些政客开始排挤蔡元培。
陈果夫、丁惟汾等坚决要求废止大学院制度，他们的理由是：“大学院的机关，明明列在国民政府组织案中，当然在国民政府之下，和其他各部院同一性质，何以大学院门口所悬的招牌，不称国民政府大学院，大书特书而曰‘中华民国大学院’？是否表示教育独立，大学院和国民政府并列？”
面对国民党内政客的一系列争权夺利的政治手段，在1928年6月15日的大学院委员会会议上，蔡元培愤然要求辞去大学院院长职务。会后，他感慨地对胡适说，他从不晓得社会这样复杂；他应付不了这样复杂的社会，干不下去了。
蒋介石控制的南京国民党政权一方面废置大学院制，另一方面，于这年8月通过《北平大学区组织大纲》，以北平为中心设立北平大学区。
在取消大学院的提议和《北平大学组织大纲》通过后，8月17日，蔡元培公开宣布辞去他的国民党中央政.治.会.议委员、国民政.府委员、大学院院长、代理司法部长等职，专任中央研究院院长。
尽管远离了权力圈，但蔡元培仍然利用他在国民党内的声望和资本，为教育事业争取尽可能多的资源，努力争取教育经费独立、增加经费、提高老师待遇。
1929年6月，南京国民党政权作出取消所有大学区制的同时，又决定设立国立北平研究院，以削弱蔡元培以及他领导的中央研究院在国内的影响力。
同时，南京国民党政权还处处与中央研究院为难。1930年1月，在蒋介石亲自主持的国民党中央政.治.会.议上，勒令中央研究院在上海动工兴建的物理、化学、工程三个研究所的工程立即停止，于4月以前迁往南京。
不久，亲近蔡元培的蒋梦麟也被从教育部长的职位上逼走，由蒋介石以行政院长的名义兼任教育部长，由李书华为政务次长，后又提拔其为教育部长。这样一来，蔡元培的影响力日渐被完全排除到了南京国民政府教育部的领导体系之外。?