五代以来，政府的教育和藏书机构主要是“三馆”，即“昭文馆”、“集贤院”、“史馆”，位置在皇宫右长庆门东北角，当时只有几十间小屋，而且简陋不堪。三馆的名称很高端光鲜，可外表确实上不得台面。赵匡胤上位，方方面面事情太多，一时也来不及打理。
赵光义即位后第二年，亲自到“三馆”视察，看到这番寒酸景象，连连摇头，对近臣道：“这哪里是贮藏天下图书的场所，能够对得起国家贤良俊士吗？”
赵光义唏嘘一番后，当即下诏为“三馆”挑选新的馆址，命亲信宦官督促工匠，日夜监造，“三馆”的殿阁，都是赵光义亲自规划审视的，其雄伟壮观程度，可以和皇宫的主要殿堂媲美。
皇帝亲自出面，事情就好办多了，工程建造速度很快！一年后即公元978年，工程竣工，赵光义又御赐名为“崇文馆”，“崇文”两字，充分体现了赵光义对文化教育的重视程度。
崇文院落成后，赵光义将“三馆”的图书全部搬移至此，并分门别类地整理收藏。
此外，赵光义还十分注意搜求民间图书，多次下诏收购海内孤本、善本。并规定了对献书者的奖励办法。赵光义道：“教化的根本，治乱的源头，都在书籍之中，如果没有书籍传承，后世怎么取法学习？”
即位不久，赵光义又命饱学之士主持修编了几部大书，即前文提到过的《太平广记》、《太平御览》、《文苑英华》。这三部大书的编纂，使中国古代许多典籍得以保存，为后人研究中国古代历史、文化、文学提供了宝贵的资料。赵光义应该说功不可没！
公元988年五月，赵光义又在崇文院中堂建阁，称为秘阁。选“昭文馆”、“集贤院”、“史馆”等三馆善本图书及书画入藏，藏书最为完备。后又将所收两浙、江南的藏书移至其中。
公元990年赵光义决定扩建秘阁，于公元992年建成，赵光义御题匾额“秘阁”，设直秘阁、秘阁校理等官管理秘阁事务。礼部侍郎李至兼任秘书监。
赵光义对李至道：“人君应该淡然无欲望，不能有特别的嗜好，这样奸佞之臣就不能乘虚而入。朕没有其他爱好，唯独喜欢读书，从书中看古今成败得失，好的就学习，不对的地方就改正，如此而已！”
赵光义喜欢读书是事实，但他冠冕堂皇，说自己没有其他爱好，恐怕未必，比如，前文说过，他对围棋就十分感兴趣，据洪迈的《容斋随笔》记载，赵光义还苦心孤诣的设置了多局着名的围棋局势，可见他在围棋方面是下了一番苦的。
经过多年努力，到赵光义晚年，崇文院和秘阁的藏书可以说是相当丰富了。他曾自负的对近臣说道：“朕即位以来，多方收拾，遍求购取，现已藏书数万卷，千古治乱之道，尽在朕掌中了！”
赵光义不仅喜读书，会下棋，而且能作诗，懂音律，擅书法，还能亲自制作琴，可以说是多才多艺。
赵光义的书法本来有根底，后来经过名家指点，勤加练习，所以功力造诣很深。他能书写各种字体，尤其善于“飞白”。赵普、苏易简、李昉、李至等大臣，都得到过赵光义的亲笔御赐。
如果皇帝醉心于诗词歌赋、书法围棋中，和南唐李煜、及后来的宋徽宗赵佶就没有区别了。难能可贵地是，赵光义能清醒地认识到，书法、音律、作诗等等，只是帝王的一项“副业”，他对大臣道：“这不是帝王的事体，然而总比纵情声色要强百倍！”
赵光义更为可取的是，能从书中历史汲取经验教训。他经常说：“朕每次退朝，总是忘不了读书，想参酌前世成败得失，用以补益！”
他还对大臣说：“朕历览古籍，发现君臣之间，情通则道合！朕励精图治，你们作为朕的股肱大臣，应该知无不言，有事不要隐匿！”
所以说，赵光义的高明之处在于，不把文化作为追求的终极目标，而是将它作为进行统治的工具。
赵光义即位后，没有忘乎所以，沉迷酒色，纵情娱乐。而是努力治边，尽管效果不尽人意，但他更致力创建典章制度，重视文化教育，为大宋的政权稳固，可以说做出了很大贡献！
佐料：赵光义不喜欢游猎、不沉浸后宫，应该是事实。
但是元朝有文人却在赵光义脑袋上扣了个屎盆子，给他安了个荒淫好色的帽子。
元朝以后，流传一幅画，名叫《熙陵幸小周后图》，这是一帧少儿不宜的春宫图，内容是赵光义非礼后唐李煜的皇后小周后，而且煞有介事地介绍，这副画是赵光义命人现场的写生图！本来，皇帝好色，天经地义，没有违和感！但现场作画记录自己的壮举，就很有穿越感了！
然而，赵光义真不可能是画面上所描绘的那么污秽。
首先，宋人笔记喜欢用陵墓名称代指皇帝，比如“熙陵”是指宋太宗赵光义，“思陵”是指宋高宗赵构，等等。而宋朝皇帝陵寝的名字是继位者定的，因此可以断定，如果这幅画真的是赵光义命人画的，定然不会提前出现“熙陵”这个名字。
其次，宋朝文人最喜欢写笔记，记载历朝历代的奇闻异事，如果这件事是真的，宋人的笔记里会有体现，但事实上，宋人笔记没有记载，正史里更看不到！
第三，赵光义的体貌和画面不符，赵光义仪表不俗，正史野史都有具体描述，不可能是画面里所看到“面黑而且体肥”的龌龊外表。
第四，宋太宗是个极其爱面子的皇帝，一直想要和哥哥宋太祖赵匡胤比肩。假设他色迷心窍，霸占了小周后，也断不会愚蠢得让人画下来，给自己污名留历史把柄！
总之，这件事，赵光义很冤！