韦执谊和凌准最悲惨，死于贬所。唐宪宗元和元年（806年）冬，凌准卒。柳宗元在悼念凌准的《哭连州凌员外司马》诗中回忆当时的情景说：“孝文留弓剑，中外方危疑。抗声促遗诏，定命由陈词。”
柳宗元、陈谏、韩晔稍好一点，熬到元和十年被召回京师，又安排到边远州做刺史，死于任上。
韩泰和刘禹锡熬过的年头更久，宪宗死后，终于获得量移或者升迁。
唯一幸运的是程异，他因为理财能力卓越，在盐铁使李巽举荐下很快回朝任职，元和末年官至宰相。
柳子在永州的职务全衔是“永州司马员外置同正员”。永州是中州，司马的官位六品上。“员外置”就是编制之外的人员，也就是个“闲员”，只领薪俸不干事也不管事的人。
与初贬邵州相比，邵州虽然是个下州，但刺史的官位正四品下，柳子由从六品上的礼部员外郎外放为远州刺史，官位升了一点，只能说是被斥出朝，还不是完全的流贬。而到永州为司马，官位不仅没有升，而且没有安排实职，就连一点干事的权力都被取消，这是扎扎实实的贬黜。
永州古为零陵。零陵是中国上古时代最早出现的三十四处古地名之一，得名源自舜帝。
汉武帝元鼎六年（前111年），置零陵郡，下辖七个县和四个县级侯国。隋文帝开皇九年（589年）对地方行政区域的设置进行调整，将原来的州、郡、县三级改为州、县两级，后又改为郡、县两级，以加强中央政权对地方的直接统治。在这一调整过程中，零陵郡因西南有“永山永水“，故改郡为永州，设总管府。从此，永州、零陵一地两名。
隋炀帝大业三年（607年），永州总管府复称零陵郡。当时的永州总管府所管辖的范围，与今日的永州市大体相当，另外还包括了今天的广西境内的全州、资源、灌阳的一部分。
唐代，零陵郡分为永州零陵郡和道州江华郡。唐代的历任皇帝从高祖到高宗、玄宗、肃宗，似乎都有变动行政区划和域名的嗜好，永州、零陵两地名就曾一度交替使用，但到肃宗的时候已经州郡并提，永州全称为永州零陵郡。这个时候的永州辖四县，零陵、祁阳、湘源、灌阳。道州辖五县，宏道、延唐、江华、永明、大历。
柳宗元被贬后所来到的永州，是一个开发较早、并有着丰厚文化底蕴的地方。在今日永州境内的道县玉蟾岩就有上万年以前人类启蒙阶段刀耕火种的农业文明最早的遗迹。
柳宗元来到的永州是南方湿热气候，与以往京城的生活环境当然迥异，何况还是戴罪之身的闲官身份，置于一隅形同流放，内心的苦闷更甚于外在的不适。
在永州期间，柳宗元的家庭发生了很大的变故。他的父亲柳镇早在长安故世。妻子杨氏也于婚后三年病故。因而，随同他一道前来永州的有年近七旬的老母，以及母亲的侄子、他的表弟卢遵，堂弟柳宗直。这两位青年人都就学于柳宗元，跟随其流贬于永州一直没有离去。
母亲卢氏深明大义，十分通达。丈夫柳镇过早地离她而去，两个女儿在长安分别嫁到崔家、裴家已先后亡故，她只能与独子相依为命，母子感情十分深挚。卢氏对柳子的事业非常理解与支持。柳子获罪遭贬，她态度十分豁达，极为体谅，并与儿子一道来到永州。
元和元年五月十五日，卢氏卒于永州零陵的龙兴寺。河东柳氏为世家大族，这样的官宦人家，丧事不可能随便处理，叶落归根，卢氏最终归葬京兆，与柳宗元的父亲柳镇葬在一处。
柳宗元左迁永州司马，还被剥夺了当时官员的一项重要权利：丁忧。
历朝历代以孝治国，官员父母过世，必定丁忧二十七个月，这期间除特殊情况之外，不得出任官职。丁忧可以视为官僚阶层的特权。
卢氏卒后，柳宗元既未按惯例丁忧三年，也没有扶灵柩回到京兆，而是将葬事委托给亲戚来办，因为他尚在“服罪”期间，没有资格丁忧，也不能因此离开贬所。
凌准贬官连州司马期间，母亲病逝，他同样未能回家送终，随后自己也郁郁而终。
柳宗元撰写的《先太夫人河东县太君归祔志》，呼号惨酷、极为自责，他自觉未能尽孝是一方面，感受到左迁这一责罚带来的严重后果，却无法宣之于口，无异于“名教罪人”，则是背后的又一层原因。
贬官期间不能丁忧、不能休、退以及请假，不能离开原地，说明这是一种变相的监禁，同时也有人格上的羞辱成分在内，只是比监禁自由度稍大，可以在贬所四处悠游。
司马员外置同正员这个特殊的职位，保留了一定的政治待遇，较之“除名”要轻一些，但相应地剥夺了人生自由权，等于一种变相的禁锢。
这种左迁官的处置方式大约始于玄宗时，一直延续到唐代后期，那些贬谪为州司马的，境遇大多如此。白居易“江州司马青衫湿”，所哭为何？名为贬官，实为监禁，换了谁都会泪洒青衫的。
真是造化弄人！柳宗元困居永州十年，留下了大量的文章诗作，无意间催生了一位唐宋八大家。
元和三年（808年），柳宗元模仿屈赋写了一篇《惩咎赋》，对自己平生做了一番反思。虽然名为“惩咎”，但其实是对自己从事的事业进行辩护，抒发自己的不平之气。
元和五年（810年），柳宗元被贬至永州已有五年之久。
柳宗元是个编制外的闲员，没有官舍。他在永州先后有两处居所。刚到永州时，他与母亲卢氏、从弟柳宗直、表弟卢遵，一同寄寓龙兴寺。此寺在永州面临潇水的太平门内的千秋岭下，是木制结构的建筑，很容易发生火灾。柳宗元“五年之间，四为大火所迫”。
元和四年，柳宗元在法华寺构西亭。但这不是真正意义上的寓所。法华寺在永州城内东山，又称高山。
元和五年，柳宗元在冉溪附近买了块地，在溪水东南筑屋居住。迁居到愚溪之后，柳宗元才暂且放下胸中块垒，真正移情于自然山水，垦植榴桔，栽种竹柳，过起永州平民百姓的农家生活。
他将冉溪改名为愚溪，将其东北小泉改为愚泉，溪附近的丘、泉、沟、池、堂、亭、岛等，都被命名为愚丘、愚泉、愚沟、愚池、愚堂、愚亭、愚岛。
他还作了《八愚诗》，纪于溪石上。只可惜，溪石上的诗词也和柳愚溪当年心中的愤懑不满一样，已经被光阴和流水冲刷的无影无踪，寄情于山水了，只剩下《愚溪诗序》了。
一天夜里，柳宗元刚睡下，有一个人就来到他的房间。