这样的国势，按理说正是有志之士发挥作用的时候。身为谏官的岑参与杜甫，替国家分忧解难，为皇帝查漏补缺、建言献策，也是职责所在。但是，谁听他们的呢？
岑、杜二人，既是同僚，又是诗友。针对时局，岑参写下《寄左省杜拾遗》诗给杜甫：
“联步趋丹陛，分曹限紫微。晓随天仗入，暮惹御香归。白发悲花落，青云羡鸟飞。圣朝无阙事，自觉谏书稀。”
这首诗，采用的是曲折隐晦的笔法，寓贬于褒，绵里藏针，表面颂扬，骨子里感慨身世遭际和倾诉对朝政的不满。用婉曲的反语来抒发内心忧愤，使人有寻思不尽之妙。
杜甫读了岑参诗后，心领神会，作《奉答岑参补阙见赠》奉答曰：
“窈窕清禁闼，罢朝归不同。君随丞相后，我往日华东。冉冉柳枝碧，娟娟花蕊红。故人得佳句，独赠白头翁。”
可见，杜甫是看出了岑诗中的“潜台词”的。
他们不是无事可谏，而是朝堂上没人愿意再看见真实人间。
文辞才气曾是岑参最骄傲的资本，如今只能用来歌功颂德，他深悔：“早知逢世乱，少小谩读书。悔不学弯弓，向东射狂胡。”
他心里却知道，自己回不去了，或许本不该回来。
在随老友写完和诗的第二年，由于岑参“频上封章，指述权佞”，经常仗义执言，在朝廷上公开指责佞臣权贵的不作为和贪赃枉法，得罪了不少同僚，而且他性情耿介，又不太注意说话方式，惹得皇帝不大高兴，被贬为虢州（今河南灵宝）长史。
因为被贬，岑参心情的失落是必然的。虢州任内，岑参的写景诗意境上清新可人，体物更为细致，写景技巧已经达到了得心应手的程度。内容上，一些写景诗透出岑参渴望隐逸山林和遁世逍遥的情绪，这实际上是一种吏隐思想——“仕”是主要情结，“隐”则是暂时的情绪。
“西原驿路挂城头，客散江亭雨未收。君去试看汾水上，白云犹似汉时秋？”
在这首《虢州后亭送李判官使赴晋绛得秋字》中，岑参感慨，经过安史之乱，开元盛世景象已然一去不返。当时的盛世多么生机勃勃！如今呢，国家如何才能走出困境？百姓该如何自保？
“错料一生事，蹉跎今白头。纵横皆失计，妻子也堪羞。明主虽然弃，丹心亦未休。愁来无去处，只上郡西楼。”这首《题虢州西楼》，则更加悲观了。
“关树晚苍苍，长安近夕阳。回风醒别酒，细雨湿行装。习战边尘黑，防秋塞草黄。知君市骏马，不是学燕王。”《虢州送天平何丞入京市马》五言律诗是送别之作，写的是一个比较特殊的题材：送同僚入京买马。前两联写景，巧妙把环境与送别自然联系起来，意境颇为别致；颔联转写此行意义，表明诗人心系边塞；尾联点明“市马”，并联想到“燕昭市骏”，隐含无人赏拔之义。
岑参在这一阶段所创作的写景诗，已经褪去了边塞写景诗中的雄浑激昂之气而与其早年的清丽风格对接，大多通过清丽山水抒写清新恬静的境界，同时也包含了岑参诸多的心酸和无奈。
如果说，岑参早年隐居嵩阳的写景诗是感性山水的快意直抒，在虢州的写景诗就是理性山水里的苦闷诉求。
之后，岑参在陕州做过掌书记，又回长安任祠礼员外郎、考功员外郎、虞部郎中。
代宗永泰元年（765年）十一月，岑参被贬为嘉州刺史。郎官为京官，嘉州在边远蜀地，嘉州刺史为外官，这就亏大了。
岑参与少尹成贲一同自长安前往成都。十二月，二人行至梁州（今陕西汉中市），因成都政局纷乱滞留。
两个月前，永泰元年十月，剑南西川兵马使崔旰占据成都，杀死节度使郭英乂，并自称节度留后。邛州衙将柏贞节、泸州衙将杨子琳、剑州衙将李昌巙则起兵讨伐崔旰，蜀地局势一片混乱。
大历元年（766年）二月，代宗命杜鸿渐兼任山南西道剑南东川等道副元帅、剑南西川节度使，赴西川平乱。杜鸿渐表岑参为职方郎中，兼殿中侍御使，岑参遂入其幕府。
初夏，岑参自梁州前往利州益昌（今四川广元市）与杜鸿渐会合，于四月到达利州益昌（今四川广元市）。从益昌继续进发时，杜鸿渐写了一首《发益昌》的诗，岑参作《奉和杜相公发益昌》：“相公临戎别帝京，拥麾持节远横行。朝登剑阁云随马，夜渡巴江雨洗兵。山花万朵迎征盖，川柳万条拂去旌。暂到蜀城应计日，须知明主待持衡。”
六月，他们入剑门关，七月抵达成都。到了成都，杜鸿渐畏惧崔旰兵势，不敢问罪，反而请求朝廷授崔旰为节度使。当时正好赶上吐蕃入侵，关中混乱。代宗无奈，只得授崔旰为西川行军司马，又授柏贞节、杨子琳为刺史，让他们罢兵归镇。
大历二年（767年），杜鸿渐请求入朝，并推荐崔旰为西川兵马留后。不久，代宗召杜鸿渐回京，又任命崔旰为成都尹、剑南西川节度使。杜鸿渐入朝后，被罢去山南副元帅之职，再次担任宰相，改授门下侍郎。
大历二年（767年）六月，岑参终于到嘉州。
寺出飞鸟外，青峰戴朱楼。
搏壁跻半空，喜得登上头。
殆知宇宙阔，下看三江流。
天晴见峨眉，如向波上浮。
迥旷烟景豁，阴森棕楠稠。
愿割区中缘，永从尘外游。
回风吹虎穴，片雨当龙湫。
僧房云蒙蒙，夏月寒飕飕。
回合俯近郭，寥落见行舟。
胜概无端倪，天宫可淹留。
一官讵足道，欲去令人愁。
这首《登嘉州凌云寺作》，开头两句“寺出飞鸟外，青峰戴朱楼”，描写凌云寺高耸之貌，借飞鸟青峰映衬，突出了凌云寺的高峻壮丽。
岑参已届暮年，虽然历经坎坷但壮志未酬，歌行雄健之风依稀可见。但总体上，岑参的情绪已经显得有些消沉、悲观，写作手法上也与先前不同，不是一气写景，高调抒情，而是边咏边叹，一咏三叹，错综起伏。
《上嘉州青衣山中峰题惠净上人幽居寄兵部》有云：“青衣谁开凿，独在水中央。浮舟一跻攀，侧径缘穹苍。”“君子满天朝，老夫忆沧浪。况值庐山远，抽簪归法王。”
在嘉州，岑参本以为终于可以一展抱负，却发现就是做一些催粮催租的工作，根本无法实现报国理想。因此，岑参在任内所创作的大量写景诗，已经没有赏心悦目的快感，只有年华老去的哀叹和挂冠东去的期待。
此时，杜甫在云安（今重庆云阳）养病，意外得知岑参出任嘉州刺史，写下《寄岑嘉州》诗寄之。诗的前两句是“不见故人十年余，不道故人无素书”。可见，两个人离京去朝后，多年失去联系。岑参得到杜甫寄诗之后，两人又恢复了书信来往。岑参还经常把自己的新诗寄给已经寓居在夔州（今重庆奉节）的杜甫。
次年（768年）七月，岑参因被罢官而自嘉州东归长安，此时他回家的心更加迫切，想回去和家人团聚。他打算先乘舟东下，沿杜甫走过的路线，经戎州、渝州等地直出夔门。他想去找杜甫，与这位故友重叙友情。可惜当时杜甫已不在夔门，早岑参几个月已出峡。两位友人没能在四川境内见面。
这次不见面，以后也就没有机会了。岑参长叹一声，乘舟顺江而下，一路万里迢迢，关山险阻。