并不是所有的朝臣都会有得意的感觉。.

自从皇上赐假让谢灵运东归会稽养病以来——谢灵运原也没病，他就夜以继日地宴集宾朋游玩娱乐，借以排解心中的郁闷。他与宾朋以文章赏会，共为山泽之游，参与其中的就有他的“四友”：东海人何长瑜、颍川人荀雍、泰山人羊璇之和他的族弟谢惠连。他在东部种种出格的行为，又被御史中丞所奏，御史中丞认为他所作所为缺乏朝廷大臣的风范。刘义隆看着奏折，不得已，免了他的官职。免官后的谢灵运不但没有收敛，反而觉得无官一身轻，就在会稽一带恣意游玩。

因为继承了父祖所留传下来的十分丰厚的家业，谢灵运家中的奴仆佣工有数千人，门生故旧也有数百，于是他就在会稽开山挖湖，劳役不止。虽然谢惠连等人后来回京做官去了，但隐士王弘之以及追随他的何长瑜等人仍是他极合宜的游玩唱和的伙伴。谢灵运在他们的伴随下，常常带着数十百人爬山涉岭，把东部方圆数百里的奇山异水都一一游遍；他们所行走的路途又必定选择奇径险道，不论山回路转，层嶂千重，不能到达不肯罢休。

为了爬山，谢灵运还挥了他的聪明才智，继十年前在永嘉太守任上明了曲柄笠之后，他又明了一种便于爬山的木屐：在它的前后安装上齿儿，上山时取下它的前齿，下山时则取下它的后齿。这种被时人称作谢公屐的木屐，让人在上山下山时倍感轻松便捷。

游罢始宁（今浙江上虞），谢灵运又率领他的门生故旧十多人从始宁南山出直趋临海（辖今浙江临海、天台、丽水等县），使他的家中童仆数百人随后，遇到山路难行他就让数百童仆伐木开道。

他在山中如此兴师动众，不久就惊动了当地官府。临海太守王秀听属下禀报说山中有千百人砍山开道不知何为，极为惊恐，他那根**的神经让他马上想起二十多年前也是从东部起事的造反头目孙恩和卢循；他以为山贼临郡，急忙兵自卫。后来待细细打听，知道是贵人谢灵运，他才知道是虚惊一场。

待王秀见了谢灵运，谢灵运只稍作问候，并不行礼，并邀请他一道游玩——谢灵运虽是被免了官的朝廷大臣，但瘦死的骆驼比马大，他毕竟不是普通的吏民，所以也就不太把被吏民视作“府君”“邦君”的太守大人当作回事。那王秀也不太计较，天下何人不识谢康乐啊？但他既无游玩的雅兴，也无谢灵运这样的胆子，只能谢绝。

临别，谢灵运作诗赠王秀，其中写道：“邦君难地险，旅客易山行。”“邦君”指王秀，谢灵运以“旅客”自称。诗中的一“难”一“易”，尽写出他以游玩山水为乐不关俗务的得意之情。

从临海到会稽（治所在今浙江绍兴），谢灵运的山泽之游方兴未艾，但这时的会稽太守再不是他当年从永嘉回始宁时的那位太守了，那时的太守是他的本家叔父谢方明——谢惠连的父亲。如今的太守甚至也不是临海那位不和他计较的太守王秀了。现任会稽太守是一位精诚信佛的人，他的名字叫孟顗。

谢灵运也不管如今的府君是哪一位，依然遨游如故。在他看来，虽说自己只是一个白衣诗人，但毕竟曾是一位皇帝身边的三品大员，“瘦死的骆驼比马大”！即使不论这一点，单凭他陈郡谢氏百年来的丰功伟绩、名士风流，单凭他驰名天下的“谢康乐”几个字，他是无论如何——即使强打起精神来——也无法把孟某这样一个官阶五品的“俗吏”放在眼里的。已经知晓了孟顗虔诚信佛，这也不能改变了谢灵运对他的看法。

当年谢玄因子孙难得——儿子谢瑍生来就是个弱智，孙子谢灵运年幼时却聪明异常，谢玄当然不清楚还有隔代遗传一说，就曾感慨说：“我这样的人竟然只生了个这样的儿子，而这样的儿子竟然会生了个少见的天才！”因此就对他寄予厚望，于是送他到钱塘人杜明师处寄养，并为他取名叫“客儿”。

这杜明师是何许人也？杜明师，名昺，“明师”是他的道徒弟子为他所上的谥号。杜昺在晋宋之际甚至在整个南朝时期，都是一位家喻户晓且有相当影响的明星人物。相传他“通灵有道术”，因此晋时的一些政治、军事方面的重要人物，如贤相谢安谢太傅和车骑将军谢玄叔侄，以及大司马桓温、右军将军王羲之等人，每遇生老病死一类大事，就要问之于杜明师，甚至有关国家祸福、战争成败这样的大事，他们也卜之于杜明师。他们将杜明师奉若神明。

就连那个以讨伐王恭为名起兵，被司马道子诱杀的天师道领孙泰，也是杜昺的弟子——孙泰被杀，他的侄子孙恩逃到海上，后来率军进攻浙东