1964年，我们的大女儿出生了。女儿出生第二天，我便又要离开家去湖北搞“四清”运动了，虽家中缺人照顾，但谁也不敢违抗上级的指示，我对家中的事只字未提，随后坐火车去了湖北。由于在孩子出生后，我没能照顾妻子和女儿，致使妻子后来落下了许多毛病。1965年，我从湖北回到北京家中，待不了多久，又出去了，根本没法照顾这个家。1966年6月26日，我们的第二个孩子出生了，那时“文革”已经开始。于此，我感到很对不起妻子。再者，嫁给我后，她的生活起了许多变化。在这之前，她一直没遭受过什么磨难。她出身好，虽然家中并不富裕，但在她小的时候，哥哥、嫂嫂已经做工了，在经济上能帮家里一些，所以，与我相比较，她的生活还算是不错的。嫁给我后，她受到了多方面的压抑，在外受他人的歧视，入不了党、提不了干，运动来了后还因我受到冲击。所以，现在回想起来，我对她有着深深的感激之情。
做“四清”工作时，我是以工作队队员的身份去的（等于是中央派去的），虽然以前有过“历史问题”，大家还是比较尊重我的。第一期去湖北荆州天门县陈湖大队时，因当时人们思想过左，将地方干部的问题看得太严重，使得许多干部受到了过重的压力。清查的第一个项目是贪污，在此问题上，我们发现真正贪污的干部很少，就我所在的大队来讲，我们并没有清查出贪污犯来。第二个清查项目是多吃多占，困难时期，生产队干部或是大队干部私占公家的粮食，晚上偷偷摸摸自己弄点吃的，这便是“多吃多占”。这是普遍存在的问题，几乎每个干部都有过。第三个清查项目，按北方方言说，是处理“乱搞男女关系”问题，湖北则称“打皮绊”。
按照工作队的要求，我们须“扎根串连”、“访贫问苦”，依靠贫下中农，住在贫下中农家里，吃饭也是在老乡家吃派饭，不许吃鱼、肉、蛋，只能吃素。平常开会则是在野外开，非常谨慎。
在湖北，我待了半年多的时间，当时我已摘去了“右派”的帽子，“回到人民内部”了，又是工作队的成员，所以没有受到歧视、打击。后来回想起来，这是我受批判的二十来年中最好的时期。
“四清”工作第二期（1965年9月至1966年6月），我们到了北京南郊的小红门公社肖村大队，我在工作组中担任副组长，管理生产工作。
“文革”开始惨受冲击
“四清”运动时，我没有太大的精神压力，可“文革”一来，我立马卷入其中。“摘帽右派”实际上还是右派，所以，等红卫兵一来，我们这些人又变成了“牛鬼蛇神”。红卫兵常常拉着一串“牛鬼蛇神”走在街上，每个人背后贴一张纸，写明“右派”等罪名，队伍后面还有人拿着鞭子在抽。
“文革”开始后，北大分成了两大派别，两派各有串联会。有一次，我去旁听反对派的串联会，有红卫兵说：“左言东是右派分子。”结果，我被赶了出来，当时我觉得很受屈辱。
“文革”期间，最可怕的是1968年。那时，学校不同派系间搞武斗，搞得很凶。学校停课后，大概在这年的四五月份，我回到了江苏老家。有一天，我在淮阴的姑母家中收到了家人找人送来的信，那信是“系文革”（当时学校已没有行政组织）寄来的，让我赶紧回校，于是，我从姑母家回到了北京。回到学校当天，“系文革”正在开会，我向他们打了个招呼，随后，几个红卫兵将我带到一个屋子里面，用钢管猛打我，头也被打了，场面十分恐怖。我这才明白过来，原来“系文革”叫我回来就是这事儿，起先我还以为是系里工作上的事，想到这，我有些后悔，要是留在家里就好了，但转念一想，即使知道自己要挨打，也不敢不回来，因为那时的我慑于“无产阶级专政”的威严，老实而且胆小。
打了一顿后，我回到了学校宿舍，这时我才发现自己的房间被抄了，书一本都未留，被子之类的行李也全都被拿走了，房间内空荡荡的，已没法睡觉。我说得回家一趟，拿点生活用品，“系文革”勉强同意了，让我第二天回一趟家。此后，我和另外一个“摘帽右派”在系院扫了整整一年的厕所，平时不让回家，只有星期六可以回去一趟。
参加“五七干校”
为了贯彻毛泽东的“五七指示”，创办了“五七干校”，将党政机关干部、科技人员和大专院校教师等下放到农村进行劳动。1969年九十月份，我们得到了去“五七干校”的命令，在毫无准备的情况下，立刻出发去了江西南昌郊区靠近鄱阳湖的鲤鱼洲劳动。鲤鱼洲离南昌约有90里路，那里人烟稀少，景象荒芜，我们到了后才开始临时围田，盖房子。
在那里，垦荒、插秧、种菜、做饭，各种活都得干。好在伙食还不错，基本上吃大米，有时也吃面，吃饱是没有问题的。江西多雨，初到那时，几乎天天下雨，下雨天气也要按时到地里劳动，衣服湿了后没得换，回来后将水拧干，第二天继续穿。在江西劳动，给我最大的体会是那里夏天炎热，三十八九摄氏度的高温下，我们还得下地干活，身上汗如雨注。经历过那样的生活后，现在我对北京的夏天一点都不发怵。
江西空气潮湿，易引发一些疾病，而最可怕的则是血吸虫。我们在插秧时没有保护措施，很多人都怕感染上血吸虫病，好在患病的不多，我也没得病。在江西的那段时间，劳动强度非常大，白天劳累一天已经很疲惫了，晚上还得值班，有时走着走着便睡着了。
劳动虽辛苦，好在那时允许探亲。1970年，我和妻子商量回一趟江苏老家。那时我的两个孩子一个6岁，一个4岁，妻子带着她们从北京出发，我则从南昌出发，我们约好在徐州火车站碰面。在人海中找寻对方是很不容易的，幸运的是，我们竟然“心有灵犀”地顺利相见了。当时女儿们都不认识我了，因为我穿的衣服又旧又破。妻子对孩子们说：“这是你爸。”她们摇头说：“不是不是，那不是爸爸，那是要饭的叫花子。”由此可见，她们对我已经生疏了。这也难怪，从小我就没在她们身边，因为各项运动，我根本没时间陪孩子。对此，我只有无奈和歉疚。
回到老家，邻里朋友们都很热情，每天中午都有人来请吃饭，除了早晚饭，几乎都没有在家吃饭的时候。我的两个女儿非常喜欢老乡家中的白薯干，每次都吃好多。老家院子里种着萝卜，4岁的小女儿不认识，拔起来就吃，想起这个场景，我至今还觉得很可爱。
家人和乡亲们对于我在政治上的遭遇不了解，所以既没有对我另眼相看的，也没有为我打抱不平的。在老家的这些日子，对我来说是一种难得的浮生清闲和人性回归。我的父母见到我和我的孩子后，也非常高兴，他们也尽情享受了一段天伦之乐。
在老家住了半个多月后，我回到了南昌，妻子则带着孩子回北京去了。我在江西整整待了两年，其间陆陆续续地有一些人回校了，我则是最后一批走的。
回到北大中文系
1971年11月，我回到北大。但并不意味着我们被“解放”了。回到学校后，我被指派去烧锅炉。北大校园冬天烧锅炉的工作原先都是请外面的工人做的，如今，让我们这些人代替，主要工作是夜里给锅炉添煤加火。那段时间，我们白天睡觉，晚上上夜班，从这年冬天到翌年开春，我们烧了整整一冬的锅炉。