后来会议上就开始批判彭老总了，说他是右倾机会主义，反党小集团。因为黄克诚同志（当时担任中央书记处书记、解放军总参谋长）、张闻天同志（当时担任中央政治局候补委员、外交部常务副部长）、周小舟同志（当时担任中共湖南省委第一书记）支持彭总的意见，所以他们也在被批判之列，说他们是反党集团的成员。张闻天等同志曾来找少奇同志，说：这些情况我们上山后都给毛主席谈过，毛主席还称赞我们谈得好，现在怎么又批我们呢？少奇不知说什么好，只说：“你们好好听一听大家的意见吧！”

　　少奇同志一直惦记着原来的那个文件。他又找乔木，说，他提议，把反右倾的文件只发到省一级，不要向下传达，同时搞一个继续纠正“左”的错误的文件，发到县以下单位。少奇要乔木向毛主席转达他的提议。但会上批判彭总的火药味已经越来越浓了，乔木没敢向毛主席转达少奇的提议。后来在1962年的七千人大会上，少奇同志在总结经验时说到：如果当时上面反右，下面仍反“左”，情况要好多了。毛主席听说这事后批评胡乔木同志：“党的副主席叫你写完，你就该写嘛，不写是不对的。”

　
　　毛主席邀我去游泳

　　大概是7月二十几号，毛主席的卫士给刘振德秘书打来电话，说毛主席邀请我到芦林水库游泳。我赶紧找出游泳衣。临出门前我觉得有点冷，又找了双丝袜穿上。少奇看我一眼，说：“噢，还穿丝袜！”芦林水库离毛主席住的“美庐”很近。毛主席经常来这里游泳，有时就邀请一些别的同志和他一起游，随便聊一聊。听说上一天王任重同志就应邀来这里同主席一起游泳。我到芦林水库的时候，毛主席和一些同志正在游泳。我和主席打了个招呼，就下去游了。后来休息的时候，主席关切地问我：“少奇同志身体怎么样？”我告诉他：“少奇同志犯了肩周炎，还没有好。最近因为工作繁忙，他感到很疲劳，所以到了这里也没有参加什么活动。”毛主席认真地说：“请你转告少奇同志，不要搞得那么紧张嘛！开完会后让他找个地方休息休息。”

　　少奇同志这一段确实很紧张。毛主席批了彭总的信以后，少奇显得心情沉重，整天关在办公室里不出来，不是看材料就是想问题，什么娱乐活动也不参加，每天要吃很多安眠药才能入睡。有一天凌晨，少奇吃了安眠药之后，又看了一会儿文件，站起来上厕所，突然“啪”一声摔倒在地上，而且他自己没有反应。我吃了一惊，赶紧打电话叫工作人员过来。大家七手八脚把少奇抬到床上。医生迅速为他号脉，量血压，没发现不正常，大家才松了一口气。少奇还是迷迷糊糊地睡着了。医生估计他是吃多了安眠药。下午少奇起床，我告诉他当时的情形，他笑了笑说：“我不知道。”

　　林彪7月29日也上了庐山。他一发言就把调子上得很高，说彭德怀同志是“野心家、阴谋家、伪君子”。毛主席又提议，要原来留在北京的一些中央和军队的干部上庐山，召开八届八中全会，通过决议。这期间毛主席又几次约我去游泳。有一天，毛主席的秘书徐业夫同志来电话通知我去游泳，正好我去看含鄱口了，徐业夫还坐了汽车来找我。后来江青也上了庐山。她是从广州过来的，还带了几个帮助她摄影的摄影师。她上山后，整天忙着选景拍照。有一天，毛主席通知我和孩子们去芦林水库游泳。我们到了那里，见到江青，还有江西省委书记杨尚奎同志的夫人水静、安徽省委书记曾希圣同志的夫人余叔也来了。大家说说笑笑，江青还为我们照了张合影。不一会儿，不知什么人打来电话，告诉江青说天上的云彩过来了，请她快去摄影。原来她已经在庐山仙人洞选好了景，派人在那里等着。她立即撂下我们走了。