到了7月14日，彭德怀同志给毛主席写了封信，对“大跃进”以来的工作提出了自己的意见，有些话在当时看来是讲得比较尖锐的。7月16日，毛主席把彭总的信加了个标题：彭德怀同志的意见书”，在会议上印发。
会议开始转入讨论彭总的信。在讨论会上，刘少奇同志没有对彭总的信直接发表意见。他提出“成绩讲够，缺点讲透”。这个意见得到大多数人的赞同。
7月23日早晨，会务组突然通知，上午召开全体大会，毛主席讲话。原来会议没有这个安排，所以少奇头一天很晚才吃了安眠药入睡。我一听是主席召集的会议，赶紧把他叫醒。由于安眠药还在起作用，他迷迷糊糊的就走了。我让警卫员扶着他下山，进会场。
少奇开完会回来，我就感到气氛不对了。秘书吴振英同志是跟少奇同志一起去开会的。他一回来就紧张地说：“毛主席发火啦！主席在会上对彭老总的信进行了严厉的批评。我们议论了半天，竟然一点也没看出来。”我也没想到突然起这么大的变化。我的感觉，彭总的信中用了一个“小资产阶级狂热性”，这个话把毛主席惹恼了。
后来会议上就开始批判彭老总了，说他是右倾机会主义，反党小集团。
张闻天等同志曾来找少奇同志，说：这些情况我们上山后都给毛主席谈过，毛主席还称赞我们谈得好，现在怎么又批我们呢？少奇不知说什么好，只说：“你们好好听一听大家的意见吧！”
期间有一天的下午，大概是七月二十几号，毛主席的卫士给我们办公室的刘振德秘书打来电话，说毛主席邀请我到芦林水库游泳。我感到意外：毛主席怎么突然约我游泳？又一想，主席可能有别的事，就赶紧找出游泳衣。临出门前我觉得有点冷，又找了双丝袜穿上。少奇看我一眼，说：“噢，还穿丝袜！”
芦林水库离毛主席住的“美庐”很近。庐山会议期间毛主席经常来这里游泳，有时就邀请一些别的同志和他一起游，随便聊一聊。听说上一天王任重同志就应邀来这里同主席一起游泳。
我到芦林水库的时候，毛主席和一些同志正在游泳。我和主席打了个招呼，就下去游了。我问主席：“看我游得怎么样？”主席说：“你游得及格。”后来休息的时候，主席又关切地问我：“少奇同志身体怎么样？”我告诉他：“少奇同志犯了肩周炎，还没有好。最近因为工作繁忙，他感到很疲劳，所以到了这里也没有参加什么活动。”毛主席听完后，认真地说：“请你转告少奇同志，不要搞得那么紧张嘛！开完会后让他找个地方休息休息。”
少奇同志这一段确实很紧张。毛主席批了彭总的信以后，少奇显得心情沉重，整天关在办公室里不出来，不是看材料就是想问题，什么娱乐活动也不参加，每天要吃很多安眠药才能入睡。有一天凌晨，少奇吃了安眠药之后，又看了一会儿文件，站起来上厕所，突然“啪”一声摔倒在地上，而且他自己没有反应，不知道爬起来。我吃了一惊，赶紧打电话叫工作人员过来。大家七手八脚把少奇抬到床上。医生迅速为他号脉，量血压，没发现不正常，大家才松了一口气。少奇还是迷迷糊糊地睡着。医生估计他是吃多了安眠药。下午少奇起床，我告诉他当时的情形，他笑了笑说：“我不知道。”
会议的气氛是越来越紧张了。林彪7月29日也上了庐山。他一发言就把调子上得很高，说彭德怀同志是“野心家、阴谋家、伪君子”。毛主席又提议，要原来留在北京的一些中央和军队的干部上庐山，召开八届八中全会，通过决议。
这期间毛主席又几次约我去游泳。有一天毛主席的秘书徐业夫同志来电话通知我去游泳，正好我去看含鄱口了，不在住地，徐业夫同志还坐了汽车来找我。
后来江青也上了庐山。她是从广州过来的，还带了几个帮助她摄影的摄影师。她上山后，整天忙着选景拍照。有一天，毛主席通知我和孩子们去芦林水库游泳。我们到了那里，见到江青，还有江西省委书记杨尚奎同志的夫人水静、安徽省委书记曾希圣同志的夫人余叔也来了。大家说说笑笑，江青还为我们照了张合影。不一会儿，不知什么人打来电话，告诉江青说天上的云彩过来了，请她快去摄影。原来她已经在庐山仙人洞选好了景，派人在那里等着，云彩一来就去照。江青立即撂下我们走了。于是我们就下水库游泳。毛主席也游了。游完泳上来已经是晌午，主席留我们吃饭。饭摆好了，江青还没有回来，催了两次，仍不见踪影。大家说：“请毛主席先用餐，好早点休息，我们等江青同志来了再吃。”毛主席说：“咱们一起吃吧！”大家刚坐好，江青回来了。她一见这场面很不高兴，立即沉下脸来，生气地说：“文章是自己的好，老婆是人家的好。”主席哈哈一笑，不好说什么。我没想到，江青当着这么多人还有孩子们的面，说出这样的话，很是意外，只好装没听见，忙给她让座，问她摄影的情形，才使她平静下来。后来，毛主席为江青那天拍的庐山仙人洞照片题了“暮色苍茫看劲松”的诗。
