1959年，彭老总即将离开中南海，他给毛主席写了一封信，希望回家当农民。毛主席考虑到他年纪已经大了，不适合再干损耗体力的活儿，便没有批准。

由此，彭老总住进了吴家花园，可他当农民的决心没有改变，来到新居的第一件事，就让警卫员买来了锄头、铁锹、铁镐之类的农具。

第二天一大早，还没有睡醒的警卫就听到了屋外窸窸窣窣的声音，出门一看，就见彭老总正用力砍着一棵花树。

警卫员感到很可惜，彭老总却说：“我把这些花花草草都砍了，翻了地，种粮食。”

警卫员问：“真要当农民啦？”

彭老总拉长声音回答：“锄头一拿，有吃有穿！”接着朝着手心吐了口唾沫，继续卖力地干起活来。

不久，彭老总就开垦了一大片荒田，种上了各种各样的蔬菜瓜果，荒废的池塘让他养起了鱼，院子里也搭起了各种棚，里面养着各类家禽动物。

到了秋收季节，彭老总的“试验田”也得到了大丰收，他将所有打下来的粮食都分给了附近居民。

在吴家花园，彭老总的交友也发生了变化。在中央工作时，他接触的都是干部，清闲下来后反倒可以接触到真正农民。

由于彭老总的平易近人，附近百姓也非常喜欢到他住的地方串门，有段时间异常热闹。

在那个没有电视，只有报纸和收音机的年代，吴家花园附近的居民并不认识彭德怀，也不会想到他那位带领中国人民志愿军打败美军的将军。只是从彭老总门口的哨兵可以大体确定，里面住着一位干部，而且非常亲切。

直到有一天，一位老大爷在与彭老总闲聊时意外得知他姓彭，大惊道：“你难道就是彭德怀将军？”

彭老总道：“我姓彭没有错，可不是老总哟。”

不久，吴家花园住进去的干部就是彭老总的消息就迅速传了开来。大家纷纷想要去彭老总家看一看，可一段时间后却进不去了。

彭老总也在纳闷，为什么突然没人来串门了？一问才知是门口的哨兵不让百姓进入。

彭老总十分生气，大声批评道：“你们不让群众见我，我就写信给毛主席。我在这里受憋屈，我要回家当农民……”彭老总发了雷霆之怒，门口的哨兵意识到了错误，此后凡是眼熟的人都不会阻拦。

这样一来，彭老总的院子就热闹了起来，不管是老的少的，男的女的，都有事没事找老总。有的两口子吵架，请彭老总评理，有的孩子发烧，也让彭老总看病。老总不会看病，孩子母亲就说：“让好人摸摸脉，也没有坏处。”

吴家花园有时放电影，彭老总也会让群众一起看，还亲自为放映员和群众倒水。

1963年，北京一连下了好几天的暴雨，住在周围的百姓有的房子塌了，彭老总就将自己院中的房间收拾出来，让给百姓住。

彭老总没有孩子，侄儿侄女们也都在外工作，因此他从不拒绝附近孩子以及工作人员的孩子到家中玩耍。在战场上威风凛凛的将军，面对孩子也是一副慈爱形象。他会将好吃的东西都留下来，只要有孩子来，就会拿出来给他们吃。

附近居民有户姓潘的人家，用一块布包着书本上学。彭老总无意间看到了，就自己掏钱给孩子买了新书包，还买了钢笔、一条鲜艳的头巾。

彭老总平易近人、处处为百姓考虑、不忘农民本色的品质深得吴家花园附近居民以及工作人员的爱戴。

这段时光是彭老总一生中最清闲的日子，也是他与群众接触最近的时候。但这段日子太短，自1965年离开后，他就再也没能回去。