1965年，彭德怀一边抽烟，一边固执地对毛泽东说道：“我还是回乡当我的农民好，你那个官我干不了！

1965年秋天，北京西郊吴家花园，彭德怀已在院子里开垦了几年菜地，自从1959年庐山会议后，他搬出中南海，种菜看书，度过了六年闲居时光。
 
9月中旬的一天，中央办公厅来人将他请到人民大会堂，北京市委第一书记彭真告诉他：“毛主席让你到成都抓西南大三线建设。”彭德怀摇头拒绝：“我早与军队脱离了关系，也不懂工业，怎么能去？”他提笔给毛泽东写信，说要去当一辈子农民。
 
9月23日清晨，毛泽东秘书打来电话：“主席让你马上过来。”八点一刻，彭德怀驱车赶到中南海颐年堂。
 
毛泽东已站在门口等候，远远伸出手来，目光扫过他黑瘦的面容，带着一丝伤感说：“几年不见，你显老了。”彭德怀勉强笑了笑：“我是无事不登三宝殿。”毛泽东笑了，说头天下午接到他的信，高兴得睡不着。
 
两人沿着庭院散步，彭德怀一支接一支地抽烟，眉头紧锁，毛泽东把中央要他去大三线任副总指挥的决定又说了一遍，说西南投资最多，让他去最合适，将来还可以带兵打仗以便恢复名誉，彭德怀仍固执地摇头：“搞工业是外行，完全无知。”
 
刘少奇、邓小平和彭真也来了，几个人反复劝说，彭德怀还是那句老话，说自己想去边疆搞农业，他沉默良久，缓缓开口：“我还是回乡当我的农民好，你那个官我干不了！”
 
气氛凝滞，毛泽东环顾众人，端起茶杯掷地有声：“彭德怀同志去西南区，这是党的政策，如有人不同意，要他同我来谈，我过去反对他是积极的，现在支持他也是衷心诚意的。”他顿了顿，“也许真理在你那边，你的问题让历史作结论吧。”
 
院子里安静了，彭德怀又点燃一支烟，不再出声，毛泽东一桩桩谈起红军往事：立三路线时过赣江，全军就只有他一口咬定要过，解放战争在西北领着那么点兵把胡宗南打败了……“在我的选集上还保存着你的名字，为什么一个人犯了错误，一定就要否定一切呢？”
 
这次谈话前后整整五个半小时，事后，曾任彭德怀秘书的王焰从彭的言谈中得知，他不愿出山不完全是在赌气，而是他自知不善官场人事——彭德怀曾说：“叫我当副总理兼国防部长我都犯愁，别说不能带兵，还得管一堆杂事，反而觉得当个普通百姓，心里舒坦。”
 
最终，1965年11月28日，彭德怀离开北京南下成都，出任西南三线建设委员会副总指挥，但他心底最想干的事始终只有一个——回乡种地去，这个念头缠绕着他的后半辈子，即使再次走进大山抓建设，那个田园梦依然挂在心头。