壮悔堂对过，就是南园，也叫侯府，又叫退思堂。是侯方域的父亲侯恂的故居。
候恂(1590-1959)官至明崇祯朝户部尚书，1644年李自成攻破北京，谢绝任官，回归德老家隐居。为反思一生的是非，将隐居住的侯府取名"退恩堂"。
院落的结构与壮悔堂大致差不多，就是小了点。门柱对联："整顿乾坤将相，归休林壑渔樵"意为整顿天下的文武大吏，让那些贪庸者到林壑中去打漁砍柴。似乎让人感到此府的主人，明代的相国并非凌驾天下的圣尊，是为人民服务的老百姓的代言人。
退思堂前也有联："审时度势立志高思，谢客闲庭权且隐退"。意为不在其位，不谋其政。
退思堂为左右中三间房屋，中为会客厅，右侧为卧室，右为书房。书楼上为子女的居室。正院西侧有几间房子均没有开放锁着房门。院内种满石榴树，繁芪而墨绿树叶间，点缀着黄里透红的石榴，十分可爱。这就是当朝分管分管全国土地，赋税，财政，户籍，军需，俸禄，粮饷的—品大臣的家当，住宅，让我大有感慨……
此时，让我思而又思，不论退而思之，还是思而退之，其实人生所要的不过是种心态。不管人生干什么工作，还是富贵，还是贫赋，有一种良好心态，至少可以从容面对人生。退而思之，荣辱随敝履，生死同飘萍，从此可心游万仞；思而退之，泉石解吾意，琴书亦知己，自然能身许一山。退思致格。宠辱不惊，闲看庭前花开花落，去留无意，随天外云卷云舒……。
人生如同一段旅程，你舍弃一片浮云，得到的将是整个蓝天！……