1930年，胡琏到11师当营长后，娶了上司曾伯熹的妹妹曾广瑜。后来，曾广瑜的堂妹也嫁给了胡琏，胡琏娶了一对姐妹花，在国军内部传为笑谈。
胡琏1930年到第十一师担任营长，那时候师参谋长曾伯熹对他很关注，没过多久就把自家妹妹曾广瑜介绍给他。曾广瑜来自江西大庾县城富裕人家，1932年两人结婚。
婚后生下四个孩子，三个儿子分别取名胡之光、胡之辉、胡之耀，一个女儿取名胡之冰。抗日战争全面爆发后，第十一师扩编为第十八军，胡琏带兵上前线作战，夫妻俩长期分开。
曾广瑜带着孩子留在江西老家，县城很快失守，她只能领着子女四处迁移，最后在会昌一带暂时安顿。那段日子物资短缺，物价不断上涨，她白天在地里干活，晚上织毛衣换些吃穿用度。
家里开销大，娘家也因为战乱衰落，曾伯熹在大后方负责弹药运输，长期劳累1939年得肺结核去世，家里没了外援。胡琏那时已经升到旅长，每个月把大部分薪水寄回或托人带去，可战时薪酬缩减，加上孩子正长身体，寄来的钱还是不够维持。
部下有次送钱过去，看到曾广瑜两鬓生白发，面容比实际年纪老很多，就建议胡琏再娶一房，既能有人陪伴，也能分担家务。曾广瑜听后同意了，还主动把堂妹曾广仙介绍给胡琏。
曾广仙年轻能干，胡琏不久就娶了她。这件事在国军将领圈子里传开，成为大家茶余饭后的谈资。
曾广仙嫁进来后，和姐姐相处融洽，没有闹过矛盾。两人分工明确，曾广仙有时跟着胡琏去前线照应生活，曾广瑜主要留在后方管家和照顾孩子。

她后来生下四个女儿，分别取名胡之玉、胡之玲、胡之洁、胡之清。胡琏对两个妻子一视同仁，外出写信时总把她们一起称呼，所有孩子也由两人共同抚养。
1943年石牌要塞保卫战中，胡琏率第十一师守住阵地，歼敌一千多人，为鄂西会战胜利提供保障，他因此获得青天白日勋章，之后升任第十八军副军长。到抗日战争结束前，他已经升到第十八军军长，当时才38岁。
家庭稳定让他在前线能专心打仗。1948年淮海战役双堆集作战结束后，胡琏率部突围成功，第二年带着两位妻子和八个孩子撤到台湾地区。
在台湾地区，他继续负责防务工作，重点守卫金门。1949年金门战役里，他指挥部队击退进攻，守住了阵地。
家里人在台北安顿下来，两位妻子继续相互扶持，孩子陆续长大，各有发展。胡琏1977年在台北去世，按照他的遗愿，骨灰海葬在大金门和小金门之间的水域。