慈禧太后与光绪皇帝由西安回銮后，赛金花原想大家可能还会为她表一表功的；可那班王公、大臣都只顾争相为自己表功献媚，根本就忘记了她的存在。即使有一两个人记得，又怎么肯把议和这天大的功劳分享给一个青楼女子？
赛金花知道，自己已难容于“清议”，于是改名为傅玉莲，在陕西巷内重起炉灶，干那妓女的营生。便又有那当权的大臣，如洪钧的同窗好友孙家鼐、洪钧的儿女亲家陆润祥等，容不得她在京城里出丑，丢人现眼。公元1903年，为了替死去的洪钧老状元遮丑，他们借着赛金花的“金花班”旗下一个叫凤玲的姑娘服食鸦片自杀，解散了“金花班”，把赛金花赶出北京城，勒令她返回原藉苏州。
名花晚景亦冷清
人老色衰的赛金花，已被当作肮脏无用的东西抛弃掉。她在离开京城的时候，想起过去那些求她的人，现在谁也不看她、谁也不想她，她的眼泪就在眼圈里闪烁；接着，两颗豆大的泪珠夺眶而出，慢慢地顺着面颊滚下来；泪珠源源不断地涌出，而且越流越快。
赛金花坐在离京的车子上，在车轮单调的吱呀声中，眼睛直勾勾的。她但愿别人都不要看她。她想到人们看她时那鄙夷的神情，就把腰板挺了挺，坐得更直了一些。在清朝皇宫的一片庆功声中，而坐着马车萧瑟离开的赛金花，终于在背人处哭出了声来。
回到苏州，赛金花带着一颗被创伤的心，忆及旧日的繁华，恍如一场春梦。她原是一个不甘寂寞的女子，三十初度，风韵犹佳，哪里就肯这样终老苏州？于是再度来到上海寻求发展，却已难比昔日的风光。挂起“京师赛寓”的牌子，已是自贬身价，由当日的“书寓”降到了“长三”的等级。就这样不死不活地拖了2年后，她终于进入了第二度婚姻。
这次结婚的对象名叫曹瑞忠，是沪宁铁路的总稽查，为人忠厚、实在。这次赛金花是下定了决心由绚烂走向平静，做一个安安稳稳的家庭主妇。她送给与她患难相处了十几年的旧日相好孙作舟，孙三爷的临别礼物就是证明。这件礼物是一把精致的象牙骨摺扇，上面画着一株垂柳，题着一首诗。诗是这样写的：
昔日章台舞细腰，任君攀折嫩枝条。
从今写入丹青里，不许东风再动摇。
可是，第二次婚姻并没有给赛金花带来平静和幸福。其间，数度的亲人亡故，使她陷入悲痛之中。1911年辛亥革命成功，满清朝廷被推翻，她的丈夫曹瑞忠也因急性肠炎离开人世。她再度过着漂泊的生活。
此时的赛金花，已年近四十，就像一杯陈年老酒，虽然饱经沧桑，却散发出醉人的醇香。一位早先认识的恩客、当时正担任民国政府参议员的魏斯灵，适时对她伸出援手，把她带到北京，同居在前门外的樱桃斜街。到民国六年（1917）的夏天，赛金花改用赵灵飞的闺名，随着魏斯灵回到上海举行了隆重的新式婚礼，算是开始了几年平静、幸福的夫妻生活。