荀氏被休，回到荀家都不一定会进得了门，白之言不放心。
他知道已经没办法改变事实了，只能尽自己最大的努力照顾好荀氏，他生怕荀氏想不开。
因此他同白雍白铭说过之后，便打算亲自送她回灵州，回到荀府。
后来他让人传回信来，说荀知府果然不肯让荀氏进门。
荀氏被休，作为亲家，白雍自然是要去信告知他事情的缘由的，免得多生麻烦。
荀知府因此对荀氏非常不满，荀氏被休，连累的不止是她儿子，还有荀家的女儿和荀知府。
荀家没人欢迎她，荀知府更是怒火中烧，非常恼恨，扬言以后荀家没有这样的女儿。虽说不至于让她自尽以证名声，但也要求荀氏出家做姑子去。
因为这事，白之言和外家大吵了一架，然后带着荀氏离开了。
他在府城给她租了个院子，还找了两个下人照顾她。
怕她想不开，白之言在那陪了她一段时间。