北周武帝即位后，宇文护执掌朝政，他非常痛恨杨坚，杨坚好几次都差点被陷害，幸亏同事的救护才脱险。后来杨坚继承了随国公的爵位，大女儿还被北周武帝聘为太子妃。宇文宪对北周武帝说：“杨坚相貌非凡，我每次看到他就会茫然无措，担心他不会屈居人下，请求早点除掉他。”北周武帝说：“他只能做将军。”内史王轨也多次对北周武帝说：“太子不像是北周的主人，倒是杨坚有副反叛之相。”北周武帝很不高兴，说：“如果天命已经决定了，那怎么办？”杨坚听说后非常害怕，从此开始深藏不露。
北周宣帝即位后，杨坚作为国丈而被征召，地位更加显赫，引起了北周宣帝的顾忌。北周宣帝一共立了5个皇后，皇后们互相争宠诋毁，北周宣帝经常对杨皇后（杨坚的女儿）发火说：“我一定要把你们家灭族！”说完就召见杨坚，事先对左右说：“只要杨坚脸色有变化，就马上杀死他！”杨坚来到后，神情自若，这才没有遇害。