薛怀义失宠乃至被杀是有一定渊源的。他还未被杀之前，有一天在朝堂之上与丞相苏良嗣相遇，苏良嗣看不惯他的嚣张气焰，命令左右随侍的人结结实实地打了他几个耳光。薛怀义捧着红肿的脸向武则天哭诉，不料得到的答复是：“这老儿，朕也怕他，你以后走路尽量避开他。