后来薛怀义嚣张跋扈惯了,又加武则天有了新宠,对薛怀义日益冷落,结果争风吃醋的薛怀义,竟然一把火烧掉了武则天为他修建的明堂,这下可捅了马蜂窝。薛怀义从此彻底失宠,之后就消失在历史中,有说是被太平公主除掉了,有说被武三思杀掉,总之,不再受武则天宠爱了。
除了薛怀义之外,武则天早期宠爱的另一个男宠就是太医沈南缪,但这位沈太医为人胆小谨慎,性格宽厚,整日里只是小心翼翼地侍候武则天。因为武则天宠信他,气得薛怀义把明堂烧了,事后这位沈太医担惊受怕,没多久就去世了。
武则天早期宠信男宠,尚限于私生活方面,除了引起许多流言飞语外,并未对朝政造成太多影响,到了她晚年事情却发生了变化,因为两兄弟的出现——张昌宗、张易之。
这两兄弟是从公元697年开始得到武则天宠幸的,和之前男宠不同的是,这两人极有政治野心。比起薛怀义的飞扬跋扈,沈南缪的如履薄冰,这哥儿俩却如鱼得水。张昌宗擅长音律,张易之擅长歌舞,兄弟俩一唱一和,把武则天哄得整日心花怒放。从此他们俩开始干预朝政,最先是大收贿赂,卖官鬻爵,并且很有诚信,特点是收钱就办事。一次一个姓杨的向张易之行贿,张易之家人忘了这个人的姓名,张易之二话不说,把京城所有姓杨的都升了官,但朝政的腐败,却也因此加剧了。