太尉黄琼不久称病辞职，桓帝升太常刘矩为太尉，封度辽将军种暠为司徒，命太常虞放继任司空一职，又升中常侍单超为车骑将军。单超手握兵权，气焰更盛。单超的弟弟单匡为济阴太守，贪赃枉法，被兖州刺史第五种察觉，派从事卫羽查出实情，上书弹劾兄弟二人。单匡惊惶之下，暗中派刺客任方刺杀卫羽，结果派出去的刺客被卫羽抓获。单匡怕河南尹杨秉出头追究，指使任方越狱逃亡。单超又把持朝政，反而诬告杨秉私放囚犯任方，意图嫁祸单匡。桓帝竟将杨秉罢官，又将第五种充军边塞。
延熹三年(公元160年)正月，大宦官单超病死，左悺、贝瑗、徐璜、唐衡等四侯越加骄横，权势熏天，只是后悔自己不能生育，于是到处收养义子。这帮阉官无德无能，只知道作威作福。可怜那些无辜百姓，备受折磨，却无处呼吁。其中以徐璜的侄子、下邳令徐宣最为暴虐，将前任汝南太守李暠的女儿抢来，逼她作自己的小妾。李暠的女儿宁死不从，破口大骂，惹得徐宣性起，将她赤条条地绑在柱子上，作为箭靶射死。李家失去女儿，自然向太守鸣冤，谁知太守忌惮徐宣的权势，不敢破案。
这件事被不畏权贵的东海相黄浮知道后，马上将徐宣全家抓了起来，亲自监斩，将徐宣推出去斩首示众。徐璜大为怨恨，在桓帝面前捏造谎言，说黄浮得了贿赂，无故害死徐宣。桓帝信以为真，将黄浮革职论罪。
太尉刘矩接替黄琼上任后政绩卓著，后来被免职，重新召黄琼为司空，黄琼勉强就职，一月后便辞官而去，由大鸿胪刘宠继任司空。刘宠是东莱人，曾出任会稽太守，为官勤勤恳恳，两袖清风，和刘矩同为东汉时代的良臣;加上司徒种暠，三人齐心辅政，那些宦官才稍稍有所收敛。前任太尉李固的幼子李燮奉诏入朝为官，向姐姐文姬辞行。文姬对他谆谆告诫。李燮领命而去，入朝封为议郎。后来他的恩人王成病逝，李燮还亲自前去送葬，可谓是以德报德，不负恩人。
延熹三年~四年间，羌人叛乱，护羌校尉段颎屡次出征，战无不胜，无奈羌人刁顽，出没无常，此起彼伏，闹得河西一带鸡犬不宁。凉州刺史郭闳贪功无能，多方牵制段颎，让段颎进退不得，以至朝廷震怒，将段颎下狱治罪。当时皇甫规任泰山太守，曾平定叔孙无忌造反，威震一方。他因为熟悉羌人，主动请命前去平叛。
皇甫规到了凉州，立即部署兵马出击，击败羌人。到了次年，羌人又入侵张掖、酒泉等地。皇甫规一到，羌人望风而降。皇甫规还将残暴不仁的安定太守孙儁、属国都尉李翕、督军御史张禀等人以及倚仗权贵，不守法度的凉州刺史郭闳、汉阳太守赵熹二人，或罢免或诛杀。按理说皇甫规立下这么多的功劳，朝廷应该封官晋爵。谁知朝中的那些奸臣，见他除去自己的党羽，竟在桓帝面前轮番诬陷。桓帝就严厉责备皇甫规，将他召回京城。中常侍徐璜和左悺向皇甫规索贿，被皇甫规严词拒绝。他二人顿时恼羞成怒，又将前事提起，罗织罪名，幸亏太尉等三公从中解救，又有太学生张凤等三百余人联名上书鸣冤，皇甫规才幸免于难，罢官回家。
这时，长沙、零陵一带的农民起义军进攻桂阳，艾县造反者相继响应，火烧长沙，抢掠益阳。零陵和武陵的少数民族头领也趁机反抗朝廷。御史中丞盛修战败，南郡太守李肃弃城逃生，主簿胡爽被李肃杀死，朝廷抓获李肃后处斩，令太常冯绲为车骑将军，率兵剿贼。冯绲见前面派遣的将帅往往被宦官陷害，于是请中常侍张敞监军，和前任武陵太守一道同往。抵达长沙后，盗贼寡不敌众，缴械投降，冯绲接着进攻武陵蛮人，斩杀无数，十余万人投降，于是荆州归于平定。冯绲后来同样被宦官陷害，以至被罢职免官。
前任冀州刺史朱穆，被重新任命为尚书，目睹宦官骄横，不想保持缄默，便上书桓帝，说了许多忠言，后来见没有回音，又亲自面见桓帝，长跪不起。宦官恨得咬牙切齿，无数次地诋毁他。朱穆忧愤不已，背疽复发，以至病终，享年六十四岁。朱穆为官数十年，粗茶淡饭，家无余粮。朝廷追谥朱穆为文忠先生。
前任太尉黄琼也是一样，自思奸臣当道，不能铲除，十分遗憾，后来也饮恨而终。朝廷总算没有忘记他，追封为车骑将军。
黄琼死时，送葬者有六七千人，其中有一个儒生，举动异常，众人都在交头接耳，猜测他的姓名。太原人郭泰知道此人是南昌高士徐穉，叫陈留人茅容马上将他追回来，一番谈论后，对他刮目相看。郭泰善于发掘人才，常常鼓励学子，许多晚辈都被他推荐给朝廷，一举成名。钜鹿人孟敏，陈留人申屠蟠，都是郭泰发现并起用的。
太尉刘矩和司空刘宠因为处理事情不当，被朝廷免官。司徒种暠又病逝，桓帝任命太常杨秉为太尉，卫尉许栩为司徒，周景为司空。杨秉是杨震的次子，父子相继为太尉，也是一段佳话。周景正直无私，与杨秉意气相投，联名上书桓帝，请求罢免宦官子弟。桓帝总算依从，罢免了中郎将燕瑗，肯州刺史羊亮，辽东太守孙谊等五十余人，重新起用皇甫规为度辽将军，镇守北方。皇甫规上任几个月，举荐武威太守张奂为度辽将军，自己愿意做他的副手，任使匈奴中郎将，这样一来，幽、并二州安静了好几年。
桓帝喜欢到处游乐，护驾从事胡腾看不过去，屡次上书规劝。延熹八年(公元165年)正月，桓帝派中常侍左悺前往苦县祭拜老子。这时，宦官侯览的兄弟、益州刺史侯参等人因积怨太多，被太尉杨秉弹劾。侯参在回京领罪的途中自杀。京兆尹袁逢被罢官问罪，司隶校尉韩縯又趁机弹劾左悺兄弟。左悺自杀前又咬出贝瑗兄弟。所谓的五侯中，只有左悺是自尽而死，其余的都是被人所杀。
