话说这权万纪也是个“人物”，因为敢于直言，所以从潮州刺史提拔为正四品下的朝廷京官。而身为持书侍御史，权万纪理当好好珍惜这得之不易的向上升迁的机会，继续发挥自己直言善谏的一面，结果却不然。根据《旧唐书》《贞观政要》等史书的记载，权万纪升职后，开始利用职务之便“告讦谮毁”——揭发别人的隐私、诬陷诽谤，甚至肆意弹劾别的大臣，惹得朝臣惶惶不安。
最后魏征实在是看不下去了，忍无可忍之下非常严肃地向唐太宗上奏说：“权万纪、李仁发并是小人，不识大体，以谮毁为是，告讦为直，凡所弹射，皆非有罪……附下罔上，多行无礼，以取强直之名。”一针见血地指出权万纪不过是个意图骗取直言敢谏之名的小人，认为唐太宗若是出于招揽敢于进言之人的目的，也大可不必将权万纪这样的人留在朝中，因为这样做只会有损自己的名声。唐太宗听了之后，欣然采纳了魏征的建议。权万纪后来“奸状渐露”，被贬为连州司马，史书上记载此消息一出，朝廷其他官员的反应是“咸相庆贺焉”，可见权万纪平日里的行径是有多么的卑劣与不得人心了。
这里可以顺带一提司马一职，这个职位在唐朝便是贬官的象征。唐朝在每个州都设置了司马一职，名义上为州郡佐官，实际上就是用来安排京城中那些被贬谪或是闲散的官员。事实上，权万纪不仅喜欢通过揭发别人隐私来搏取名声这一点为人所厌恶，他唯利是图，只重眼前利益的行为也招来了唐太宗的憎恶。权万纪曾提议可以通过大量开采宣饶二州的银矿以获取巨额利润，唐太宗听了后十分生气地说道：“朕贵为天子，所缺的不是钱财，而是没有利于百姓的好建议!与其多得到数百万贯钱，不如得到一名贤才!你不曾推荐过一名贤才，就一心专言税银之利。你这是想让我做汉桓帝、汉灵帝吗?”于是当天就罢免了权万纪的官职，让他回家了。
也正因为此，后世之人在点评权万纪时评价都很低，认为提出多开采银矿而获暴利的权万纪是“败仁义者”，是“不惟竭忠宣畅本朝而远献大珠以求幸媚”的小人行径，也是“横敛诸民”这种应摒弃的行为。权万纪被贬黜后又过了很久，才被唐太宗任命为吴王李恪的长史。结果就在权万纪担任长史之后没多久，李恪就因为打猎时踩坏了百姓的庄稼而被柳范弹劾，唐太宗知道后勃然大怒，认为权万纪没能尽到自己的职责罪该当死。柳范劝道：“房玄龄尚且都不能阻止陛下打猎，何况权万纪呢?”唐太宗这才罢休，不过李恪本人继和乳母的儿子赌博之后，再次被唐太宗削去了安州都督一职，实封再次被削去了300户。
