曾国藩，字涤生，湖南湘乡人，道光十八年进士。作为咸同之际地方汉族势力兴起的代表人物，他和祁寯藻之间的关系变化有着重要的意义。(苏州大学董蔡时先生甚至把他们划分为两个派别，从他们之间的政治冲突来考察晚清政治情况)有些学者将两人交恶，祁寯藻“贬抑”曾国藩，并因此为汉族士人非议，作为祁寯藻“不自安，称病乞去”(萧一山著，《清代通史》，《祁寯藻彭蕴章之相业》，第三册，第412页)的重要原因。那么，这样的看法是否准确呢?
咸丰朝军兴不久就凸现出了一个重要问题，即绿营兵的腐朽问题。面对太平天国来势凶猛的军事压力，进入咸丰政局的各督抚、将军颇有力不从心之感，败仗连连。阵脚大乱的咸丰帝频频更换主帅，围剿起义军。在起义军实力逐渐庞大后，咸丰帝先后派两江总督李星沅、军机大臣赛尚阿、两广总督徐广缙，广西提督向荣等官员为钦差大臣，督办广西军务。这些将领在军事上的连续失利，徒为耗师糜饷，使咸丰帝愤怒异常，然而又没有其它办法。
在这种局面下，有见识的满州大臣主张要重用汉臣。咸丰帝最器重的满州大臣文庆就提出这样的意见。文庆认为：“当重用汉臣，彼多从田间来，知民疾苦，熟谙情伪。岂若吾辈未出国门、懵然於大计者乎?”并且“常密请破除满、汉畛域之见，不拘资格以用人”(《清史稿》卷三八六，列传一百七十三，第11686-11687页)。在没有更好办法的情况下，为缓解统治危机，咸丰帝被迫仿效嘉庆帝在镇压白莲教起义时的做法，允许南方的在籍汉族大臣自行组织军事力量，办团练以助官兵。
咸丰二年，刑部侍郎曾国藩典试江西，中途丁母忧卸任回籍。咸丰军兴后，他奉旨在籍办理团练，户部尚书文庆向咸丰帝力言曾国藩可用，使以曾国藩为核心的湘军的兴起成为可能，既而担负起挽救陷于混乱局面的满清王朝统治的任务。而事实的发展却出乎许多人的意料，清廷始终没有在湘军连战告捷后，给予曾国藩名义上的地方最高权力。
很多清史研究者认为，清王朝的这种措施是由于祁寯藻的阻挠，两者矛盾加深，引起祁寯藻的致仕，多数研究者以薛福成文集中《书宰相有学无识》一文为论据，来说明这个问题。薛文说“曾文正公以丁忧侍郎起乡兵，逐贼出湖南境，进克武汉黄诸郡，肃清湖北。捷书方至，文宗显皇帝喜形于色，谓军机大臣曰‘不意曾国藩一书生，乃能建此奇功。’某公对曰：‘曾国藩以侍郎在籍，犹匹夫耳，匹夫居闾里一呼，蹶起从之者万余人，恐非国家之福也。’文宗默然变色者久之，由是曾公不获大行其志者七八年”(薛福成著，《庸庵文续编》卷下，《书宰相有学无识》，沈编丛刊第95辑，第550页)。他在此文前作《书长白文文端公相业》，说：“曾文正公起乡兵击贼，为寿阳祁文端公所牴排”(薛福成著，《庸庵文续编》卷下，《书长白文文端公相业》，沈编丛刊第95辑，第544页)，并赞扬文庆重用汉人政策，以此来相互对照，形成鲜明的褒贬。民国人黄浚也有“曾文正见扼于祁文端，微肃顺左右之，几不能成功”(黄浚著，《花随人圣盦摭忆》，第55页)的说法。《近代名人小传》上也认为祁寯藻“抑曾国藩，世颇讥其偏”(费行简(沃邱仲子)著，《近代名人小传》，《官吏·祁寯藻》，沈编丛刊第7辑，第88页)。
这些资料都认为祁寯藻曾经排挤过曾国藩。从它们的出现来看，薛福成的说法应该是最早的，其曾国藩得意门生的身份也使他的材料看似可信，后面说法的来源应当是薛福成的资料。但是，薛福成的资料有以下三个疑点。其一，从《清实录》等史料的记载来看，曾国藩率领的湘军到咸丰四年闰七月底攻克武昌，八月，曾国藩被授予兵部侍郎之衔。十一月湘军取得“肃清湖北”的战绩，十一月底得到咸丰帝的奖励，尽管赏赐物品丰厚，但始终没有授予封疆之任。依据《祁文端公自定年谱》，从咸丰四年六月开始，祁寯藻便因病频繁请假，很少入值，闰七月十三日祁寯藻最后具摺请假，病休在家以后，直到十一月二十五日奉上谕休致，其间没有再入值军机处。所以，在此期间，祁寯藻根本没有向咸丰帝面奏的机会。而且，从国家图书馆现存的祁寯藻致仕前后所有奏折中也未见到相关言论。其二，薛福成的看法并没有其他直接资料证实。不论是他自己的文章还是曾国藩的文集，都没出现除上述并不确定的传闻外的其他具体事例。况且薛福成笔记的史料价值在罗尔纲先生的《师门五年记》中有较为详细的评价，这里就不再赘述了。其三，在曾国藩另一门生黎庶昌的《拙尊园丛稿》中，也详细记载了曾国藩和祁寯藻的事迹，其所着重的是，在曾国藩任侍郎时，上疏中触怒了咸丰帝，祁寯藻极力救助曾国藩的往事，并没有提及薛福成所讲的事，如果其事确实，他俩互相为对方的文集作序，为什么黎庶昌会避而不谈，甚至意见相左呢?既然传闻是有证据否定的，附会传闻的资料当然就是不可靠的。那么，事实应该是怎样的呢?
从当时情况来看，湘军势力的确是对抗太平军唯一有效的力量。但随之而来的严重问题是这种军事势力对中央集权的威胁。湘军的组织形式，导致湘军将士只服从其直接领导，而可以无视其它权威，这本身就有悖于专制统治的政治特点。咸丰二年，曾国藩的湘军还没有开始正式打仗，就向清廷要求自办粮台，要把地方的粮饷大权掌握在手中。这些情况不能不引起清廷的高度重视，并作出相应的措施加以遏制。首先就是拒绝给予曾国藩名义上的地方督抚职位，尽管中央有文庆、肃顺等要求重用汉族武装的满州亲贵，但他们实质上都是惧怕这种这种力量的。所以，直到咸丰十年以前都没有授予曾国藩地方督抚的官职。而曾国藩本人显然对他所受到的待遇感到不满。曾国藩和祁寯藻的弟弟祁宿藻是同年进士，他在京时和祁氏兄弟是颇有来往的。在曾国藩看来，他的行动理应得到身为时任领班军机大臣，且以奖掖后进、领袖学界为己任的祁寯藻的支持，但实际上，却没有得到，曾国藩在其日记中流露出这种怨怼情绪。持这种看法的人并不仅仅曾国藩一人，同为中兴三大名臣之一的胡林翼，在三河镇失利以后，给祁寯藻的信中就写到“盗贼未稍息而将才屡失”，并建议说：“吾师学究天人，荩念独深，固知隐忧之信切耳”(胡林翼著，《胡文忠公遗集》卷四，《书牍·上祁春圃相国言鄂事》，沈编丛刊第89辑，第425页)。从侧面暗示应该不拘满清“祖制”，任用实干将才。事实上即使在祁寯藻致仕以后，先后被咸丰帝依为心腹且名义上要求重用汉族势力的文庆、肃顺也并没有给予曾国藩与其实力相等的地位，直到咸丰十年，清王朝才勉强授予他总督的头衔。(即使当年六月授予曾国藩两江总督，也是当时情况所迫。其一，英法联军已进逼天津城下，其二，两江总督所辖三省仅江西还在清王朝的控制当中。)
很多学者认为祁寯藻和曾国藩代表了晚清两个重要的政治派别，他们之间存在着激烈的政治斗争。薛福成文章中的事实虽然不可信，但他明确攻击祁寯藻，却并非完全空穴来风。我们可以肯定的是，咸丰初年的清王朝已不能和嘉庆时的清王朝相比，中央对地方汉族官僚的控制已比较薄弱了。实际上，在咸丰初年，祁寯藻作为首席枢相，又长期管理户部，对满清中央权利的丧失应该有足够的敏感。即便祁寯藻抑制汉族团练，其目的还是为了维护清朝中央集权，而由此引起祁曾两人后来的交恶也是必然的。但是，一则从现存的祁寯藻所有奏折，文集来看，没有明显反对曾国藩的言论。而从曾国藩的文集中也找不到祁寯藻曾排挤他的实据。二则，在咸丰四年祁寯藻致仕时，曾国藩的湘军势力还没有发展到后来的势力。咸丰末年，湘系、淮系才形成尾大不掉之势，对清王朝的中央专制统治构成了非常现实的威胁。从而和彭蕴章等军机大臣的利益相冲突。其中也包括祁寯藻，他的门生故吏遍及天下，必然会和曾国藩新兴的、以军功起家的势力产生矛盾。例如，在同治初处理何桂清之狱上祁曾二人之间的严重分歧。
综合以上分析，在咸丰四年祁寯藻致仕时，祁曾之间的矛盾还是不明显的，到了咸丰后期，他们的矛盾才有可能凸现出来。所以，如果把逐渐恶化的祁曾关系作为咸丰四年祁寯藻致仕的原因则是很不充分的。
