乾隆又说，如果有人参奏张廷玉恋栈要职而求去，这尚可理解;无人参奏而自行求去，则有违君臣大义。为人臣者，断不可存此心;如预存此心，必将漠视一切，君臣间泛泛如秦越人之相视矣!
如此，年至则奉身以退，谁又肯为国尽心出力?“此所系于国体官方、人心世道者甚大!”
更何况，“我朝待大臣恩礼笃至，而不忍轻令解职。大臣苟非隆老有疾，不轻陈请，恐不知者反议其贪位恋职，而谓国家不能优老。”
最后，乾隆还是对此事做了一定的妥协，令张廷玉不必兼理吏部的所有具体事务，改由大学士来保兼管吏部事。
张廷玉剧照
高阳在《柏台故事》中说，乾隆之所以不准张廷玉退休，原因有二：
一是担心张廷玉回到桐城故里后，以其肚子里的存货，如雍正继位及弑兄屠弟，杀年羹尧、隆科多灭口等秘事恐怕会流传民间;
二是乾隆认为张廷玉虽然祖籍桐城，但其家数代为官，自小“长于京邸，子孙绕膝，原不必以林泉为乐”，在京城同样可以“从容及仗，颐养天和”。
高阳之说也不是全无道理，不过其所说的秘事未必是真，而以张廷玉的谨慎性格，所谓秘史外传也没有得到事实的证明。
如以乾隆的个人角度来看，张廷玉很可能是因为他在朝中受了冷落、心生不满所致。
而且，张廷玉一再乞休的做法明显表明，他对自己的忠诚和个人感情远不及对父皇雍正，这才是让乾隆感到十分生气的原因所在。
