其先世为拔拔氏(拓跋氏分支)，北魏孝文帝迁都洛阳后，改鲜卑姓名为汉姓，遂改为长孙氏。长孙俭年少时行为品行端正无邪，有操守和高洁的品行，身材高大魁梧，神情严肃，即使在内室，也是整日保持恭敬庄重的态度，生性谨慎不胡乱与人结交，只要不是和自己有共同志向的人，即使是王公贵族登门拜访，他也不会见。孝昌年间，从家中被启用担任了员外散骑侍郎的职务，跟随尔朱天光攻占陇西。贺拔岳被杀害，宇文泰亲赴平凉，凡是与制定谋划国家大事有关的事情，长孙俭都参与其间。当时西夏州还未归属朝廷。而东魏派遣(任命)许和为刺史，长孙俭用诚信和大义招纳他，许和于是率部归顺朝廷。朝廷就让长孙俭担任西夏州的刺史，统一管理三夏州的事务。
大统六年(540年)，荆州，襄阳刚刚归附西魏，宇文泰表彰长孙俭的功劳，对他赞许有加，认为应该将东南重任交付于他。授予他荆州刺史、东南道行台仆射的官职。长孙俭部属郑县县令泉璨被老百姓所告，经过调查审问，证实泉璨确实有罪。长孙俭就召集所有的官僚部属对他们说：“这样的事情发生是因为刺史教导的不够明确，是我的过错，并非是泉璨之错误。”于是就在厅堂前，肉袒谢罪，来惩罚自己，放过了泉璨，不去追问他的罪责。于是他管辖的地区整饬有法度，没有人违法乱纪。魏文帝亲下诏书慰问他。荆州蛮夷之地，那里旧有的风俗，晚辈不尊敬长辈。长孙俭反复地规劝开导，民风民俗大为改观。百姓都致力于农桑，闲暇时还兼习武功，所以边境太平无事，百姓安居乐业。当地的官吏和百姓上表朝廷请求为长孙俭建造清德楼，立碑刻颂功德，朝廷商议之后，答应了这个请求。在荆州任职七年。大统九年(543年)，授车骑大将军、仪同三司，长孙俭曾经与众王公大臣在太祖面前侍坐谈话。等到告退的时候，宇文泰对身边的人说：“(长孙俭)这个人举止情趣娴静文雅，我每次和他说话，都严正恭敬，担心有所失误。”大统十二年(546年)，宇文泰将他召回任大行台尚书，兼相府司马，并将他名字改为俭，字庆明。
大统十三年(547年)，加开府。大统十四年(548年)，除尚书右仆射，加侍中，进骠骑大将军。大统十五年(549年)，长孙俭再次被任命为东南道行台仆射，都督十五州诸军事，荆州刺史，十一月，与开府杨忠率兵击败梁柳仲礼，攻克随郡，将柳仲礼长史马岫包围于安陆。大统十六年(550年)春正月，柳仲礼率军来援安陆，杨忠、长孙俭与之战于漴头，大破之，柳仲礼被擒，马岫在安陆投降，长孙俭增加都督东南道三十六州诸军事。大统十八年(551年)，萧绎在江陵继承帝位，对外表现敦厚，于邻国和睦，对内心怀不轨的图谋。长孙俭暗地里密报宇文泰，陈述攻取的谋略。于是朝廷征召长孙俭入朝，宇文泰详细地询问他的计划和打算，应答从容，宇文泰听后，对他的看法非常认同，于是对长孙俭说：“正向你所说的，我夺取江汉太晚了。”于是命长孙俭返回荆州，秘密准备。西魏恭帝元年(554年)，与燕国公于谨等出兵江陵，攻下江陵后，由长孙俭镇守，因为长孙俭是最早的出谋划策者，于是赏赐他奴婢三百人。恭帝二年(555年)，进爵昌宁郡公，授大将军。恭帝三年(556年)，移镇荆州，授总管荆襄等五十二州诸军事、行荆州刺史，增邑万户。557年，北周建立后，二月楚国公赵贵等人图谋诛杀权臣宇文护，长孙俭长子长孙僧衍参预其事，事情败露后，长孙俭受连坐被判处以死刑，宇文护以其功臣，免罪授小冢宰。
保定二年(562年)任浦州(治今重庆万州)刺史，检校六防诸军事，四年(564年)任襄州(湖北襄阳)刺史，仍授柱国大将军，天和元年(566年)调任陕州刺史、都督八州二十防诸军事，解荆州总管。长孙俭曾经进京禀奏相关事宜，当时正值天降大雪，于是立于雪地中等待回复，从早上一直等到了晚上，始终没有委靡不振的神情。他对于公家的事情勤奋认真，都类似这样的情形。天和三年(568年)，长孙俭疾病回到了京城，担任夏州总管。冬十一月二十五日辛亥(公历12月19日)死于京城府第，年七十八。死后遗文上表宇文邕，请求葬于宇文泰的陵墓之侧，并且将所赐的府宅归还朝廷。宇文泰下诏都依从了他的请求，下诏追封为郐公，谥号文。荆州百姓仪同赵超等七百人，被长孙俭的恩情、德行所感动，进京请求为长孙俭建庙立碑。朝廷下诏同意了他们的请求。建德四年(575年)，宇文邕下诏说：“昔日孙叔敖和萧何都是忠心不二的贤臣，不为地位钱财所动，拿古代的人和长孙俭相比,他一点都不输于先哲。而相关部门不识大体，很快拿长孙俭的府第给了别人。现在将它赐还给他的妻子儿女。”子孙后代人丁兴。
