墨子是鲁山人，虽然先祖是贵族，但墨子却是中国历史上唯一一个农民出身的哲学家。作为一个平民，墨子在少年时代做过牧童，学过木工。据说他制作守城器械的本领比公输班还要高明。他自称是“鄙人”，被人称为“布衣之士”。作为没落的贵族后裔，他自然也受到必不可少的文化教育。《史记》记载说墨子曾做过宋国大夫，墨子是一个有相当文化知识，又比较接近工农小生产者的士。自诩说“上无君上之事，下无耕农之难”，是一个同情“农与工肆之人”的士人。在他的家乡，滔滔的黄河奔流东去，墨子决心出去拜访天下名师，学习治国之道，恢复自己先祖曾经有过的荣光。
墨子于是开始各地游学，曾从师于儒者，学习孔子的儒学，称道尧舜大禹，学习《诗》《书》《春秋》等儒家典籍。但墨子批评儒者对待天帝、鬼神和命运的不正确态度，以及厚葬久丧和奢靡礼乐，认为儒家所讲的都是些华而不实的废话，“故背周道而行夏政”。从墨子对儒家的攻讦中可以看出，两者在爱的问题上似乎没有什么扞格。而且墨子构建兼爱体系使用的术语或概念，基本上是儒者惯用的词汇，如孝、慈、仁、义等，表明墨子基本上认同、认可儒家的价值理念，只是在具体走向上以不同的诠释构建起自己的理论体系。
墨子最终舍掉了儒学，另立新说，在各地聚众讲学，以激烈的言辞抨击儒家和各诸侯国的暴政。大批的手工业者和下层士人开始追随墨子，逐步形成了自己的墨家学派，成为儒家的主要反对派。墨家是一个宣扬仁政的学派。在代表新型地主阶级利益的法家崛起以前，墨家是先秦时期和儒家相对立的最大的一个学派，并列为“显学”。在当时的百家争鸣中，有“非儒即墨”之称。
