麦铁杖是始兴人。勇猛而有膂力,能日行五百里,跑起来可以赶上奔马。粗犷放荡且好酒,喜欢结交朋友,重信义,平常以捕鱼打猎为生,不置产业。
陈国太建年间与人合伙做贼,广州刺史欧阳頠俘获了他,麦铁杖从此沦为朝廷的奴仆,专给陈后主撑伞。麦铁杖常常在陈后主退朝之后,步行一百多里,夜间到南徐州,翻越城墙而入,借灯光打劫偷盗。次日早晨返回时,仍旧替陈后主撑伞。像这样十多次,失主们认出了他,南徐州官府用状子告到陈后主那里。朝中官员见麦铁杖每天早晨都在,不相信他做贼。后来南徐州官员又多次状告铁杖,尚书蔡徵说:“这是可以验证的。”在卫兵们退出的时候,以百金悬赏,招募可以送诏书给南徐州刺史的人。铁杖出来应招,怀揣诏书而去,次日早晨及时回奏。
陈后主说:“的确是徐州官员说的那样,铁杖偷盗之事是很清楚的。”因怜惜他勇猛敏捷,警告后便放他回家了。
隋灭陈后,麦铁杖转入大将军杨素军中,居清流县,屡立战功。恰巧江东谋反,杨素派铁杖到江南去侦察。
麦铁杖头戴草把,在夜间浮水过江,全部弄清贼营情况后回报杨素。后来又再次到贼营窥探,被贼兵捉住,贼帅李棱派三十个军士押送他,绑着准备送给高智慧。押到肻亭,军士们吃饭休息,可怜他饿,解开绑着的手让他吃饭。麦铁杖夺取军士的刀,乱砍押送的军士,直到杀尽为止,然后一一割下他们的鼻子,怀揣而归,杨素十分惊奇。后来论功行赏,却没有麦铁杖,碰上杨素坐驿车回京都,铁杖徒步追随杨素,每夜同宿一店。
杨素发现麦铁杖时才明白麦铁杖的用心,特地向隋文帝请奏授铁杖为仪同三司。但因麦铁杖不识字,放回乡里。成阳公李彻欣赏铁杖勇猛,在开皇十六年(597年),征召麦铁杖到京城,任命他为车骑将军。仍跟随杨素北征突厥,加封为上开府。
隋炀帝即位,汉王杨谅在并州谋反,铁杖又跟随杨素征讨汉王杨谅,每次作战总是身先士卒,后任柱国大将军。不久调任莱州刺史,但无政绩。转任汝南太守,渐渐学习法令制度,群盗绝迹。
后来上朝,考功郎窦威嘲笑铁杖说:“麦是什么姓?”铁杖应声答道:“麦窦(豆)没有差异,有什么值得奇怪的?”窦威非常羞愧,无言以对,当时的人都认为麦铁杖机敏聪慧。不久麦铁杖又调任右屯卫大将军,隋炀帝对他更加亲密。麦铁杖认为隋炀帝对他恩重如山,常怀尽忠报国之志。
大业八年(612年),隋炀帝征讨高句丽,麦铁杖请求当前锋。他回头对随从医生吴景贤说:“大丈夫的性命自有所在,岂能去用艾炷烫鼻梁,用瓜蒂喷鼻孔,治黄不差,而死在妇人怀里呢?”将要渡辽河,铁杖对他的三个儿子说:“你们应该准备浅黄色的衣衫。我久蒙国恩,今天应是为国捐躯的时候。我如果战死,你们将会富贵。在忠与孝上,希望你们多努力。”等到渡河时,桥未完工,离东岸还有几丈,高句丽军大批涌来。麦铁杖跳上岸,与高句丽军拼搏,战死。同时战死的还有武贲郎将钱士雄、孟金叉。隋炀帝为铁杖哭泣,赎回铁杖的尸体,下诏说:“铁杖志坚气勇,平素以功著称,这次陪朕讨伐贼人,身先士卒,冲锋陷阵,节高义烈,虽身死而功存。他的誓言至忠至诚,追怀他的平生,让人伤感不已。应赐给他特殊荣誉,以表彰他的功德,可追赠光禄大夫之职,追封宿国公,谥号武烈。”铁杖之子麦孟才承袭爵位,不久授为光禄大夫。麦孟才有仲才、季才两个弟弟,都被拜为正议大夫。隋炀帝还赠钱巨万,为铁杖办丧事,赐鍂车京丧车,前后配有吹鼓手,丧车的竿子上插着羽毛,在平壤被贼军打破的宇文述等一百多人都在车前为铁杖执绳引棺,王公以下的官员送到郊外。