幼年时期
天文十五年(1546年)十一月二十九日，幼名万吉的名军师黑田官兵卫孝高(即日后的黑田如水)在姬路城降生。职隆在姬路城里开设了百间长屋，供来往的浪人居住。这样，如水时常在父亲的陪伴下前往长屋与住在里面的人交谈，以此增加社会阅历。这些人中后来有很多成为黑田家臣。在母亲的影响下(早丧)，如水从小对连歌很感兴趣。十岁的时候即能从各种连歌中学到诸国的地理和人文。教授如水学问的老师是一位住在姬路城外草庵里的净土宗僧人圆满和尚，他的教育对如水的一生有着重要的影响。
诚然，如水的幼年并没有受到特别的英才教育，他的生活同当地居住的百姓没有什么区别，老师圆满和尚同时也是村子里老百姓孩子的老师。但如水还是很快从孩子们中间脱颖而出，十岁时就已经对诸国地理有很深的了解。出色的连歌才华和地理感觉也是其他孩子所望尘莫及的。与此同时，父亲黑田职隆开始对年幼的如水灌输民为贵的治国思想。
迅速成长的如水十四岁元服，改名为官兵卫孝高。此时的他，即将肩负起刚从流浪的生活中摆脱出来的黑田家未来的希望。
小寺家老
元服后的如水十六岁(或十七岁)初阵，接着就开始侍奉小寺政职。这段历史在后世流传很广，据说一五六一年(永禄四年)，小寺政职在打猎归来时路过姬路城，对出席接风宴的如水很是赏识，遂招为近习，给予八十石的俸禄，后又将小寺姓赐予如水。不久，年仅二十二岁的如水成为小寺家家老。
同年，如水与政职的侄女播磨志方城城主栉桥丰前守则伊(也称伊定)的女儿结婚，虽说这是政职的政略婚姻，但是夫妇之间还是很恩爱的。翌年，长子松寿丸(后来的长政)出生。1569年(永禄12年)5月，播州馆野城主赤松下野守 政秀联合播磨八郡领主别所安治，引军3000进攻姬路。而当时姬路城的动员兵数仅300人。如水于姬路城西一里青山地布阵，借地形优势，以寡击众，击败赤松军。次月，赤松政秀为雪前耻，引兵再犯。如水与父职隆于土器山要冲布阵，两军对峙。主君小寺政职的援军守备松懈，遭赤松军夜袭。早有察知的如水派井手勘右卫门友氏(职隆之弟)、母里小兵卫、母里武兵卫等150人往援。然而寡不敌众，井手、母里三人奋战讨死，小寺军一时败退。当夜，如水再整军势，自为先阵，父职隆为后阵指挥，夜袭赤松政秀本阵。赤松军全无防备，四散奔逃。如水果敢出城迎敌，两败赤松军之事传遍了播磨国。年轻的如水一跃成为小寺家的次席家老。
作为弱小的守城一方，却勇敢的出城迎击，并连续击败来犯的赤松军。从此，如水的武勇传播到了播磨国内外。那些在如水小时候骂他为“卖眼药的小子”的小寺家重臣们也对他刮目相看。此后，身为小寺家家老的如水逐渐开始崭露头角了。
毛利攻略
一五七五年夏，小寺家的重臣们被政职召集到御着城。当时正处于毛利和织田两大势力夹缝中的小寺家有必要明确自己的立场。这两个势力中，毛利家已经提出了人质要求，这是因为织田家侵犯中国的态势已经很明显了，毛利家认为有必要加深和小寺家的联系。此时的毛利家，虽然号称西国无双的智将当主元就已死，但年轻的辉元在两川(吉川元春，小早川隆景)的辅佐下，依然毫无疑问是中国地区的霸者。在此之前，拥有备前美作两国的宇喜多直家已经率先加入了毛利一方。
究竟是答应毛利家的人质要求，还是投向新兴的织田家，政职难以决断。于是他对家臣说：“各人把各人心里的意见说出来吧。”其实在他自己心里已经有答应毛利一方要求的想法了，这次会见重臣们的目的，是为了确定一下各重臣尤其是如水的意见是否与自己相同。果然，在笔头家老小河三河守的带动下，许多人的意见与政职心中所想的一致，认为应该投向毛利方。只有如水一个人支持投向织田一方。对此，如水这样解释道：“织田信长是智勇兼备的名将，而如今天下的形势已经明显倾斜向于他，所以如果服从信长的话，是可以继续小寺家武运的唯一方法。”他就这样说服了众人。
受命与织田家交涉的如水，在谒见信长之前先跑到近江，请求长浜城主羽柴秀吉作为中介。在秀吉的斡旋下，如水与信长见面了。他将播磨的形势对信长详细地述说了一遍，并表示小寺家愿意臣从于信长。如水说：“现在只要殿下派遣一名大将前往姬路，即使不带一兵一卒，播磨的各个豪族也会竞相的前来归附。”感叹于如水出色口才的信长，当场就把小姓手里拿着的名刀“压切”送给了如水。黑田家旧时珍藏的《黑田家御重宝故实》中记载了“压切”这个名字的来历：当年信长公和一个茶道坊主发生矛盾。那个坊主逃走躲在了一个棚子底下，信长一刀下去，居然把这个棚子都切断了，所以这把刀就被命名为“压切”。
信长所派遣的中国侵攻的总大将就是之前的长滨城主羽柴秀吉。从此，如水成为秀吉身边最得力的参谋之一。另一方面，以为小寺家肯定会成为自己家臣的毛利家，在得到了小寺臣服于织田的消息后大为光火。天正四年四月，毛利家水军将领浦兵部丞奉命率五千人从播磨的英贺浦登陆，准备袭击御着，姬路两城。小寺政职闻讯后大惊失色，而如水则坚持说可以击败毛利军，并且作好了迎击的准备。为了补充军队数量上不足的，他向当地的老百姓发放钱财，让他们购买各种旗帜作好准备，在自军的背后待机。等到如水军向毛利军发动攻击的时候，这些百姓就在后面摇旗呐喊，毛利军以为敌人的援军到来，顿时陷入混乱，最终从海上败退了。
在安土城得知了这一胜利消息和如水出色表现的信长大为欣喜，立刻命令当时还是他手下的摄津有冈城主荒木村重向小寺政职发去了感恩状。
同时，这一次毛利攻打小寺的举动，在客观上也大大加速了信长中国侵攻的计划。这时候，秀吉向在姬路的如水提出了人质的建议，如水爽快地答应。他将嫡子松寿丸送到了安土的信长那里。后来又被辗转送到了近江长浜交给秀吉。这样，如水和秀吉之间的关系又进一步加深了。
村重谋反
天正六年(1578年)夏，秀吉开始向别所小三郎长治所镇守的播州三木城发动兵粮攻，如水和同样是秀吉军师的竹中半兵卫一起留在秀吉的大本营中。这时候，如水受到了半兵卫的劝诫：
事情的缘由起于一张纸，那是秀吉给如水的“兄弟誓书”，这里面写道：“我在此地，与你毫无隐瞒的谈论所有的事情，相互之间没有隔阂。以后我和你就有了兄弟的情谊，永不违此誓。”如水在阵中把它用油纸包起来，十分珍惜。谁知半兵卫看到了这份如水很引以为豪的誓书后，却将它撕成两半，然后扔到火盆里烧掉了。面对着大惊失色的如水，半兵卫说：“你和秀吉是主从而不是兄弟，这张纸迟早会成为祸根的，你还是早点忘了它吧。”如水听到了半兵卫的这番劝诫后，俯下身去表示感谢。从今后，如水将这番话牢记在心，常常引以为戒。
话说回来，秀吉所讨伐的别所氏是赤松则村的一族，开始一度臣服于信长一边，后来因为听信了长治的叔父别所山城守贺相的谗言，在这一年的二月背叛了秀吉而投向了毛利一方。从属于别所家的诸多豪族也和别所一起投向了毛利。但是长治的另一个叔父重栋却依然留在织田家。四月一日，重栋所在的别府城受到了毛利辉元手下中国，纪伊，淡路三方面联军约八千人的攻击。听闻这个消息的秀吉，马上交给如水五百精兵，命令他迅速增援别府城，最终成功地击退了毛利大军。
发觉单独攻打三木城难以成功的秀吉，采纳了如水的进言。为等待信长的援军而将本阵移往书写山。这里的元教寺是天台宗的古刹，供奉着很早以前的伽兰像，并储备有很多兵粮。四月十八日，吉川元春，小早川隆景和备前的宇喜多直家率领五万大军开往播磨以救援别所长治。并包围了由尼子胜久和山中鹿之介守备的上月城，鹿之介迅速向秀吉求救。于是，秀吉，如水和荒木村重所率领的一万余军队移到了高仓山布阵。六月二十四日，信长发来书信，言及毛利军不可能马上攻下上月城，命令秀吉立刻返回了书写山继续展开对三木城的攻击。结果，上月城在没有援军的情况下于七月三日被攻破，尼子胜久，氏久(胜久的弟弟)自杀，山阴地方的名族尼子家灭亡，同月五日，山中鹿之介和立原久纲向毛利军投降。就在这个时候，秀吉收到了“荒木村重谋反”的报告。村重勾结足利义昭和本愿寺显如向信长竖起了叛旗，这是在那一年的十月十七日。信长大为吃惊，三番四次向村重送去使者，希望他回心转意，但是最终都失败了。
同时，小寺政职也响应荒木村重背叛了信长。在如水拼命的劝说下，政职答应如果村重投降的话他也会归顺于信长。就这样，如水在和父亲职隆讨论之后，抱着对小寺家尽最后忠义之心，以必死的觉悟单身前往会见在有冈城的村重。(但也有一种说法说这其实是政职的阴谋，政职想借村重的手杀掉如水。日后，反叛失败的政职客死异乡，其子氏职日后成为黑田家臣。)
如水的劝说并没有打动村重的心。反而被村重幽禁在有冈城里度过了一年的牢狱生活，还因此失去了一只脚。村重当时为什么没有杀死如水至今已成了一个谜。据说是村重认为：“杀掉毫无抵抗能力的小鸟会丧失民心。”。
就在这禁闭的日子里，留下了黑田家家纹的传说：黑田家的家纹本来是丸に三橘，从如水之后就改成了藤巴。据说，如水被幽闭的山洞非常潮湿，终日难见阳光。没想到在这样恶劣的环境下，看上去已经枯萎的藤条居然发出了新芽，还开出了紫色的花，如水认为这是在向他宣告未来的吉兆，所以创造了这个家纹，这都是为了不忘记这一段艰难困苦的日子。
另一方面，安土城的信长并不知道如水已经被村重幽禁，还以为是如水背叛了自己，他立刻命令半兵卫杀死作为人质的如水嫡子松寿丸。半兵卫表面答应，但是内心知道如水不会背叛，于是就将松寿丸藏在自己的居城里(美浓国不破郡菩提城)，假装已将其杀死了。日后，如水在这件事上对半兵卫很是感激。
天正六年(1579年)十一月，泷川一益终于攻落有冈城，并救出了如水。但长年的牢狱生活已经腐蚀了他的脚，头发也掉光了，其状惨不忍睹。秀吉见如水受这样的折磨仍然没有背叛自己，非常感动。于是大加赏赐，他见如水步行困难，还特意为他准备了轿子。同年十二月，秀吉命令如水抛弃“小寺”这个有叛逆之心的姓氏，恢复了他的旧姓“黑田”。
背叛不断被镇压，最后，只剩下三木城的别所长治了。这一年的九月，四周的支城全部被攻落，三木城彻底陷入了孤立无援的状态。接下来就是秀吉最拿手的兵粮攻，“渴死三木”的行动就这样开始了。据《播州别所记》记载：“城中连陈年的老谷子都被吃完了，饿死者达到数千人。开始是用糠为食，然后是吃牛马，鸡犬，随后连人肉都要割下来吃掉。”天正八年(1580年)正月十一日，书写山上的秀吉向三木城发动了总攻击令，此时别所方城里的粮食早已耗尽，继续战斗下去根本毫无意义。十五日，城主别所长治与同彦之进友行以自己的切腹换取了一城残兵的性命。这样，秀吉完全平定了播磨一国。
水淹高松
天正八年(1580年)正月，秀吉终于攻落了别所家的三木城。他的下一个目标，就是由毛利家家臣清水宗治所镇守的备中高松城。清水宗治是备中地区的土豪，后来通过小早川隆景成为毛利家的谱代家臣，负责整个备中的防御。秀吉一开始曾考虑对其进行劝降，他把劝降工作交给如水去办，如水深知这是一个重要的任务。于是他在给清水的信中许诺：“如果你肯归降，备中备后两国就是你的。”但宗治却拒绝投降。此时的秀吉虽然有些恼怒，但由于织田军正全力攻打因幡的鸟取城，无法分兵攻打备中。这样，直到1582年四月，备中地区的战役才真正打响。在这期间，如水以参谋的身份参加了秀吉攻打鸟取城(1581年七月)的战斗。几乎就在包围鸟取城的同时，信长的四国征讨也开始了。同年九月，如水以秀吉代表的身份，和仙石权兵卫、生驹甚助和明石与四郎一起来到四国。对于四国攻略，如水的意见是先攻取淡路岛，以确保本州和四国的制海权，然后将此岛作为攻打四国的根据地。十一月十五日，如水占领淡路。同时，因幡的鸟取城也在一个月前的十月二十五日被攻落。不久如水就收到秀吉发来的召唤令。于是他将仙石权兵卫留了下来，自己返回姬路。
1582年三月一日，秀吉开始攻打备中高松城。
这次出征集合了播磨，但马，因幡的军队大约有六万人。全军从姬路出发，四月进入了备前国宇喜多秀家的居城冈山。接着，秀家率领两万先锋侵入备中国。四月十四日开始攻打河屋城，并于五月二日讨取了守将乃美弹正忠景。四月二十五日，以如水率领的六百黑田武士为先锋的织田军攻下了冠山的巢蜘冢城。这一仗也是如水的嫡子黑田吉兵卫长政的初阵。四月二十日，织田军展开一次对高松城的试探性攻击，由于敌军防守严密而失败，秀吉一方阵亡数百人。
经过这次尝试，秀吉认识到如此强攻难以奏效，为减少伤亡，决定使用与鸟取一役中相同的“干杀”战法来对付高松城。经过军议讨论，决定采纳如水的计策：利用高松城海拔较低，东北两方都是山脉，只有西边流过足引川这个地理特征，使用水攻。但实际上想出这个战法的并不是如水本人，而是他的家臣吉田六郎太夫长利。在《吉田大略记》中记载，如水当时向家臣们询问如何攻打高松城，长利说：“在河里用大船载满石头，将石头投入河里，用柴木埋起来，筑成大坝就可以了。”
秀吉很快把本阵移到了高松城东北方的“蛙ヶ鼻”，从八日到十九日，织田军在城南建筑了一条长约四公里，高约七米，上边宽十米，下边宽二十一米的坚固堤防。将四周大大小小七条河流的水引了进来，五月份正是梅雨季节，早晚下个不停的大雨使得堤坝下的水一天高过一天。到了25日左右，城下的民宅已经基本被水淹没，高松城完全孤立了。
五月二十一日，吉川元春和小早川隆景率领毛利援军的前部一万人抵达高松城外围。但由于秀吉早有准备，防守牢固。毛利军虽求战心切，却只得看着湖水一天一天漫上来，自己却无法前进一步。秀吉见毛利已精锐尽出，连辉元自己也亲自上阵了，于是向便向安土的信长发去了西进增援的请求，自己也做好了随时与毛利家讲和的准备。但是就在攻打高松城的过程中，近畿地区突发事变。织田信长在宿营地本能寺被部将丹后国主明智光秀杀害，时年四十九岁，史称本能寺之变。
秀吉野望
秀吉听说本能寺的讣告已经是事情发生的第二天晚上十二点左右的时候了。如水在秀吉的住处听到了这一消息，当时秀吉正在掏耳朵里的水。如水静静地附在秀吉耳边说了一句：“在这世间，只有贵公才拥有取得天下大权的能力。”
听闻本能寺报告的秀吉决定将消息的真伪放在了一边，先与毛利达成和睦。并任命如水负责与毛利的交涉任务。毛利方的使者是安国寺惠琼。有一种说法，就是惠琼这时候已经知道了信长的死讯，他自愿担任使者的原因，就是为了讨好秀吉，把自己的未来托付在了秀吉的身上。
由于秀吉方在领地问题上做出了重大让步，使整个和睦交涉进行得非常顺利。四日，高松城主清水宗治在接受了切腹以保全守城士兵性命的条件下开城。这一天正午，乘船出现在湖上的清水宗治、他的哥哥月清、难波传兵卫和毛利家将末近信贺等七人一起切腹。秀吉在检过首级后四小时开始退兵。如水担心毛利家在得知本能寺之变的消息后会有异变，命令手下将旗帜高高举起，整然列队。秀吉将高松城交给杉原家次守备，全军于六日的未时(下午两点)从高松出发，分两路退兵，在夜里来到了备前沼泽。七日强行跨过了正在发洪水的数条大河，回到了本城姬路。
担任这次撤退殿后任务的是黑田如水，他在秀吉率主力撤退的时候，一直在蛙ヶ鼻的本阵监视着毛利军的动向，就在秀吉离开高松的当天晚上，毛利方得知了本能寺之变，暴怒的元春想要追击，但被安国寺惠琼和小早川隆景劝阻。六月七日拂晓，如水在确定毛利没有追击的意向后也开始拔阵退兵。黑田军翻越了陡峭的山道，跨过了洪水泛滥的西大寺川，人马都是一身的泥水。终于使秀吉军圆满完成了历史上有名的“中国大返”。秀吉将城里储藏的钱粮毫不吝惜的分给了手下的家臣们，士气得到了极大提高，为信长报仇的战斗马上就要来到了。
明智灭亡
在秀吉的“中国大返”之中，如水的智谋得到了充分的发挥。如水在撤退的时候，向毛利家借了二十面旗帜，并向小早川隆景借来了旗使和旗奉行。来到备前，又向宇喜多秀家的家老们借了十面旗帜。回到兵库后，如水将旗帜全部打开，张立在秀吉的阵前。这样，在实际的战斗前，敌人就会认为毛利和宇喜多家都站在了秀吉一方，这样，就得到了夺取敌方战意和提高本方士气的效果。后来秀吉听说这件事后，说道：“年轻人总是认为弓矢要胜过计谋。但是在战场上砍下敌人的头只不过是匹夫之勇而已。官兵卫这次的计谋，非是凡人所能及的，这样真可谓是大功一件啊。”
从备中高松急行军赶回姬路的秀吉让士兵们休整了两天。六月九日，秀吉将浅野长政留在姬路，全军开始向京都进发，十一日到达摄津尼崎。这时，信长的旧臣有冈城主池田恒兴，堀秀政，高山右近，中川清秀等人前来会合。至十二日晚，陆续汇集而来的兵力已经超过四万人，秀吉军在摄津富田扎营，各将领部署完毕。
这时候光秀也迅速采取了行动，在本能寺杀死了信长之后，他仅用五天就占领了信长的居城安土，秀吉的居城长浜和丹羽长秀的居城佐和山。但在向近畿诸将发出援军要求的时候却受到重大打击。光秀的女婿织田信澄被织田信孝所杀、属下大和郡山城主筒井顺庆采取了观望态度。连最值得依赖的女婿细川忠兴父子也严辞拒绝了光秀的邀请。
在这样的状况下，决定命运的山崎合战于六月十三日凌晨拉开了帷幕。交战的两军都想占领大宝寺这要害中的要害，谁占领了这里，谁就将取得最后的胜利。结果，如水避开了光秀军的主力，抄山路和秀吉的先锋官胁长门守一起夺取了大宝寺。随后，两军就围绕这块阵地的争夺展开激战，光秀的军队最终不敌崩溃，残部向胜龙寺城退却。秀吉认为胜势已立，想从四面包围之，如水急忙向秀吉进言道：“明智此时已到了背水之地，如果被大军四周团团围住的话，士兵们必定会死战到底。如果现在留一个方向不攻，他们必定会从这里逃走……”秀吉接受了如水的建议，故意在战场的北面打开一个口子，光秀军的士兵们果然纷纷从这里逃出城去，光秀眼见城已经不可能守下去了。于是乘夜带着五，六个随从化妆逃出胜龙寺，向近江坂本逃去，在经过伏见山小粟栖的时候，光秀被当地的农民所杀。胜龙寺城于十四日开城，同日，高山，中川队攻落了光秀的居城丹波龟山。
就这样，明智光秀的“三日天下”结束了。基于山崎合战的胜利，秀吉也奠定了他统一天下的基础。对于在这场战斗中如水的活跃，后世的子爵金子坚太郎发出感叹：“呜呼，高松城外接到本能寺凶变的消息时，这样镇定自若，处变不惊。这么好的大局观，才使得秀吉不至于走错方向，这些都是拜黑田官兵卫的智谋所赐啊!”。
四国征伐
在山崎合战中消灭了明智光秀的秀吉，在织田家中的地位也扶摇直上，但这也不意味今后的生活就一帆风顺了，还是有人对他不服。这其中就有当时身在越前北之庄，由于与上杉家对峙而没能对本能寺之变及时做出反应的笔头家老柴田胜家。胜家是织田家的谱代重臣，对迅速升迁的秀吉极为讨厌。自然不会容许后者独揽大权，于是胜家就向秀吉提出了选出织田家后继者的提议。胜家推举的是自己的乌帽子亲信长三子信孝，如果信孝继承家业的话，胜家就可以理所当然的掌握织田家的实权了。这时候，如水向秀吉进言说：“绝对不可以和柴田单独谈。”秀吉听取了这个忠告。于是在写给胜家的回信中提出：“让参加了山崎合战的丹羽长秀和池田恒兴两位大人也一起参加立嗣会议”。
天正十年(1582年)六月十七日，决定信长后继者的清洲会议在尾张清洲城内开始了。参加者有柴田胜家、丹羽长秀、池田恒兴和羽柴秀吉。秀吉在会议上推举信长嫡子信忠的遗孤三法师为后继者。当时三法师只有三岁，秀吉的用意十分明显，就是要把织田家的实权掌握在自己的手中。
清洲会议最终以秀吉的大获全胜而告终。对秀吉深深愤恨的胜家与神户信孝相勾结，举兵要打倒秀吉。但是却被秀吉先发制人，挟山崎合战胜利之余威，在贱岳大破胜家军，直逼胜家的居城北之庄。同月二十四日，胜家和前年与他结婚的妻子织田市自杀，北之庄城随之被攻破。此后，如水又奉秀吉之命与毛利家交涉领国疆界的问题，翌年三月谈妥。毛利家正式加入秀吉麾下。
同时登陆
同年，如水接受了基督教的洗礼，实际上他也使用刻有“SIMEON JOSUI”字样的印章。也有说受洗的日期是天正十三年，不过这些已经都无法确定了。
秀吉在巩固了自己织田家继承者地位之后，开始自信长时候就遗留下来的四国征伐。但由于在北陆方面也有不稳的迹象，所以秀吉没有亲自参加进攻四国的战斗，而是派弟弟秀长代替自己为总大将。如水则担任秀长的监军一起去了四国。作为讨伐军同行的还有秀长的外甥秀次，宇喜多秀家，蜂须贺正胜、家政父子，以及毛利辉元，吉川元春，小早川隆景等人率领的毛利军。大军从阿波(德岛县)、赞岐(香川县)、伊予(爱媛县)三个方向同时登陆。迎击的四国霸者长宗我部元亲原先只预测到秀吉会从阿波一国攻击，却没有想到会是三面同时登陆。此时，四万四国军要面对超过十二万的讨伐军。
战斗还没有打响，一些原本臣服于元亲的赞岐诸豪族就相继投降了秀吉，只有元亲为了防备四国征讨军而新筑的植田城仍然掌握在长宗我部家的手中，该城由一族的右兵卫率三千人镇守，元亲亲自为后援，准备与宇喜多军一决胜负。指挥宇喜多军的是整个远征军的监军如水，他利用铁炮这种新式武器密集攻击植田城的支城由良山和池田两城，巨大的响声使守城兵大为惊恐，不战就弃城逃走了。在确定赞岐已没有敌军之后，如水向本方传达了将阿波作为主战场的意见。于是，本来的三方面联合进军变成了合而为一的阿波攻略。阿波是长宗我部家苦心经营的防御阵地，拥有号称难攻不落要塞的岩仓城，为了拔掉这枚钉子，如水心生一计。“此城乃是要害，仅凭人力难以攻取。要用计谋，攻敌之心，此城就会不战而降。”
如水派人在城外修建了比城内的岗楼还要高的井楼。使城中的一切尽收眼底。然后，他又命人在井楼上装上大炮，向城里不断炮击。在正面战场上勇猛果敢的士兵们，却对这种远程武器十分害怕，在坚守了十九天后终于弃城逃走，全部退回了土佐(高知县)。正如如水所想的那样，在阿波最大要塞岩仓城陷落后，其他城中的守城军队也陆续退回了本国土佐。最终，孤立无援的元亲接受了劝降的条件，与秀长和睦，得到了土佐一国安堵。
同年的八月二十二日，如水的父亲职隆去世。享年六十二岁，遗体葬于播州饰东郡妻鹿村，法号心光院满誉宗园。对于他去世的地方，有姫路、山崎、国府山等多种说法，但经过考证，证实只有妻鹿村的国府山是正确的。
九州征伐
秀吉在完全控制了四国之后，又马不停蹄地开始向九州进军。当时九州萨摩国(鹿儿岛县西部)的岛津义久已经基本要统一九州了。最后还一直在抵抗着岛津军的是丰后的大友宗麟，但由于双方实力对比悬殊，大友眼看着就快要撑不住了。宗麟不得不向中央求援。此时已经被赐姓丰臣的秀吉依旧掷起了他的外交法宝，想用压倒性的实力为后盾逼迫岛津称臣，没想到却被义久一口拒绝。岛津军加紧了对九州各国的攻势，摆出一副大决战的架势。
天正十四年(1586年)九月，以毛利辉元，吉川元春和小早川隆景为主力的中国军队开进丰前，军监是黑田如水。同时，四国以长宗我部元亲，信亲父子和十河存保为主力的部队也在同时开进了丰后，军监为仙石权兵卫秀久。在与大友军汇合后，军奉行如水率领四千人开始南进。
当时如水的官位是从五位下勘解由次官，加上儿子长政的领地合起来才不过三万石。其直辖部队不足千人。但这次九州征伐却拥有四千之众，这可是立下军功，争取成为一方大名的大好机会。如水跟着中国的军队渡过关门海峡侵入丰前，一路势如破竹。从丰前的马ヶ岳城开始，山田、广津、仲蜂屋、时枝、宫城诸城的城主相继降伏，并送出了人质。只有小仓和宇留津两城仍在负隅顽抗。如水与辉元，元春，隆景一起进兵，于十月十四日攻落了岛津家的据点小仓。
随后，如水与吉川，小早川军一起将本阵移至京都郡的刈田松山城。十一月七日，二万八千余人的中国大军将离松山城三里远的筑城郡宇留津城团团围住。攻城战中，如水的家臣母里太兵卫友信得到了一番乘的功劳。城主加来与次郎、同新右卫门以下一千余人被杀，剩下的男女老少共三百七十三人全部活捉，被处以磔刑。如水的家臣中，除了母里太兵卫以外，井上九郎右卫门，栗山四郎右卫门，后藤又兵卫，野村太郎兵卫，久野四兵卫，大野少弁，吉田六郎太夫、又助，林太郎右卫门等人也都立下了战功。攻落城池后，如水在城里逗留了一天将宇留津废城，随即返回了刈田。
香春岳城
秀吉收到宇留津城落城的消息后，在十一月二十日派小早川左卫门佐和安国寺惠琼送信给如水：“你的心意我知道，军功的事虽然你没有说，但是敌我双方都可以看得到，在书信中断难说完。”至十二月上旬，丰前一带已经基本上被丰臣军平定，如水进入香春岳城，等待下一步的命令。而在同时，丰后的四国大军却在与岛津军的战斗中惨败，长宗我部元亲的嫡子信亲也在战斗中丧生。
天正十五年(1587年)四月，如水被编入羽柴秀长的南军，开始从丰前向丰后进军。由于秀长的军势极为强大，岛津方面认为在别国迎击对自己不利，应该返回自己的故乡(萨摩.大隅.日向)决战，于是开始了全面撤退。为了阻滞秀长军迅速南下，岛津军在日向(宫崎县)的高城和财部城两地集结了大量兵力。相对应的丰臣军势更加庞大，如水和毛利、吉川、小早川、宇喜多、蜂须贺、大友军一起包围了高城。同时，长宗我部的水军也从海上向财部城发动了进攻，丰臣军的目的很明显，就是想从海陆两方面压迫岛津家。但是，财部城的军队竟然弃城不守，反而北上准备截断南军的退路和补给线。听到这个惊人的消息后，如水和蜂须贺家政立刻前往财部城方向视察战况。
此时，从属于侦察军的如水嫡子长政提议在敌人的必经之地上放置伏兵，并表示希望能亲自指挥这支伏兵，如水接受了这个提议，并且派遣母里太兵卫和栗山大助等身经百战的勇士三十人，和足轻七、八十人调给长政指挥。
长政一行人渡过了耳川，正在寻找适合的地形以备实施突袭的时候，突然发现财部城中的敌兵五百人向他们冲了过来。长政先率部队向着一旦川旁的一座小山退走，等到敌人渡河的时候，全军开始突击。在这次战斗中，长政一马当先勇敢作战，太刀被打落在地，左手也负了伤，但是他仍手持胁差继续奋战。
后来，如水和经历过这场战斗的诸将谈起这件事的时候，说道：“不要觉得战斗的胜利始终会很轻松，只有自己亲身体验过才会了解其中的艰辛。”(新订黑田家谱)相对于诸家臣对长政军功的大加夸赞，如水却不以为然，他对长政说：“这只不过是匹夫之勇，而不是大将之道啊。”不过，秀长仍因这次胜利向如水发去了感恩状，并将此事报告了秀吉。秀吉也同样向如水发去了书信以示称赞。
在本土日向的受挫，沉重打击了岛津军的自信心，经此一役，岛津义久终于在四月二十一日向秀长投降。后来，在对九州征伐进行论功行赏的时候，黑田父子得到了丰前六郡的领地。就这样，如水成为了丰前十二万石的大名。
秀吉天下
天正十七年(1589年)，丰臣秀吉以私斗为借口下达了对北条家的讨伐令，除了动员各下属大名的兵力外，还向当时尚未臣服于秀吉的奥州势力下令出兵，实际上则是以北条征伐战为契机，准备一举平定奥州。
天正十八年(1590年)，二十万丰臣军大举进犯北条领，并很快包围了小田原城。如水以交涉代表的身份参加了这次战役。同年六月，如水进入了小田原劝北条氏政投降，七月九日，小田原开城。
统一了天下的秀吉并不满足，又想开始向朝鲜动武了。对于这次出兵朝鲜，如水是坚决反对的。但是已经被胜利冲昏头脑的秀吉并没有接受如水的谏言。反而把修建攻朝鲜的基地——肥前名护屋城的任务交给了黑田父子，并指名要如水担任设计任务。这个时候如水已经隐居了，黑田家的正式家督是黑田长政。隐居后，他正式改名为如水，时年仅四十四岁。
文禄元年(1592年)三月一日，征朝作战的编制发布了，丰前中津藩主黑田长政被任命为三番队的司令官。随后的四月二十二日，长政的三番队从名护屋出发。一番队于四天后的四月十七日在朝鲜的釜山浦登陆了。如水和长政与六番队的小早川隆景一起开往朝鲜。此次征朝的总司令官是秀吉的养子宇喜多秀家，当时才二十一岁，如水则担任参谋兼后见役。日本军队一开始势如破竹，五月七日即攻陷了首都汉城。五月上旬，日军的所有将领在汉城集结，开始划定各人在朝鲜的统治区域。长政被划分在汉城西北地区的黄海道。但是从一开始就反对出兵朝鲜的如水，却极力想要抑制战火的扩大。秀吉在察觉到了这一点后，一怒之下命令如水立即回国。此时的秀吉已经盘算在统一朝鲜之后，向明朝开战了。
但是在翌年文禄二年，战况开始恶化。如水受命再度北赴朝鲜。但在这次渡朝之后，如水和秀吉所信赖的三奉行(石田三成、增田长盛、宇喜多秀家)产生了对立。事情的起因是这样的：三奉行听说如水抵达朝鲜，马上前往如水所在的东莱城讨论以后的作战计划。但这个时候如水正在内室和浅野长政下棋，闻报三奉行来了以后，他只说了一句“等一会儿。”继续与浅野长政下棋。三奉行一开始在别室里等着，但是后来听出里面传来下棋的声音，又不见如水出来。盛怒之下就一言不发地离开了。等到如水下完了棋想要见三奉行的时候，却一个人也见不到了。
如水园清
为了使狂怒的秀吉原谅自己，如水决定出家。文禄二年(1593年)七月，黑田官兵卫剃发，法号如水园清，开始了他隐居的生活。这个名字的由来是来源于“水乃方圆之器”“人在毁誉褒贬之间，心如水般清澈。”这两句古语。本来官兵卫做好了最坏的打算(被迫切腹)。文禄三年(一五九四年)八月九日，他写下了对嫡子长政的五条教训之书。随后命令弟弟黑田利高和家老粟山善助将这篇教训状送到了在朝鲜的长政手里。
最终，秀吉念及如水过去的显赫战功，取消了切腹的命令，决定不再问罪。同时，秀吉向长政传话，让他免除后顾之忧。
但这时候的如水与秀吉已经貌合神离了，他开始私下与德川家康接触。庆长三年(1598年)八月十八日，丰臣秀吉病死，享年六十三岁。正如如水所料想的那样。秀吉死后，家康的野心已经暴露无遗了。
后来的庆长五年(1600年)七月，家康举兵讨伐上杉家，秀吉的遗臣石田三成认为打倒家康的好机会来到了，于是在居城佐和山举兵，关原之战揭开帷幕。
听到家康出兵的消息，如水立刻命令儿子长政参加家康军，自己则和一部分家臣一起在丰前中津城留守。这时候，如水受到了三成寄来的密信：“请叫回您的儿子甲斐守(长政)，加入我这一边来吧。”如水在回信中说，“如果你把九州七国赏赐给我的话，我就加入。”
结果，还没等三成的密使把他的话带回大阪，官兵卫已经举兵了，他将平时所积蓄的金银和米粮全部分发给各地的浪人，军队的数量很快飚升至九千人。得知官兵卫招募了这么多士兵的家康和三成一时间都无法判断他这么做的目的。
与此同时，因在朝鲜战场怯阵逃跑而被改易的大友义统得到石田三成资金上的支持和丰后国一国安堵的保证后，从海路杀回母国丰后。庆长五年九月九日，大友军在别府湾上陆后布阵于速见郡立石。原大友家臣吉弘统辛听到这个消息后立刻放弃了筑后柳川立花家两千石的优厚俸禄赶至丰后，竹田中川家的重臣田原绍忍也带着中川家的旗印前来加势。再加上四周闻讯而来的旧臣，兵力很快扩张至数千人。
九月十日，吉弘统辛率百余人夜袭木付(杵筑)城，遭到东军松井康之部(细川家臣)的顽强抵抗。大友军在苦战攻入二之丸后，得到黑田援军即将赶到的消息。不得不从海路退回立石。
在与大友军交战前，如水向义统发去书信，言及：“请与我站在一起，为东军尽忠。”如水的目的是为了减少兵力上的消耗，此时的他的心中已经谋划出天下三分的蓝图，即先定九州，再攻中国，进而与关原合战的胜者争夺天下。
大友义统
在没有得到大友义统明确答复的情况下，黑田队与细川队于十三日早朝从木付城出发，黑田布阵于角殿山、细川队则在实相寺山遥相呼应。联军的位置距离石垣原的大友军直线距离仅三千米。不久，细川军中的时枝平太夫队在出击时遭遇了大友军的先头部队，双方在五町(约五百五十米)的距离对峙。行至正午，两军逐渐接近并引发战端。大友军前部用铁炮不断向时枝队射击，后在松田有吉队的攻击下败退，但时枝队在反攻中被大友军的密集铁炮重创。不久，吉弘统辛在与松井有吉队的激战中阵亡。至下午六时，大友军损失了吉弘统幸与宗像镇续两员大将，败局已定。如水随即率本队赶到实相寺山劝说义统投降。十五日，义统通过母里太兵卫向东军投降。(后义统以死罪减一等判流放常陆国)
在击败了大友军之后，如水继续以破竹之势攻克了三成方在九州的诸城。仅用两个月时间就完全平定了丰前丰后两国。此时，各地的守城军队都已经被派到关原战场。九州已经没有可以与之对抗的势力了。
但如水的野心却在九月十三日那天早早地结束了，这是因为在关原合战中以德川为首的东军仅用一天时间就击败了石田为首的西军。但更让他没有想到的是，使战争迅速结束的人，竟是他的儿子黑田长政。黑田长政继承了如水出色的外交才能，使得小早川秀秋果断投靠东军。幸运的是如水此前一路攻打的均是西军的城池，因此在战后被免于处罚。
如水的嫡子长政凭借着在关原战场上获得的军功得到了筑前(福冈县)五十二万三千石的大封，如水则从丰前的中津城搬到了筑前的名岛城。但是三面临海一面环山的名岛城无法满足官兵卫的需求。于是，他就在古时候就以商业繁荣著称的博多以西，福崎的丘陵地带建造了一座新城。如水以黑田家最初发展之地备前福冈为这座城命名。也就是今天的福冈市。随后，如水选择了这座城的三之丸作为自己的隐居之所，静静的渡过了自己的余生。
庆长九年(1604年)三月二十日，住在伏见藩邸的官兵卫诵读了早已准备好的辞世句，在短册上亲自写下了自己的名字，交给长政。不久在辰时(上午八点)静静的停止了呼吸。
“おもひをく ，言の叶なくて つひに行く。
道はまよはじ， なるにまかせて。 ”
法号龙光院如水园清。葬于博多崇福寺。享年五十九岁。
