明治维新政府从1868年开始推行日本的工业化和军国化，殖产兴业、富国强兵，防止日本被欧美列强击败。1869年，日本建立第一支近现代化的海军，命名为“大日本帝国海军”，1872年设立海军省管理海军，由帝国总军令部的海军总军令部指挥。维新政府计划建立一支由200艘船组成的海军，编为十支舰队，但由于政府缺乏资金这个计划很快就被放弃了。
国内的叛乱，尤其西南事变迫使政府将精力集中在陆战上。海军政策主要集中在沿海防卫上。其口号为“守势国防”和“陆主海次”。
1870年天皇训令中规定英国海军为日本的榜样。日本海军中的多艘战舰如扶桑号战舰都是英国造船厂建造的。1873年一支率领的英国舰队访问日本。1879年日本还雇佣了英国人来训练海军士兵。石川岛播磨重工业和川崎重工业等造船公司也是这个时候出现的。
日本还从英国购买了两艘改装的护卫巡洋舰。浪速号巡洋舰和它的姊妹舰的排水量为3650吨，最高速度可达18节，装有2至三英寸的装甲和两门10.2英寸大炮。同时中国从德国进口了两艘7335吨排水量的战列舰（定远号战列舰和镇远号战列舰），两国之间开始了一场军备竞赛。
甲午战争之后日本在俄国等国的威胁下被迫退出辽东半岛被日本视作屈辱，此后日本加强其军事力量为将来的对俄作战做准备。以卧薪尝胆为口号日本开始了一个为期十年的海军扩充计划，在这段时间里日本海军增加了109艘战舰，总排水量20万吨，海军人员从15100人扩充到40800人。1904年日俄战争爆发。在对马海峡海战中，东乡平八郎指挥的以三笠号为旗舰的日本混合舰队赢得了“历史上胜负最分明的海战”，俄国波罗的海舰队几乎全军覆没。
此后日本致力于建立本国的海军工业。日本最后一次从外国买大船是1913年从英国买的金刚号战列巡洋舰。华盛顿条约签订后，日本拥有仅次于美、英的世界第三大的海军。
