鉴于鸦片战争的惨痛教训，中国有识有志之士认为要抵御帝国主义海上入侵，与帝国主义坚船利炮的侵略舰队抗争，必须建立一支近代中国海军，即蒸汽舰队海军。为建立近代中国海军，需要学习引进西方先进的海军科学技术。

这些有识有志之士的佼佼者及代表人物首推林则徐和魏源，他们首次提出“师夷长技以制夷”的策略方针。魏源并在其所辑《海国图志》一书中，写出了引进西方海军科学技术，建造战舰，制造炮械，建立一支拥有100艘战舰、3万名官兵的近代中国海军的方案；同时，建议裁撤旧式水师及“冗滥之兵饷”，以供“募养精兵之费”。他认为实现这一海军建设方案，中国海军即“可以驶楼船于海外，战洋夷于海中。”

《海国图志》成书于第一次鸦片战争之后，至 20年以后的19世纪60年代中期之前，林则徐、魏源的创议仍然停留在纸上谈兵阶段。在此期间，中国又经历过失败得比第一次鸦片战争更惨的第二次鸦片战争的大劫难，英法联军从海上多次入侵后一直攻入北京，古都北京被洗劫，圆明园被毁，造成中国历史上的空前浩劫。此后，建立近代中国海军的创议的开始实行，才由大臣的奏请而提上清廷的议事日程。

1866年6月25曰，闽浙总督左宗棠上奏清廷，在福州马尾设立船政，造舰育才，以筹建海军。7月14日，清廷批准左宗棠奏议。11月19曰，根据调任陕甘总督的左宗棠的奏荐，特任原江西巡抚沈葆桢为首任福州船政大臣，兴建福州船政。从此，标志着近代中国海军的筹建开始起步。近代中国海军的兴衰史，经历清末海军与中华民国海军两个阶段。

清末海军的人才（初级指挥军官、初级专业技术军官）培养，由最早建立的福州船政学堂和以后建立的天津水师学堂、江南水师学堂、黄浦水师学堂、烟台水师学堂等担任，共毕业学生1570余名（其中一部分派遣出国留学海军），成为海军的骨干力量。

清末海军舰艇，采取引进西方技术自行设厂建造与向西方购买并举的方针。自造舰艇主要来自福州船政的造船厂。迄1888年北洋海军正式成军，在20余年时间内，清末海军已具有相当规模。共有铁甲舰、巡洋舰（快碰船）、驱逐舰（鱼雷快船，猎舰）、炮舰（蚊船）、炮艇、鱼雷艇、练习舰（练船）和其他兵船等蒸汽动力舰艇130余艘，总排水量约12万吨。已建立有北洋、南洋、福建、广东等4支区域性舰队，其作战实力在当时的远东地区是首屈一指的。

但是，由于清廷军政当局战略指挥无能，海上战役指挥严重失误，导致福建海军在1884年中法战争马尾海战（亦称马江之战）中沉毁殆尽；清末海军的主力北洋海军在中日甲午战争中的丰岛海战、黄海海战（亦称大东沟海战）和威海卫之战中，连战连败，最后全队覆没。中国海域制海权落入侵略者之手，中国海防依然洞开。

近代中国的伟人、资产阶级民主革命家孙中山在领导推翻清王朝，建立中华民国以后，即明确指出：“世界大势变迁，国力之盛衰强弱，常在海而不在陆，其海上权力优胜者，其国力常占优胜。”（《孙中山全集》第2卷第564页）在中华民国建国之初，孙中山即有此真知灼见，足见他具有领导国家走振兴海权之路的胆略与决心。

不幸的是，孙中山临时大总统的职权仅有短短的3个月，国家大权即旁落于袁世凯之手，振兴中国海权的思想不能实现，他在1912年12月吊唁海军总长黄钟瑛逝世的挽联中黯然发出“伤心问东亚海权”的慨叹。 1919年，孙中山又提出“争太平洋之海权，即争中国之门户权”，它关系“我中华民族之命运，中华国家之命运”（《孙中山全集》第5卷第119页）的正确论断。

但是，从1912年4月以后的中华民国政府，由于缺乏海洋观念和海权思想，忽视海防，加之复辟与反复辟斗争，军阀割据与混乱，孙中山在广州领导的护法之役未获成功，海军领导与指挥难以统一。北京政府即北洋军阀政府海军有舰艇30 ~ 40艘；广州军政府海军即护法舰队有舰艇18艘，至1927年北伐战争时达48艘；东北海军即奉系海军有舰艇20余艘，以上3部分海军共有舰艇100余艘，总排水量7 ~ 8万吨。1929年1月，南京国民政府统一各部分海军, 编制有第1、2、3、4舰队和练习舰队、鱼雷游击队。

至1937年抗日战争爆发前夕，海军共有舰艇120余艘，约6.8万吨。抗日战争爆发后，南京国民政府海军舰艇在长江口江阴、珠江口、闽江口等地自沉25艘（另征用民船约300艘自沉），用以阻塞航道、迟滞曰军进攻行动。在抗日战争过程中，未曾进行过真正意义上的海战，只是进行水域上空的对空作战，海军舰艇被日军飞机炸沉80艘，炸伤10余艘，至1942年，海军仅余小艇15艘，西撤四川江面，实力已损失殆尽。抗曰战争胜利后，海军恢复重建，其舰艇有接受日伪海军的、英国赠予的、美国援助的，经挑选后编入海军建制序列的舰艇为275艘，总排水量约13万吨，官兵4万人。至1949年，国民党政府海军共有舰艇97艘、官兵3800余人毅然起义，加入中国人民解放行列。其余的陆续逃往台湾。