Từ tháng 9 năm 1945 đến cuối năm 1949, ông gia nhập quân đội và lần lượt giữ các chức vụ: đội trưởng thủy đội Bạch Đằng đánh Pháp ở Khánh Hòa; Chi đội phó Chi đội Phan Đình Phùng; Chỉ huy trưởng mặt trận Buôn Ma Thuột và đường 14; Phó chỉ huy quân sự tỉnh Quảng Nam - Đà Nẵng; Trung đoàn trưởng các trung đoàn 96, trung đoàn 73, rồi trung đoàn 126.
Từ năm 1950, ông lần lượt giữ các chức vụ Trung đoàn trưởng trung đoàn 108; Tham mưu trưởng mặt trận Bắc Tây Nguyên; Chỉ huy trưởng sư đoàn 305; Tham mưu phó, rồi Tham mưu trưởng Liên khu 5. Tháng 10 năm 1954, ông tập kết ra Bắc, được cử vào chức vụ Phó sư đoàn trưởng sư đoàn 308, sau đó được điều về Ban nghiên cứu thủy quân, giữ chức vụ Trưởng ban. Năm 1955, ông giữ chức Phó Cục trưởng Cục Phòng thủ bờ biển (sau là Cục Hải quân) vừa mới thành lập, được phong quân hàm Đại tá. Sau khi quân chủng Hải quân được thành lập, tháng 1 năm 1964, ông giữ chức Phó tư lệnh Quân chủng. Tháng 12 năm đó, ông là Tư lệnh quân chủng hải quân kiêm Tư lệnh Quân khu Đông Bắc (sau khi sáp nhập). Từ tháng 2 đến tháng 5 năm 1975, ông là Tư lệnh Hải quân tiền phương trong chiến dịch tổng tiến công 1975. Tháng 4 năm 1975, ông được phong quân hàm Thiếu tướng Hải quân (từ năm 1981, quân hàm này gọi là quân hàm Chuẩn đô đốc Hải quân); Tư lệnh Hải quân Nhân dân; ủy viên Hội đồng khoa học Bộ Quốc phòng. Từ tháng 7 năm 1976, ông chuyển ngành, làm Thứ trưởng Bộ Thủy sản cho đến khi nghỉ hưu. Ông là đại biểu Quốc hội các khóa III, IV, V, VI (1974-1980).
Ông mất tại Đà Nẵng năm 1993. Tháng 5 năm 2010, ông được truy tặng danh hiệu Anh hùng Lực lượng vũ trang nhân dân.
Nguyễn Thái An
Hà Tiến Thăng