Thuở nhỏ ông học ở Hà Nội. Năm 1926, chàng thanh niên 18 tuổi họ Vũ xuất dương sang Trung Quốc, tham dự lớp huấn luyện cán bộ cách mạng ở Quảng Châu do lãnh tụ Nguyễn Ái Quốc tổ chức. Sau một thời gian, ông và nhiều thanh niên Việt Nam khác được gửi vào học tại Trường quân sự Hoàng Phố, cùng một khóa với Trần Tư Chính (Bàng Thống), Nguyễn Tư Hồng (Chung Phong). Ra trường, ông ở trong hàng ngũ quân đội cách mạng Trung Quốc. Sau khi cuộc khởi nghĩa Quảng Châu thất bại, Nguyễn Sơn tìm đường sang Thái Lan hoạt động. Một thời gian sau, ông lại trở về Trung Quốc, ông hoạt động cho Đảng Cộng sản Trung Quốc tại khu căn cứ Đông Giang. Dấu chân ông đã để lại trong cuộc Vạn lý trường chinh. Trong thời gian ở Trung Quốc trước chiến tranh thế giới thứ hai với nhiệt tình tuổi trẻ và ý chí cách mạng, Nguyễn Sơn tham gia các hoạt động cách mạng, huấn luyện chính trị, quân sự, làm công tác tuyên truyền, hoạt động văn hóa văn nghệ trong Bát lộ quân Quân giải phóng Trung Quốc, từng giữ chức uỷ viên Chính phủ công nông Xô viết Trung Quốc.
Sau Cách mạng Tháng Tám, ông về Việt Nam, được giao nhiệm vụ Chủ tịch uỷ ban Kháng chiến miền Nam Trung Bộ. Tháng 5-1946, với chức vụ ấy, ông cùng với Bộ trưởng Bộ Nội vụ hồi đó là đồng chí Võ Nguyên Giáp đi thị sát ở mặt trận Đèo Cả. Tháng 1-1947, ông được bổ nhiệm làm Cục trưởng Cục quân huấn Bộ Quốc phòng, sau đó giữ chức vụ Tư lệnh kiêm Chính ủy Chiến khu V, Tư lệnh kiêm Khu trưởng Liên khu IV. Tháng 1 năm 1948, ông được phong quân hàm Thiếu tướng Quân đội nhân dân Việt Nam. Khoảng năm 1951, ông sang phục vụ lại trong hàng ngũ Quân giải phóng nhân dân Trung Quốc, làm việc ở Bộ Tổng tham mưu, Bộ Quốc phòng Trung Hoa với các chức vụ: Cục trưởng Cục điều lệnh, Giám đốc tòa soạn tạp chí Huấn luyện chiến đấu... Năm 1955, ông được Chính phủ Trung Quốc phong quân hàm thiếu tướng. Như vậy, ông trở thành vị tướng của hai nước Việt Nam và Trung Quốc thời hiện đại. Sau đó vì bệnh nặng, ông trở về Việt Nam và mất năm 1956, tại Hà Nội.
Chuyện phong tướng cho Nguyễn Sơn cũng khá thú vị. Ngày 20-1-1948, Chủ tịch Hồ Chí Minh ký sắc lệnh số 111/SL phong hàm Thiếu tướng cho Nguyễn Sơn. Vấn đề phong các tướng sĩ đã được Chủ tịch Hồ Chí Minh nêu ra tại cuộc họp Hội đồng Chính phủ hôm 19-1-1946 tại Việt Bắc. Các tướng sĩ được phong hàm lần này gồm có: Võ Nguyên Giáp - Đại tướng Tổng chỉ huy quân đội Quốc gia; Nguyễn Bình - Trung tướng, Chỉ huy quân sự miền Nam; Nguyễn Sơn và một vị nữa phong Thiếu tướng, còn lại từ đại tá trở xuống rất nhiều. Sau khi ký sắc lệnh phong hàm Thiếu tướng cho Nguyễn Sơn, Chủ tịch Hồ Chí Minh ủy nhiệm cho Chủ tịch Uỷ ban Kháng chiến hành chính Liên khu IV làm lễ thụ phong nhưng không hiểu vì sao, Nguyễn Sơn chần chừ không chịu nhận quân hàm tướng. Tin đó đã lên tận Việt Bắc.
Bác Hồ nhận được tin ấy, Người suy nghĩ một lát và chợt hiểu ra tất cả. Bác lấy tấm thiếp nhỏ Người vẫn dùng, viết:
Tặng Sơn đệ:
Đảm dục đại
Tâm dục tế
Trí dục viên
Hành dục phương.
12 câu nói này, Bác lấy từ câu nói của Tôn Tư Mạo đời Đường: “Đảm dục đại nhi tâm dục tiểu, Trí dục viên nhi hạnh dục phương. Niệm niệm hữu như lâm địch nhật, Tâm tâm thường tự quá kiều thì”. Dịch là: “Cái mật thì phải muốn lớn gan rộng rãi; cái tâm địa mình thì phải muốn ở cho nhỏ nhặt, chín chắn; cái trí thì phải cho tròn trịa mềm mỏng; cái nết thì phải cho vuông vức ngay thẳng cương cát, (ấy là cái phép làm người). Khi suy tưởng thì phải suy tưởng như là ngày tới trước quân giặc vậy; cái lòng thì phải lo sợ như lúc đi ngang qua cầu vậy”.
Bác Hồ bỏ cả đoạn sau, chỉ lấy 12 chữ đầu thay chữ “tiểu” bằng chữ “tế’. Bằng cách thay chữ “tế’ người nhận được tấm thiếp am hiểu chữ Nho hiểu được rằng “cái tâm của mình phải thật cho khéo léo, tế nhị, chín chắn hơn nữa, gấp nhiều lần so với người xưa đã dạy...”.
Bác Hồ trao tấm thiếp cho bác sĩ Phạm Ngọc Thạch và cử bác sĩ làm phái viên của Chính phủ lặn lội từ Việt Bắc đi vào tận khu IV chủ trì lễ trao quân hàm cho Nguyễn Sơn.
Khi nhận được tấm danh thiếp với 12 chữ đề tặng của Bác Hồ gửi cho, Nguyễn Sơn bỗng hiểu ra tất cả. Vốn tính ngang tàng, tù giam, sống chết đã từng trải qua, ông chần chừ chưa muốn nhận chức, bởi vì không muốn để cán bộ trong Liên khu “cùng cấp” chủ trì lễ thụ phong chứ không phải coi khinh phép nước. Hồ Chủ tịch đã hiểu rõ tâm can ông, tính cách của ông. Bác đã không lấy tư cách là Chủ tịch nước để gửi ông 12 chữ quý giá ấy mà gửi cho người em tên là Sơn, mới nghe đã thấy chân tình. Bác tỏ ý khen ngợi Nguyễn Sơn đã có nhiều cống hiến hy sinh, làm được nhiều việc lớn như 12 chữ của Tôn Tư Mạo, nhưng Người vẫn khuyên răn ông phải làm việc tốt hơn nữa: Và việc Hồ Chủ tịch cử bác sĩ Phạm Ngọc Thạch - đặc phái viên của Chính Phủ vào Khu IV chủ trì lễ tấn phong là một bằng chứng Bác Hồ rất ưu ái giữ “thể diện” cho ông, Nguyễn Sơn đã phải thốt lên:
- Ông Cụ này khiếp thật!
Ngay lập tức, ông chỉ thị cho cán bộ trong Liên khu Bộ chuẩn bị đón đặc phái viên, nhận thụ phong.
Khi ông qua đời (1956), trong điếu văn do Hoàng Anh - đại diện Bộ Quốc phòng đọc, còn gọi tên ông là Hồng Thuỷ.
Hơn 11 năm sau ngày mất của Thiếu tướng Nguyễn Sơn (21-12-1967), nhân ngày thành lập Quân đội nhân dân Việt Nam, Bác Hồ đã tiếp bà Hằng Huân và cháu Thanh Hà, vợ và con gái của Thiếu tướng Nguyễn Sơn. Người ân cần hỏi thăm tình hình ăn ở, sinh hoạt của gia đình và động viên bà Hằng Huân cố gắng dạy dỗ con gái ngoan ngoãn tiến bộ.
Kim Dung, Chí Thắng, Hải Anh