Tháng 3 năm 1886, thực dân Pháp đánh chiếm lên Lào Cai. Sau khi chiếm được Bắc Hà, nhận thấy đây là một vị trí chiến lược quan trọng của vùng Đông Bắc tỉnh Lào Cai, giữ được Bắc Hà coi như giữ được Lùng Phình, Si Ma Cai, giữ được cầu nối với với Hoàng Su Phì (Hà Giang) ở phía Đông, Pha Long, Mường Khuông, Ban Làu ở phía Tây. Hơn nữa thung lũng Bắc Hà được nối với các vùng xuôi bằng con đường độc đạo xuyên suốt xương sống huyện, rồi rẽ qua ngả Hà Giang và vươn lên tận Si Ma Cai nơi tiếp giáp với biên giới Việt Trung nên sau khi chiếm được Bắc Hà, một mặt Pháp mua chuộc, dụ dỗ các thổ ty, gắn chặt quyền lợi của thổ ty với chúng, song mặt khác chúng vẫn cảnh các giao các thổ ty cai quản từng vùng. Để phòng thủ, răn đe các vị thủ lĩnh trong vùng và giúp đỡ Tri châu trong cai trị dân chúng, cùng với việc xây dựng đồn binh kiên cố thực dân Pháp đã cho xây dựng dinh thự lớn cho Hoàng Yên Chao ở, làm việc và trở thành một lâu đài cố thủ khi cần thiết.
Dinh thự được khởi công từ năm 1920 đến năm 1921 thì hoàn thành. Việc xây dựng dinh thự như một lâu đài là kỳ công to lớn của họ Hoàng và của quan thầy Pháp quốc lúc bấy giờ. Với quyền thế của một tri châu giữa cao nguyên rộng lớn và sự hỗ trợ uy lực của đội quân đồn trú trong ba năm liên tục, Hoàng Yên Chao đã huy động hàng vạn công, hàng nghìn trâu ngựa vào việc xây dựng dinh thự. Nhằm khai thác tối đa tài nguyên cho việc xây dựng, viên tri châu đã tính theo sản vật từng vùng để khoán cho dân, ví như gỗ lim, cát Bảo Nhai, gỗ sến Nậm Mòn, gỗ táu Cốc Ly, đá đen Nậm Mòn, Lùng Phìn, vôi, gạch, ngói tự đốt hoặc huy động ngựa ra tận Phố Lu thồ về... Ngoài những nguyên liệu sản xuất tại chỗ, các vật liệu quan trọng khác như sắt thép, xi măng, gạch men... đều được thực dân Pháp cung cấp từ sân bay quân sự trên cánh đồng thuộc xả Thải Giàng Phố hoặc theo đường tàu lên tới phố Lu. Cùng với việc khai thác vật liệu, Hoàng Yên Chao cho người về kén thợ xây đá từ Ninh Bình, thợ mộc từ Hà Nam lên làm và việc xây dựng được sự giám sát, điều hành của một viên kỹ sư xây dựng người Pháp.
Dinh thự họ Hoàng được xây dựng ngay giáp trung tâm huyện lỵ, địa thế đẹp, thiết kế theo kiểu lâu đài, gồm nhà ở, lô cốt, hầm ngầm thông với trại lính. Mỗi bề của lâu đài rộng 40 mét. Cầu thang hình cánh cung lồi hẳn ra bên ngoài hệ thống tường, bề rộng 15 mét, bề sâu 3,2 mét, gầm cầu thang là hai chòi canh gác và một gian nhỏ dùng để nghỉ ngơi tạm cho lính canh. Leo qua mười bẩy bậc cầu thang (cao ba mét so với mặt nền) sẽ lên tới ban công và chạm cổng chính của lâu đài. Việc bố trí cầu thang hợp lý vừa làm đẹp cho lâu đài, vừa thuận tiện cho sử dụng và tác chiến khi cần thiết.
Bước qua cổng lâu đài khách sẽ không khỏi choáng ngợp trước một kiến trúc vừa uy nghiêm, trang trọng của phong cách Á Đông, ( vừa đồ sộ, thuận tiện trong sinh hoạt và thuận lợi trong phòng thủ của những lâu đài châu Âu. Sân lâu đài rộng gần hai trăm mét vuông, được lát bằng gạch nung các cỡ 8x25, 20x20. Ba dãy nhà hai tầng, mỗi tầng ba phòng ôm lấy sân. Dãy chính đối diện với cổng lâu đài nền nhà cao hơn mặt sân một mét hai, mái nhọn, lợp ngói âm dương, nền lát gạch hoa, mặt tiền được trang trí như một cung điện. Hai dãy nhà hai bên được xây dựng thấp hơn so với dãy chính. Đối diện với dãy nhà chính là bức tường dày 30cm nối hai dãy nhà hai bên. Bức tường được trang trí công phu. Tám hình trang trí xuyên qua tường vừa làm đẹp, thông thoáng, tôn thêm vẻ uy nghi cho lâu đài, vừa thành những lỗ châu mai lợi hại trong phòng thủ và tác chiến. Hệ thống trụ cột, vòm cuốn, cấp thoát nước, chống sét, chòi canh, lò sưởi bằng củi cho mỗi phòng, dầm, sàn tầng, cầu phong ly tô đều làm bằng gỗ nghiến đã ngâm tẩm kỹ, đảm bảo cho ngôi nhà vừa sử dụng thuận tiện, vừa chống chọi được với thời gian. Ngoài ra lâu đài còn có hai dãy nhà nối tiếp với hai dãy nhà hai bên, hông phía Bắc có hệ thống nhà bếp, nhà vệ sinh, bên ngoài lâu đài về phía sau có trại lính.
Dinh thự họ Hoàng làm xong đã trở thành một dinh thự to đẹp, kiên cố nhất vùng. Ngày khánh thành, Hoàng Yên Chao đã mời khắp các quan đồn, các quan đầu toà của tỉnh, các thổ ty trong vùng đến dự. Ngoài đội xoè được huấn luyện công phu, Hoàng Yên Chao còn cho mời cả đoàn kinh kịch của tỉnh Vân Nam - Trung Quốc về biểu diễn phục vụ. Tháng 10 năm 1950, trước sự tấn công như vũ bão của bộ đội ta, hệ thống phòng thủ của Pháp và tay sai ở Bắc Hà nhanh chóng tan rã, cả nhà họ Hoàng cuốn gói theo quan thầy về Hà Nội rồi sau đó rút vào miền Nam. Bắc Hà được giải phóng, Lâu đài họ Hoàng được chính quyền cách mạng tiếp thận, bảo quản và sử dụng cho đến ngày nay.
Trong những năm gần đây, Bắc Hà là một vùng du lịch hấp dẫn. Các giá trị văn hóa đặc đáo, giàu bản sắc như chợ phiên, phong tục tập quán, văn hóa tộc người, môi trường cư trú, cảnh sắc núi non hùng vĩ và đặc biệt là lâu đài Hoàng A Tưởng (gọi theo tên của con trai Hoàng Yên Chao) đã được các khách du lịch trong và ngoài nước nô nức tìm đến tham quan, hưởng thụ. Theo sự biến thiên của thời gian, lịch sử, lâu đài dẫu có thay đổi, sửa chữa một số chi tiết, như dỡ bỏ hai tháp canh ở tầng thượng, trại lính phía sau, dãy nhà ngang, nhà bếp phía Bắc lâu đài bị dỡ bỏ, hệ thống lò sưởi không sử dụng... song cơ bản cấu trúc lâu đài vẫn được giữ nguyên. Tham quan lâu đài, quý khách không chỉ có cơ hội thưởng thức giá trị kiến trúc độc đáo từ đầu thế kỷ hai mươi, hình dung ra một thời cát cứ của một thổ ty hùng mạnh mà còn được tận hưởng cảnh quan thiên nhiên kỳ thú qua dòng suối uốn lượn, ẩn hiện như con rồng giữa những rừng mận tam hoa, qua những dãy núi đứng, núi ngồi nối nhau phía trước mặt, thu vào tầm mắt cả một thị trấn sôi động, đổi mới từng ngày.
Trước đây, Lâu đài Hoàng A Tưởng được sử dụng làm Nhà khách của huyện Bắc Hà. Tôi đã có lần ngủ trên tầng hai, đêm vắng lặng, lơ mơ trong giấc ngủ chập chờn, nghe xa gần vẳng lại tiếng ngựa gõ móng, tiếng cối xay ngô nấu mèn mén và tiếng gia nhân họ Hoàng dưới ánh trăng xanh ngằn ngằn. Sáng hôm sau, các nhà văn, các nhạc sĩ đi trong đoàn cùng kể lại giấc mơ tương tự. Lâu đài Hoàng A Tưởng thật huyền bí, không thể cắt nghĩa được... Bây giờ, tất cả các phòng khách kê giường ngủ dạo trước được biến thành các nơi trưng bày văn hóa miền núi vùng cao: tranh ảnh, thổ cẩm, trang phục các dân tộc H'mông, Sán Dìu, Dao... Du khách đến Lâu đài Hoàng A Tưởng, không chỉ được nghe lại huyền thoại lâu đài, chiêm ngưỡng vẻ đẹp kiến trúc độc đáo giao hòa đông - tây mà còn được cảm nhận, thưởng thức văn hóa các dân tộc thiểu số vùng cao Bắc Hà.
Là một di sản văn hóa vật thể giữa một vùng văn hóa đặc sắc, lâu đời, lâu đài Hoàng A Tưởng cần phải được tu tạo, khai thác hợp lý để vừa tạo ra nguồn thu nhập, vừa giới thiệu với du khách sự độc đáo, hấp dẫn cả về lịch sử, kiến trúc, cảnh quan của một vùng đất có nhiều dân tộc giữa cao nguyên một thời sóng gió.
Trích tạp chí Tinh hoa Việt số 2 tháng 2 năm 2011