Khu đất xây dựng Nhà Hát Lớn trước kia là một vùng đầm lầy thuộc đất của hai làng Thạch Tần và Tây Luông thuộc Tổng Phúc Lân Huyện Thọ Xương. Vào năm 1899 hội đồng thành phố nhóm họp dưới quyền chủ tọa của Richard – là Công sứ Hà Nội đề nghị lên toàn quyền Fourer cho xây Nhà Hát.

Tác giả đồ án thiết kế là hai kiến trúc sư Harlay và Broyer. Bản thiết kế này phải sửa đổi nhiều bởi sự góp ý của nhiều kiến trúc sư.

Công trình được khởi công vào ngày 7 tháng 6 năm 1901, dưới sự giám sát kỹ thuật của thanh tra đô thị – kiến trúc sư Harlay – một trong hai tác giả thiết kế. Người phụ trách thi công là hai ông Travary và Savelon.

Việc san lấp mặt bằng diễn ra rất vất vả. Hàng ngày có 300 công nhân làm việc, 35000 cọc tre được đóng với khối bê tông dày 90 cm. Công trình phải sử dụng hơn 12000m3 vật liệu, gần 600 tấn gang thép. Công trình chiếm diện tích 2600m2, chiều dài công trình là 87m, chiều rộng là 30m, điểm cao nhất của công trình so với mặt đường là 34m. Mặt trước của công trình rất bề thế, có nhiều bậc trông ra quảng trường rộng (Nay gọi là quảng trường Cách mạng tháng 8 ), Những bậc thềm chạy dài trước Nhà hát trước đây để đón thẳng các xe của các quan chức thuộc địa đến xem.

Những người thiết kế công trình đã tìm tòi tham khảo kiểu kiến trúc cổ Hy Lạp Coranhtơ kết hợp với kiểu lâu đài Tuylory và nhà hát Opera Paris để tạo nên một khối kiến trúc riêng biệt.