Từ xưa, trên hồ Tả Vọng (Hoàn Kiếm) đã có gò đất cao, tương truyền các tiên nữ thường về đây ca hát. Thời Lý Thái Tổ gọi là Ngọc Tượng Sơn, thời Trần gọi là Ngọc Sơn. Trên Ngọc Sơn có ngôi chùa nhỏ, về sau bị huỷ hoại. Cuối thời Lê Trung Hưng, ông Tín Trai, người làng Nhị Khê, nhân đền cũ lập ngôi chùa mới gọi là chùa Ngọc Sơn. Bên cạnh đó có đền thờ Quan Đế (Quan Vân Trường). Năm Thiệu Trị thứ 3 (1843) con ông Tín Trai lại nhường chỗ này cho hội Hướng Thiện xây dựng lại làm nơi thờ Văn Xương Đế Quân. Thời gian sau, lại phối thờ Lã Động Tân, Quan Đế, Trần Hưng Đạo. Năm Tự Đức thứ 18 (1865) Phương đình Nguyễn Văn Siêu đứng ra vận động xây lại đền Ngọc Sơn, đình Trấn Ba, cầu Thê Húc, Tháp Bút, Đài Nghiên…

Đền Ngọc Sơn được xây dựng trên núi Ngọc giữa hồ Hoàn Kiếm. Đền do hội Hướng Thiện đứng ra xây dựng vào năm 1843, xây lại vào năm 1865 để thờ bốn vị Đế quân: Văn Xương Đế Quân, Phù Hựu Đế Quân, Quan Thánh Đế Quân, Cửu Thiên Vũ Đế (Trần Hưng Đạo). Ngọc Sơn là hình ảnh thu nhỏ của sự dung hoà Tam giáo.  Người xưa cho các thần là tinh hoa của Tam giáo – trung thứ, từ, bi, cung kiệm. Tôn thờ các thần cũng chính là tôn thờ cái thiện, tôn thờ trung thứ, từ bi, cung kiệm. Làm được như vậy, sẽ hợp với lẽ trời và được hưởng phúc.