Chùa Quán Sứ được xây dựng vào thế kỷ 15. Nguyên xưa ở phường Cổ Vũ chưa có chùa, chỉ có mấy gian nhà tranh ở phía Nam, dân làng dùng làm chỗ tế thần cầu yên gọi là xóm An Tập. Theo sách Hoàng Lê Nhất Thống Chí, vào thời vua Lê Thế Tông, các nước Chiêm Thành, Ai Lao thường cử sứ giả sang triều cống Việt Nam. Nhà vua cho dựng một tòa nhà gọi là Quán Sứ để tiếp đón các sứ thần đến Thăng Long. Vì sứ thần các nước này đều sùng đạo Phật nên lại dựng thêm một ngôi chùa cũng nằm trong khuôn viên Quán Sứ để họ có điều kiện hành lễ. Thời gian đã xóa đi dấu khu nhà Quán Sứ nhưng ngôi chùa thì vẫn tồn tại.

Tam quan của chùa có ba tầng mái, nằm giữa là lầu chuông. Qua tam quan là một sân rộng lát gạch, bước lên 11 bậc thềm là tới chánh điện cao, hình vuông, xung quanh có hành lang.

Chùa Quán Sứ có lẽ là một trong rất ít ngôi chùa ở Việt Nam mà tên chùa cũng như nhiều câu đối đều được viết bằng chữ quốc ngữ. Phải chăng vì ngôi chùa được xây dựng lại vào giữa thế kỷ 20 và vì chùa đã trở thành trụ sở trung tâm của Tổng hội Phật giáo Bắc Việt, nay là của Giáo hội Phật giáo Việt Nam, ngôi Quốc tự chung của các thiện nam tín nữ trên đất Việt. Phân viện Nghiên cứu Phật học thuộc Giáo hội và văn phòng tổ chức Phật giáo Châu Á vì hòa bình (ở Việt Nam) cũng đặt ở đây.

Nửa thế kỷ nay, chùa Quán Sứ đã chứng kiến nhiều hoạt động quan trọng của Phật giáo Việt Nam, trong đó có sự thống nhất tổ chức Phật giáo trong nước và sự hòa nhập của Phật giáo Việt Nam với Phật giáo thế giới. Chính nơi đây vào ngày 13 tháng 5 năm 1951 (mồng 8 tháng 4 năm Tân Mão) lần đầu tiên lá cờ Phật giáo thế giới do Thượng tọa Thích Tố Liên mang về từ Colombo đã xuất hiện trên bầu trời Hà Nội.