Chùa Mai Sơn là một ngôi chùa làng thờ Phật có từ lâu đời, hiện cây hương đá vẫn còn trước sân chùa tượng trưng cho cột trụ trời, chữ Hán khắc ở cột ghi: Hoàng Triều Chính Hòa nhị thập tứ niên… (Triều Vua Lê Chính Hòa thứ 24-1704). Trong nội thất chùa còn 12 cột đá chạm khắc thế kỷ XVIII do nhân dân các làng quê bỏ tiền công đức mua cột đá. Tương truyền các cột đá được đưa từ Thanh Hóa ra.

Năm 1943, cơ sở in ấn của xứ ủy Bắc kỳ được đặt tại chùa, trước đó cơ sở này được đặt tại xã Tiên Phong, huyện Phổ Yên. Tại Chùa Mai Sơn, nhiều tài liệu: Báo Cờ Giải phóng; sách dạy du kích chiến tranh; Bắc Sơn khởi nghĩa do đồng chí Trường Chinh chỉ đạo đã được in tại đây.

Ngày 3 và 4 tháng 10 năm 1944, địch tập trung bao vây các xã Kha Sơn Thượng, Kha Sơn Hạ, Mai Sơn, chúng phát hiện ra nhà in đặc biệt của xứ ủy Bắc Kỳ ở chùa và đã bắt nhiều quần chúng cách mạng ở Mai Sơn và các xã lân cận, nhưng không thể uy hiếp lòng yêu nước của nhân dân Mai Sơn.

Không chỉ là nơi in ấn các tài liệu của Xứ ủy Bắc kỳ, chùa Mai Sơn còn là nơi thành lập Mặt trận Việt minh tổng Phương Sơn (Phú Bình năm 1943), nơi đồng chí Lương Văn Đài, cán bộ Xứ ủy triệu tập cuộc họp các lớp huấn luyện chính trị, quân sự do đồng chí Hà Thị Quế chủ trì.

Chùa Mai Sơn thuộc khu di tích lịch sử Kha Sơn, Phú Bình, được xếp hạng di tích lịch sử cấp Quốc gia năm 1997, là địa chỉ đỏ cho các thế hệ hướng về cội nguồn.