Đình Quân Cay được xây dựng từ thời nhà Nguyễn, thờ hai vị Đại vương là: Cao Sơn Đại Vương và Quý Minh Đại Vương. Trong thời kỳ chống Pháp, Đình là nơi mở lớp bình dân học vụ xóa mù chữ của địa phương. Sau thời gian xuống cấp, năm 2019, Đình đã được xây dựng lại theo nguyễn mẫu với diện tích 150m2. Đình Quân Cay là nơi sinh họat tín ngưỡng của nhân dân 3 xóm: Quân Cay, Hồng Cóc và Coong Lẹng, xã Phúc Thuận. Vào ngày mùng 5 tháng Giêng hằng năm, nhân dân địa phương đã tổ chức lễ hội truyền thống nhằm tưởng nhớ công lao của hai vị Đại vương, cầu cho mưa thuận gió hòa…

Với những giá trị về mặt lịch sử trên, UBND tỉnh đã ban hành Quyết định công nhận xếp hạng Di tích Lịch sử cấp tỉnh đối với đình Quân Cay. Đây là cơ sở pháp lý tạo điều kiện cho việc quản lý, bảo vệ và phát huy giá trị di tích.