Di tích đình Long Chữ xây dựng cách nay trên 100 năm, thờ quan đại thần Huỳnh Công Thắng. Năm 1972 do chiến tranh tàn phá nên đình bị đổ nát nhiều. Đến năm 1997 ngôi đình mới được trùng tu lại trên tổng diện tích là 4.221,90m2.
Năm 1749 (Kỷ Tỵ) Triều đình Huế cử ba anh em nhà họ Huỳnh vào trấn nhậm vùng đất Tây Ninh. Khi đến Tây Ninh Huỳnh Công Giản sắp xếp mỗi người một khu vực:
- Huỳnh Công Giản ở cánh rừng Trà Vong.
- Huỳnh Công Thắng ở xã Cẩm Giang.
- Huỳnh Công Nghệ ở cánh đồng Bến Thứ.
Ngoài việc cho khai khẩn đất hoang, ông Huỳnh Công Thắng còn dựng thành lũy, sáng chế ra cách phun lửa bằng dầu chai để chống giặc thường xuyên cướp bóc quấy nhiễu người Việt, góp phần giữ gìn an ninh ở vùng đất biên cương của tổ quốc, mở rộng địa bàn dân cư từ Cẩm Giang đến chân núi Bà qua rừng Trà Vong, Bến Thứ, Sóc Om lập ra nhiều xóm ấp thành những vùng trù phú để nhân dân có cuộc sống an cư lạc nghiệp.
Sau khi Huỳnh Công thắng mất, tỏ lòng thành kính nhân dân tưởng nhớ đến công ơn khai khẩn, quy dân lập ấp, hy sinh vì nước vì dân của ông đã lập đình thờ cúng tại ấp Long Giao, xã Long Chữ, huyện Bến Cầu, tỉnh Tây Ninh; phần mộ an nghỉ của ông dưới chân thành Bảo Quang Hóa (Cẩm Giang). Đây chính là chứng minh lịch sử khắc ghi công ơn của bậc tiền hiền có công lao to lớn đối với sự trường tồn và phát triển của cộng đồng.
Kiến trúc Đình Long Chữ theo kiểu chữ Nhị (gồm chính đình và hậu đình), được thiết kế theo kiểu nhà bánh ít, mái lợp ngói, tường xây gạch tô vữa.
Đình Long Thuận được xếp hạng là Di tích lịch sử-văn hóa cấp tỉnh theo Quyết định số 248/QĐ-CT, ngày 22/11/2005 của Chủ tịch Ủy ban nhân dân tỉnh Tây Ninh.