Đền thờ thầy Sài Nại xây dựng từ thế kỷ 17, là nơi thể hiện nét giao thoa văn hóa giữa người Việt và người Hoa và là chỗ dựa tinh thần cho các ngư dân trước mỗi chuyến ra khơi. 
Theo truyền thuyết, Sài Nại vốn là một nhà địa lý tài ba người Hoa, cho rằng đảo Phú Quý là vùng địa linh trong một dịp ghé thuyền vào nghỉ ngơi nên muốn an táng ở đây khi mất. Sau khi ông qua đời, mất 6 ngày 6 đêm để đoàn thuyền người Hoa đến đảo và an táng ông vào ban đêm nên không ai biết. Ngày tiếp theo, dân trên đảo đi làm mới phát hiện hương đèn tại khu vực mộ (thôn Đông Hải, xã Long Hải) nhưng không thấy bóng người. 
Truyền thuyết khác kể rằng thầy Nại là một thương gia đồng thời là một thầy thuốc giỏi đến đảo trong một trận bão. Sau khi kết nghĩa chị em với công chúa người Chăm Bàn Tranh, thầy Nại sinh sống trên đảo làm nghề bốc thuốc chữa bệnh, cứu giúp dân đảo. Sau khi mất, thầy Nại được người dân chôn cất rồi đắp nên khu dinh mộ vào năm 1665.
Trải qua hơn 300 năm tồn tại, đền thờ thầy Sài Nại được các thế hệ người người Chăm rồi đến người Việt trên đảo kế tiếp nhau trông nom, tôn tạo, thờ phụng và thực hiện các nghi thức tế lễ theo đúng tập tục xưa. Lễ cúng thầy diễn ra vào 4/4 âm lịch hàng năm (người dân trên đảo gọi là lễ Giao phiên kỵ Thầy) là hoạt động văn hóa, tín ngưỡng lớn nhất của người dân trên đảo với những nghi thức cổ truyền mang đậm bản sắc văn hóa vùng biển nhằm nguyện cầu trời yên biển lặng, đất thái dân an.