Núi Bình San được người dân địa phương gọi là núi Lăng vì nơi đây có đền thờ và quần thể lăng mộ dòng họ Mạc - những người có công khai phá và giữ gìn vùng đất Hà Tiên. Cạnh bên lăng Mạc Cửu ở chân núi là chùa Phật Đà (hay chùa Lò Gạch). Đi tiếp quanh chân núi khoảng hơn 1 km, bạn sẽ đến chùa Phù Dung, một ngôi chùa cổ nổi tiếng gắn liền với vở cải lương kinh điển “Áo cưới trước cổng chùa”. Đứng trên đỉnh núi Bình San, bạn còn có thể nhìn thấy những cảnh đẹp khác ở Hà Tiên như hòn Phụ Tử, Thạch Động thôn vân (Động đá nuốt mây), thắng cảnh Mũi Nai...