Theo tương truyền, hang Tổ được đặt tên như vậy bởi đây là nơi hành của một nhà sư, người đã cảm hóa được một bạch hổ trong rừng. Năm 1872, sau khi được thọ giới, nhà sư Hữu Đức đã dốc tâm tìm đến nơi thâm sơn cùng cốc để tu hành và đã chọn ẩn tu trong một hang đá trên ngọn núi Tà Cú.
Thời gian khám phá hang mất khoảng 2 tiếng. Hang khá tối, lòng hang hẹp, thấp, mỗi bậc đá dẫn xuống hang cao khoảng 1m. Muốn chinh phục hang, mỗi nhóm phải có ít nhất 2 người để thay phiên nhau cầm đèn pin. Càng xuống sâu, không khí càng ít; xuống đến cuối hang có một mạch nước ngầm chảy róc rách. Sau đó, bạn đi tiếp sẽ đến cửa sau của hang.