Sở Lò Vôi là nơi các tù nhân bị đưa đi lao động khổ sai với công việc đi lấy san hô ngoài biển đem về và nung san hô thành vôi bột.
Trong thời Pháp thuộc, Côn Đảo có khoảng 18 sở lao động khổ sai, nhưng hiện nay chỉ lưu lại được vài sở như Sở Lò Vôi, Sở Muối, Sở Rẫy...