Ngoài hệ thống nhà tù, khu di tích lịch sử Côn Đảo còn có khu nhà Chúa Đảo với tổng diện tích 18.600 m2. Dinh Chúa Đảo còn gọi là dinh Ông Lớn, dinh Tỉnh Trưởng, là nơi ở và làm việc của 53 tên Chúa Đảo trong suốt 113 năm. Từ sau ngày 1/5/1975 đến nay, khu nhà Chúa Đảo được sử dụng làm Phòng trưng bày tư liệu và vật phẩm có giá trị lịch sử. Trong dinh có thuyết minh viên và một mô hình toàn cảnh 16 đảo.
Là đầu não trung tâm của hệ thống nhà tù, tất cả bộ máy cai trị tù nhân đều dưới quyền điều khiển của Chúa Đảo. Dinh Chúa Đảo đại diện cho phe thống trị, thể hiện cuộc sống xa hoa đối lập với cuộc sống khổ ải, nghèo đói của tù nhân. Trong khu vườn (Sở Rẫy Ông Lớn) thường xuyên có hàng chục tù nhân phải lao động khổ sai và phục dịch tất cả sinh họat của Chúa Đảo.
Dinh Chúa Đảo cũng là nơi thành lập Chính quyền Cách mạng đầu tiên ở Côn Đảo năm 1945 và ngày Côn Đảo hoàn toàn giải phóng năm 1975.