Banh 2 được Pháp xây dựng từ năm 1916, nằm cạnh Banh 1, còn có tên gọi là Lao 2, đến thời Mỹ - Ngụy đổi tên là trại Nhân Vị, trại 2, hay trại Phú Sơn.
Trại Phú Sơn nằm sát bên Trại Phú Hải, có cùng kiểu xây dựng, nhưng đồ sộ và kiên cố hơn, lại có thêm nhiều phòng giam cá nhân hơn. Bên trên phòng giam có lối đi để cai ngục đi kiểm tra người tù. Một lần nọ giữa đêm khuya, tù nhân Côn Đảo đã tìm cách vật tên cai ngục xuống chết tại chỗ, từ đấy chúng không dám dùng lối đi này nữa.
Tại khu xà lim, thực dân Pháp giam cầm nhiều đảng phái khác nhau chung với tù nhân chính trị nhằm gây mâu thuẫn. Thế nhưng, họ lại được những chiến sĩ Cộng sản cảm hóa và gia phập cách mạng. Vì thế, thực dân Pháp gọi khu xà lim là “Vườn ươm cây Cộng sản”. Nơi đây đã từng giam giữ nhiều nhà yêu nước và chiến sĩ cách mạng như: Nguyễn Văn Cừ, Phạm Văn Đồng, Lê Duẩn, Lê Hồng Phong, Nguyễn An Ninh, Hoàng Quốc Việt, Hà Huy Giáp, Lê Thanh Nghị...
Mùa xuân năm 1935, Phạm Văn Đồng, Nguyễn Kim Cương, Nguyễn Văn Linh cùng một số tù nhân cách mạng khác đã tổ chức diễn vở kịch Napoleon tại sân trại Phú Sơn. Gác ngục Pháp vào xem rất đông, nhiều gác ngục Pháp tỏ thái độ kính nể những người tù cộng sản có văn hóa, có nhân cách và hiểu biết sâu rộng. Từ đó, họ ít đánh tù nhân hơn và xưng hô bớt thô tục hơn.
Trại Phú Sơn là nơi phương án võ trang giải thoát tù nhân hình thành, đẫn đến cuộc võ trang để vượt Côn Đảo tại Bến Đầm của 198 tù binh vào ngày 12/12/1952. Đây cũng là nơi mở đầu cuộc đấu tranh mang tên “Mùa thu đồng khởi” chống khổ sai của hơn 4000 tù chính trị trên toàn Côn Đảo vào tháng 7/1970.
Diện tích:
- Diện tích phòng giam: 2.413 m2 với 13 phòng giam tập thể, 1 khu biệt lập và 14 xà lim.
- Nhà phụ thuộc: 854 m2
- Khoảng trống, cây xanh: 9.960 m2
- 1 phòng tối
Ngoài ra còn có các công trình phụ như: nhà ăn, nhà bếp, phòng y tế, câu lạc bộ, phòng hớt tóc, văn phòng giám thị, phòng trật tự. Trong đó, một số công trình được xây dựng nhằm che mắt dư luận trong và ngoài nước.