Das lange, halb zerfallene Gebäude neben war ursprünglich als Mühle und Getreidespeicher konzipiert, wurde später jedoch als Gefangenenhaus umfunktioniert. Die Zellen gehörten mit einer Grundfläche von 2,2m x 1,3m zu den kleinsten in ganz Australien. 

Der Besuch von Port Arthur beinhaltet auch eine kleine Bootsfahrt im alten Hafen der Anlage. Man fährt dabei an der damals als Friedhof dienenden "Isle of the dead" und der Halbinsel "Point Puer" vorbei.

Bei letzterem handelte es sich um ein Gefängnis für Jungen zwischen 14 und 17 Jahren, die von den erwachsenen Häftlingen abgesondert wurden, um deren schlechtem Einfluss zu entgehen. Die Bedingungen für die Jungs waren jedoch äußerst hart und anstelle einer Umerziehung und Eingliederung in die Gesellschaft verbrachten viele von ihnen die meiste Zeit ihres weiteren Lebens in Haftanstalten oder waren auf Almosen angewiesen.