В настоящее время от одного из древних и монументальных скандинавских замков Ирландии сохранилось только западное крыло и 2 круглые башни. Однако весьма значительное разрушение не является последствием влияния неизбежного и беспощадного времени либо крупнейших военных операций, из-за которых множество Ирландских замков было превращено в руины. Разрушения повлекло за собой трагическое событие, которое случилось в замке в 1814 году. Известный доктор, психиатр Мидллтон, арендовал в тот момент замок, он организовал в стенах замка психиатрическую больницу. Однако ему пришла в голову не совсем удачная мысль — создать подземный коридор с помощью взрывчатого порошка. Но взрыв получился такой значительной мощности, что целиком стер с лица земли восточное крыло здания, разрушил восточные башни. Это явилось причиной разрушения и остальных примыкающих стен. С течением времени остатки каменной кладки совсем разрушились, и люди стали использовать их в качестве строительного материала.

Прежде разрушенного замка Карлоу на этом самом месте стоял деревянный замок в стиле «Мотт и бейли» (Motte-and-bailey). Он был построен при нормандском правителе Гуго де Лэси в конце XII столетия. Потом на месте деревянного замка примерно между 1207 и 1213 годами графом Уильямом Маршалом, был сооружён монументальный трехэтажный каменный донжон, прямоугольной формы с округлыми башнями по углам. Вход в главную башню был расположен на уровне 1-го этажа в середине северной стены, а потом, следуя по каменным лестницам и узким корридам, можно попасть на верхние этажи.
С тех времен сменилось множество собственников.
Последним хозяином замка была чета Гамильтонов, которая в 1813 году решила сдать замок в аренду. Исходом такого недальновидного решения стал катастрофический взрыв. В конце прошлого столетия на руинах замка велись археологические раскопки. Вполне возможно, что замок Карлоу будет реконструирован и займёт подобающее место среди культурно — исторических достопримечательностей страны.