Para construir este castillo se trajo 400 esclavos cuando ellos fallecían los españoles no se preocupan por
hacerles a ellos ningún tipo de excavación, ellos morían por la crueldad en que eran tratados no les daban comida, nada mas sal y agua eran obligados a trabajar día y noche, eran utilizados como relleno dentro de los muros, esto se comprobó ya que durante la restauración del castillo en 1987 encontraron en los muros osamenta, cabellos, uñas incrustados adentro, se cree que existen cadáveres dentro de los muros, dicen que se pueden ver sombras, quejidos, cadenas, varias personas de la isla dicen que el castillo después de las 6 de la tarde es diferente es mas pesando el ambiente se siente una inmensa presión.