Το σπουδαιότερο σήμερα σωζόμενο κτίσμα του κάστρου είναι ο πύργος που υψώνεται στο δυτικό άκρο του πευκόφυτου λόφου και είναι γνωστός ως “Πύργος του Ορέστη”. Ο ισχυρότατος αυτός πύργος κτίστηκε σε αρχαίο φρούριο που υπεράσπιζε την πόλη τον 11ο και 12ο π.Χ. αιώνα. Η ίδρυση της βυζαντινής Ακρόπολης ανάγεται στον 9ο μ.Χ. αιώνα , όπου πηγές αναφέρουν ότι ο αυτοκράτορας Νικηφόρος Φωκάς κατασκεύασε οχυρωματικά έργα στην πόλη των Σερρών. Κατά τη Βυζαντινή Περίοδο αναφέρεται σε πολλά χρυσόβουλα των βυζαντινών αυτοκρατόρων ως «Κάστρο». Μετά την κατάκτηση των Φράγκων επικράτησε η ονομασία «Καστέλι» που διατηρήθηκε έως τα χρόνια της τουρκοκρατίας. Οι Τούρκοι ονόμαζαν την Ακρόπολη «Μπας Κουλέ» (τουρκ=κεφαλόπυργος) και από αυτό το όνομα προήλθε και η ονομασία “Κουλάς” που ισχύει ως σήμερα (ή από το αραβικό κουλάς ή γουλάς=σκοπιά).
Την περίοδο των βυζαντινών χρόνων η ακρόπολη περιβαλλόταν από ισχυρό τείχος με ατρακτοειδές σχήμα. Στο εσωτερικό του περιέκλειε τις κατοικίες των εκάστοτε διοικητών και αξιωματούχων του κράτους. Το τείχος της Ακρόπολης, σύμφωνα με τον τούρκο περιηγητή Εβλιά Τσελεμπή, είχε δύο πύλες στην ανατολική και δυτική πλευρά, τα ίχνη της οποίας (δεύτερης) διασώζονται ως και σήμερα.
Μεγαλόπρεποι πύργοι αποτελούσαν μέρος του τείχους. Ο ακριβής αριθμός αυτών δεν είναι γνωστός, διότι υπάρχει διαφωνία μεταξύ περιηγητών και ερευνητών. Ο γάλλος ROBERT DE DREUX αναφέρει τέσσερις πύργους, ενώ ο Π. Παπαγεωργίου κάνει λόγο για έξι. Σήμερα έχει διασωθεί «ο πύργος του Βασιλέως» στη δυτική πλευρά, το ψηλότερο μέρος του οποίου είναι κατεστραμμένο. Μια δεύτερη εκδοχή για το χρόνο κτισίματος του κάστρου της Ακρόπολης, παραπέμπει στην επιγραφή που βρίσκεται στο δεξιό άκρο του πύργου του Βασιλέως, για την ερμηνεία της οποίας εκφράστηκαν πολλές απόψεις. Η επικρατέστερη είναι ως «Πύργος του Ανδρονίκου Βασιλέως ον έκτισεν Ορέστης». Πρόκειται για τον αυτοκράτορα Ανδρόνικο τον Γ΄, που στα 1341 μ.χ. ετείχισε την Αμφίπολη και το Δεμίρ Ισάρ (Σιδηρόκαστρο) και πιθανότατα και την πόλη των Σερρών.
Ο σωζόμενος πύργος του κάστρου, γνωστός και ως πύργος του Ορέστη, είναι κτίσμα του 1350 και έργο, όπως μαρτυρεί επιγραφή, “Πύργος Στ[ε]φ[ά]νον Βασιλέως ον έκτησεν Ορέστης” κατά την επικρατέστερη ανάγνωση του κράλη της Σερβίας Στεφάνου Δουσάν.
