E’ opera voluta e fatta costruire da Gualtiero VI di Brienne, signore della Terra di Morciano dal 1335: imponente, bellissimo, fa rimanere perplessi per la robustezza della sua mole, per le sue alte mura merlate, per il suo poderoso torrione. La struttura è a pianta quadrata con torrioni angolari cilindrici disposti agli spigoli; la facciata principale è quella rivolta sulla attuale Piazza S. Giovanni Elemosiniere. Delle quattro torri angolari originarie, quella di nord-ovest fu fatta abbattere nel 1507 dall’allora proprietario, il barone Rodolfo Sambiasi, per consentire la costruzione della attigua chiesa dei Carmelitani. Il secondo torrione, l’unico in fondo superstite nella sua struttura essenziale originaria, ha pareti verticali, senza scarpata o altre strutture sfuggenti: prova evidente del fatto che il fortilizio è stato costruito prima dell’invenzione della polvere da sparo.
Detto torrione si presenta suddiviso in tre piani: il primo piano è diviso dal secondo da una serie di beccatelli. Il coronamento presenta una maggiore ricchezza di particolari e di elementi architettonici quali bertesche, feritoie, cateratte, ecc. Per quanto riguarda i due rimanenti torrioni angolari del prospetto posteriore, essi sono parzialmente inglobati dalla muratura perimetrale esterna, al punto da perdere del tutto la propria fisionomia originaria. Le murazioni posteriori attuali sostituirono le vecchie originarie mura intorno alla metà del Cinquecento, per esigenze di ampliamento.
Un altro interessante elemento architettonico del castello è costituito dai merli della cortina di coronamento. La loro forma è quella del giglio di Francia, emblema della casa angioina. Il portone d’ingresso al castello è singolare per la caditoia riccamente decorata che sovrasta la porta stessa, e per gli stemmi gentilizi raffigurati e dislocati a mo’ di cornice al di sotto della caditoia. Superato l’ingresso ci si trova in un ampio cortile scoperto, una grande corte sulla quale si affacciano tutti i locali del piano terra e dei piani superiori. Così come avviene per tutti i castelli del tardo Medioevo, il piano terra si presenta come un insieme di locali di servizio in cui dovevano svolgersi le attività materiali della vita curtense, mentre gli alloggi baronali veri e propri occupavano il primo piano.