L'ampio castello è il vero nucleo centrale del paese. Tutto il borgo di Castellazzo si è infatti sviluppato, dalla fine del Medioevo, intorno alla fortificazione. Nei primi anni del Quattrocento questa antica fortezza, che era appartenuta ai Da Camodeia, illustre famiglia medievale, passò alla ricca e potente famiglia dei Caccia di Mandello, che alla fine di quel secolo la ristrutturarono radicalmente. Lo stemma della nobile famiglia è ancora visibile al centro della facciata meridionale verso strada. L'attuale aspetto della fortezza è il risultato di numerosi interventi e modifiche: oggi il castello si presenta come un complesso eterogeneo di edifici costruiti dal XV al XVII secolo, con annessa una chiesa privata. All'interno l'imponente e maestosa rocca è così ben conservata da riuscire a infondere al visitatore il fascino e la suggestione dell'epopea castellana. Da notare, in particolare, il fronte meridionale con la torre del maschio, affacciata sulla strada principale del paese. Sono invece quasi completamente andati distrutti gli ambienti interni che si affacciavano sui cortili, perchè adibiti impropriamente a ricoveri per attrezzi agricoli, depositi di granaglie o laboratori artigianali. Fra i vari edifici rinascimentali e barocchi annessi alla rocca, spicca un palazzo quattrocentesco denominato "Vescovado", che nel Seicento fu modificato in signorile abitazione di campagna.Nei pressi del castello, lungo la strada che conduce in Valsesia, sorge un curioso edificio di forma circolare, completamente in mattoni, con tetto in tegole, al centro del quale è installata una croce di ferro: anticamente era utilizzato come ghiacciaia.
The large castle is the real hub of the village. From the end of the Middle Ages all the houses of Castellazzo grew up around the fortress. In the early 15th century this ancient fortification, which used to belong to the illustrious medieval family of Da Camodeia, passed to the rich and powerful Caccia di Mandello family, who at the end of the same century radically rebuilt it. The noble family’s coat-of-arms can still be seen in the centre of the south façade towards the road. The fortress in its presentday form is the result of numerous alterations: it now appears as a mixed group of buildings constructed from the 15th to the 17th centuries, with a private church attached. The majestic fortress inside is so well preserved as to create for the visitor a magical atmosphere of life in the castle as it was in the past. The southern front with the donjon, overlooking the main street of the town, is particularly impressive. The inner rooms which used on the other hand been almost completely ruined as a result of their improper usage for housing farm artisans’ workshops. Among the various Renaissance and Baroque buildings attached to the fortress is a 15th century palace called “Vescovado” which in the 17th century was changed into an elegant country residence. Near the castle, along the road leading to Valsesia, is a curious circular building, all in brickwork with a tiled roof, in the middle of which is an iron cross: in the past it was used as an ice-house.