La construction initiale, réalisée par François II, n'existe plus.
En 1670, un incendie ravagea une aile du bâtiment. Sa reconstruction sous Louis XIV marque une transformation profonde et une mise au goût de l'époque classique. En 1800, avec l'explosion de la tour des Espagnols, la fragilisation s'accentue. Au début du 20e siècle, la « restauration stylistique » des architectes en chef des Monuments historiques va favoriser le retour au 15e et au 16e siècles, conforme à la représentation idéale que l'on avait de la forme d'origine.
Pour Pascal Prunet, le bâtiment a donc été doublement marqué par
l'histoire : d'abord par les accidents qui l'altèrent puis par
les transformations qui s'ensuivent, adaptées à des contraintes
fonctionnelles et au goût de l'époque correspondante.
La restauration actuelle opte pour un relatif équilibre prenant
en compte la valeur d'histoire et d'architecture du
17e. La façade classique est rétablie, mais ses
soubassements gothiques ont été conservés, de même que les
restaurations voulues par les architectes du 19e. La
façade retrouve ainsi l'aspect qu'elle avait après les travaux
décidés par Louis XIV en 1681 : une entrée couverte d'un
baldaquin avec, au niveau de la corniche, un cartouche aux armes
de la royauté française.
Les lucarnes classiques ornées de « grands trophées avec boucliers », qui avaient remplacé les lucarnes gothiques de la fin 15e, ont été gardées. Les trophées militaires, pour lesquels il n'y avait pas de document, n'ont pas été restitués. En revanche, pour les travées proches de la Couronne d'or, les lucarnes néo-gothiques des restaurations de 1877 et de 1907 ont été gardées.