La première mention connue de la féodalité chalaisienne nous notifie qu'Hélie, seigneur de Chalais, participe à la consécration de l'Abbaye aux Dames à Saintes, en 1047.

À la fin du XIe siècle, le castrum de Chalais – qui relève alors de l'archevêché de Bordeaux – est mentionné dans le Cartulaire de Saint-Jean d'Angély.

On est en droit de supposer que cette première construction devait se situer peu ou prou à l'endroit même de l'édifice actuel. En effet, l'éperon rocheux, dessiné par la confluence de la rivière Tude et de son affluent la Viveronne, constitue un site défensif privilégié.
L'emplacement exact de ce château se situe vraisemblablement dans l'actuel parc-verger. Quelques découvertes impromptues de couloirs ou de salles dans le parc, lors d'implantations matérielles au cours du XXe siècle, viennent appuyer cette hypothèse. De plus, les vestiges les plus anciens présents sur le site se trouvent à la base du mur de soutènement, à la pointe de l'éperon rocheux. On peut y ajouter la présence d'archères sur le pourtour de ce même mur de soutènement, visibles depuis les fossés secs qui enserrent tout le site.
Au XIIIe siècle, suite au mariage d'Agnès, fille unique d'Olivier de Chalais, avec Hélie de Talleyrand, le château passe entre les mains d'une famille importante de la région et doit y rester pendant plus de six siècles. Chalais et son château doivent beaucoup à ce mariage. En effet, à partir de cette époque, les Talleyrand, comtes puis ducs de Périgord et seigneurs de nombreuses terres dans la région, considèrent Chalais comme le berceau de leur famille et accordent une attention toute particulière à cette vitrine de leur prestige en province. Cette famille a eu, au cours de son histoire, une vie de cour particulièrement intense, et nombre de ses membres se sont illustrés dans des charges prestigieuses.
Au cours de la Guerre de Cent Ans, les seigneurs de Chalais prennent tour à tour le parti des Anglais (présents en Guyenne, à quelques encablures de Chalais) et des Français. Ce pragmatisme peut fournir une explication au titre de « prince de Chalais », qui apparaît au cours du XVe. En effet, malgré l'inexistence dans le royaume de France du titre de prince, l'aîné des Talleyrand est, entre autres titres moins prestigieux, comte de Périgord et prince de Chalais. Il n'existe officiellement aucune principauté à Chalais et pourtant les Talleyrand ont porté, tout au long de leur histoire, le titre de prince. Il est envisageable que la reconnaissance d'un tel titre ait pu faire partie de clauses implicites lors d'accords pour rejoindre les camps anglais ou français. Les Talleyrand devaient en effet être, grâce à leur forteresse « frontalière », en mesure de négocier un titre pompeux, qui s'accordait plutôt bien avec leur devise « Re que Diou ». Cette devise qu'on a bien souvent qualifiée à raison de fière, signifie en périgourdin « Rien que Dieu » ou « II n'est de Roi que Dieu » et suppose qu'au-dessus des Talleyrand, il n'est que Dieu. Le 17 juin 1453, lors de la dernière grande campagne des Français en Guyenne, les troupes du roi Charles VII, sous les ordres de Jacques de Chabannes, reprennent le château à sa garnison anglaise. Pour éviter d'avoir à laisser une garnison en défense, le château est démantelé, puis quelques semaines plus tard, la seigneurie de Chalais revient de droit aux Talleyrand.

A l'extrême fin du XVe et dans la première partie du XVIe siècle, le château est reconstruit. Les éléments datant de cette reconstruction sont le châtelet-corps de garde d'entrée et le corps de logis principal. On conserve naturellement la position stratégique de l'éperon que l'on vient « barrer » par un fossé et on ferme l'accès au château par un châtelet-corps de garde soutenant un double pont-levis (une porte piétonne et une porte cochère) à contrepoids, qui fonctionne encore de nos jours. Le corps de garde mesure 11 m sur 15 m et est entouré par deux échauguettes carrées finement ciselées, signes de la transition entre efficacité défensive et prépondérance de l'aspect artistique. À cette même époque, le corps de logis principal est installé sur la façade ouest du site. Il semble que le corps de logis présente, dès sa construction, une élévation de deux étages (les pignons sont encore visibles dans les combles et l'effondrement d'un plancher dans une petite chambre du deuxième étage actuel a découvert les bases d'une cheminée XV). À noter cependant que des changements de niveaux sont survenus lors de réaménagements postérieurs. La façade extérieure du corps de logis laisse apparaître des fenêtres à meneaux, restaurées en 1970. Le même type de fenêtres se retrouve dans l'actuelle galerie, sur la façade intérieure du château. Au cours du XVIe, on vient adjoindre au corps de logis une galerie sur deux étages, surmontée plus tard d'une troisième, desservant les chambres du second. La galerie du rez-de-chaussée est semi-ouverte sur la cour d'honneur. Mais elle a dû être rebouchée, plusieurs dizaines d'années après, devant l'instabilité créée par sa faiblesse relative. On a alors ouvert sur la cour intérieure quatre grandes fenêtres rectangulaires et une porte centrale qui donnent cet aspect très « classique » à la façade centrale. Au cours du XVIe ou XVIIe, est ajoutée l'aile nord du château, dont on peut encore voir en partie la grande salle voûtée et sa cheminée, mais elle a été totalement transformée au cours des réaménagements successifs.

De cette même période date vraisemblablement la tour carrée. Objet de nombreux fantasmes à Chalais, cette tour a très longtemps été considérée comme datant du XIVe siècle. Or, nous avons montré qu'au milieu du XVe, le château médiéval avait été démantelé : à quoi bon dans de telles conditions laisser intact le donjon ? Cette tour carrée qui doit son aspect médiéval principalement à son crénelage, ses mâchicoulis et son escalier à vis, ne saurait être que d'époque moderne. En effet, l'épaisseur de ses murs (90 cm à certains endroits) comme l'appareillage les constituant (moellons, construction dans le même type que les fermes charentaises) n'aurait jamais pu être envisagée en cas d'attaque avec des engins de siège de type trébuchets et mangonneaux.

Aux XVIe-XVIIe siècles, au contraire, elle constitue une défense efficace contre une éventuelle révolte de vilains (surtout que les merlons sont percés d'archères permettant le tir au mousquet) ou un refuge intéressant. Quoi qu'il en soit, cette tour rectangulaire avait nécessairement une fonction ostentatoire de premier ordre.

La princesse de Chalais y tient une cour

La chronologie relative des différents éléments adjoints au cours du XVIIe siècle reste encore très imprécise. Au cours du XVIIe siècle, sont donc ajoutés les deux pavillons carrés ceinturant le corps de logis principal. Le pavillon nord-ouest sert principalement d'écrin au grand escalier d'apparat qui court jusqu'au second étage. Pour joindre le premier, les marches sont monolithes, en calcaire, ce qui en fait un élément particulièrement lourd. Le pavillon sud-ouest, son presque jumeau, devait voir sa fonction principale dans l'adjonction de deux immenses salles de plus de 100 m2 chacune, dont celle du premier étage a pu faire fonction de grande salle de réception. Elle contient une cheminée monumentale avec jambage à bec, les poutres et solives sont peintes de décors floraux. La grande salle du rez-de-chaussée a, quant à elle, été découpée en trois
parties : une salle basse dont la cheminée se retrouve maintenant accolée au mur, une petite galerie et une chapelle composée par un retable typique de la Contre-Réforme (pots à feu, frontons interrompus, symétrie parfaite…). Cette chapelle est traditionnellement attribuée à Françoise de Montluc, fille d'un des chefs de file des catholiques, Biaise de Montluc. En effet, après avoir perdu son époux Daniel, en 1626, Françoise, princesse de Chalais est touchée par le scandale de l'Affaire Chalais. Son fils Henri, impliqué dans un complot tramé contre Richelieu, est condamné à mort et décapité à Nantes, le 26 août 1626. Françoise parvient à sauver la famille de la déchéance et se retire sur ses terres à Chalais où elle fait peut-être rebâtir l'église détruite en 1569 par les protestants et elle construit un monastère accolé à celle-ci. Elle le donne à des augustins en 1629 et se retire au château dans lequel elle se serait fait aménager une chapelle privée. Il semble que ce pavillon ait été ajouté au château après la tour, puisque celle-ci est ceinturée d'un crénelage sur ses quatre côtés. Toutefois, seule une étude approfondie des enduits et mortiers pourrait nous permettre de confirmer ou d'infirmer cette hypothèse. De même, un certain nombre d'aménagements intérieurs de la tour semblent de la même époque que la chapelle, en particulier un cabinet de toilette entièrement lambrissé de boiseries peintes, dont les traces de réaménagement sont évidentes.
Au cours du XVIIIe siècle, on ferme la cour d'honneur en rajoutant dans l'angle sud-est un pavillon carré faisant le pendant du corps de garde. L'ensemble des bâtiments seigneuriaux est surmonté, en 1741, de toitures en ardoises, mansardées et munies de lucarnes (donnant de la lumière en particulier dans les petites chambres du second étage). Entre 1747 et 1757, le château voit s'installer entre ses murs la fille et la femme de Jean-Charles de Talleyrand. Sa fille y a trouvé un refuge éloigné de la cour pour échapper aux assauts de Louis XV, elle est rejointe par sa mère Marie-Françoise de Rochechouart-Mortemart, une fois cette dernière veuve. De leur installation date la dernière réfection des appartements du logis : les lambris et alcôves observables aux étages remontent à cette réfection.
Nous ne pourrions parler du château de Chalais en passant sous silence le séjour qu'y effectua, enfant, Charles-Maurice de Talleyrand-Périgord, LE Talleyrand, de 1758 à 1762. Il précise lui-même dans ses Mémoires qu'il garde un souvenir heureux de cette vie provinciale, proche du peuple où il ressent toute la magnanimité et le prestige de son illustre famille. C'est lui qui nous apprend que son arrière-grand-mère, Marie-Françoise de Rochechouart tient à Chalais une véritable cour et y possède une apothicairerie permettant de donner les remèdes aux indigents et aux malades après la messe. En ce qui concerne les communs entourant la basse cour (à l'est de la cour d'honneur), nous ne pouvons avec certitude dater leur installation. Ils ceinturent une cour rectangulaire où se trouvaient un puits, un pigeonnier, certainement une forge et les écuries. Précisons également que la cour d'honneur contient aussi un puits-citerne fonctionnant avec un système hydraulique semblable à celui d'une noria.

Le siècle fatal

L'histoire du château de Chalais prend un tournant définitif lors du décès d'Hélie-Roger Louis de Talleyrand-Périgord, en 1883. Il avait pourtant bien résisté à la période révolutionnaire : les Talleyrand n'émigrèrent pas et le château a très peu souffert de cette période, ce qui ne lui a offert un sursis que d'un siècle. Sans descendance directe, le dernier prince de Chalais. possédant encore le château, décide de léguer tous ses biens afin que « soit aménagé, à l'intérieur même du château, disposé en conséquence, un hospice de vieillards » qui puisse héberger, de 1899 à 1939, un asile pour les personnes âgées originaires des cantons concernés par le legs. Afin de financer l'installation et le fonctionnement de l'hospice, des ventes du mobilier puis d'une partie des biens immeubles ont été organisées. De cette période date le réaménagement du Salon rouge qui servait de salle de réunion pour le Conseil d'administration de l'Hospice. Pour le château lui-même s'ouvre alors une période relativement sombre. De nombreux aménagements furent faits à l'intérieur de l'aile ouest pour pouvoir y accueillir les résidents. Le château servit également d'hôpital militaire durant la Guerre franco-prussienne de 1870 et la Grande Guerre. Il hébergea des troupes allemandes pendant l'Occupation : un extrait de poème allemand reste écrit sur le tablier d'une cheminée, au second étage de la tour carrée. Certaines de ses salles servirent de salles de classes. Jusqu'en 1970, l'aile ouest abrita la famille de l'ancien régisseur du Prince, Hilaire Lafitte. Faute d'entretien conséquent, un grand pan de mur de l'aile ouest s'est effondré en 1970, rongé par les eaux de pluie qui s'infiltraient depuis la toiture. De nombreuses boiseries et parquets ont, au cours du XXe siècle, été arrachés, pour être réutilisés… comme bois de chauffage ! Le château lui-même est resté ouvert à tout venant pendant de nombreuses années et certains avaient pris l'habitude de venir se servir dans le mobilier restant ou parmi les taques de cheminées frappées aux armoiries des Talleyrand, par exemple.
Pourtant depuis les années 1970, un début de réhabilitation avait été entrepris. Ces travaux avaient été impulsés par le Docteur Lacamoire, qui fut maire de Chalais à plusieurs reprises. Si on peut critiquer un certain nombre de restaurations imprécises ou inadéquates, ces dernières ont tout de même permis à Chalais et à la Maison de retraite Talleyrand (descendante de l'Hospice et par conséquent propriétaire encore aujourd'hui des murs) de se réapproprier le château. La salle basse et la galerie du rez-de-chaussée (suivies quelques années plus tard de l'ensemble des salles du rez-de-chaussée de la partie « seigneuriale », c'est-à-dire l'aile ouest) ont servi de salles d'expositions temporaires, puis ont pu être visitées par plusieurs milliers de touristes par an. L'aile nord a accueilli un restaurant, aujourd'hui Le Relais du Château, l'un des restaurants les plus courus de la région. La partie ouest des communs abritait le concierge et sa famille. Les communs eux-mêmes ont été utilisés jusqu'en 2001 comme annexe des haras nationaux de Saintes. Enfin, le pavillon carré du XVIIIe, situé à l'angle sud-est de la cour d'honneur, a servi de chambres d'hôtes. La tempête de décembre 1999 a porté un grand coup d'arrêt à cette réhabilitation, en découvrant le pavillon nord-ouest et en abîmant une grande partie des toits en ardoise, en particulier en découvrant totalement le Salon Métreau. En 2002-2003, afin de sauvegarder l'intégrité du bâtiment, ce dernier a fait l'objet d'un classement au titre des Monuments historiques. Ce classement a finalement empêché toute réparation immédiate des dégâts causés par la tempête, et jusqu’à aujourd’hui, on peut encore « admirer » les tôles mises temporairement au lendemain de l'hiver 1999. Le château est devenu trop lourd à porter pour la maison de retraite Talleyrand qui a donc décidé, en 2007, de le mettre en vente. Un premier sous-seing a été signé avec la Société Royal Polmen qui voulait installer dans le château un hôtel de luxe d'une capacité de soixante suites. Mais le permis de construire a été refusé par la DRAC et la DDE. Le sous-seing a donc été reconnu caduc, au début du mois de novembre 2008.