Construit sur une terrasse de la rive gauche de la Vienne et entouré de bois, l'ensemble du château constitue un trapèze cantonné de tours. Des douves sèches l'entourent au sud et à l'ouest, tandis que des murs de soutènement délimitent les terrasses au nord et à l'est. Au centre se trouve le donjon. Il est relié au logis, qui forme une grande aile en retour à l'ouest, par un corps de bâtiment contenant un escalier en vis. Le logis communique également avec la tour sud-ouest. La chapelle est installée dans une tour au nord-est tandis que la tour au sud-est est constituée de cinq pièces d'habitation superposées. Aux accès ouest et sud subsistent des vestiges d'architecture défensive. Trois puits aliment le château. Une aumônerie et une ferme se situent hors les douves à l'ouest. Un parc et des jardins complètent l'ensemble. Trois grandes familles vont se succéder à Touffou : les Oger (1127-1280) à qui l'on doit le donjon Est, à contreforts carrés, datant du 1er quart du XIIe siècle, les Mauléon (1280-1519) qui prolongeront le donjon, à l'ouest, au dernier quart du XVe siècle, les Chasteigner (1519-1821), dont Jean III (1519-1567) grand chambellan de François 1er à qui l'on doit le logis et les tours. Dans le premier quart du XVIIe siècle, François II fera exécuter divers travaux dans les tours et percer les grandes baies sur la façade du donjon. En 1794, Jean René Henri Chasteigner est guillotiné et les scellés sont mis sur Touffou. Le domaine ne sera pas vendu comme bien national et sera remis à l'héritier, Alexandre Armand Chasteigner, dix ans plus tard. Ce dernier vendra Touffou qui passera aux mains de cinq familles durant le XIXe siècle. Classé monument historique en 1923, l'ensemble a fait depuis l'objet d'importantes restaurations.