Mais c'est surtout à la littérature que Talcy doit sa renommée. En 1545, Ronsard, né dans le Vendômois, rencontre lors d'une fête à la cour de Blois, la fille de Bernard Salviati, Cassandre. Celle-ci a quatorze ans, Ronsard vingt et un ans. Naît une histoire d'amour inaccessible, à moitié mythique, tel l'amour courtois des troubadours. Il nous vaudra de nombreux poèmes, écrits même après le mariage de Cassandre, l'année suivante, avec un seigneur plus fortuné que Ronsard.

Quelques années plus tard, en 1571, c'est à Talcy que naîtra une passion véritable entre Diane Salviati, la petite-fille de Bernard, et Agrippa d'Aubigné. Très éprouvé par la guerre, ce seigneur huguenot est revenu sur ses terres, situées non loin de Talcy. A la Saint-Barthélemy, il trouve refuge à Talcy auprès de Jean Salviati, catholique tolérant. L'amour qu'il éprouve alors pour sa fille Diane lui inspirent ses premiers poèmes. Il lui enverra plus de 6 000 vers dont l'ensemble compose le recueil intitulé " le Printemps ". Fiancés, ils ne pourront finalement se marier en raison d'oppositions familiales dans ce contexte des guerres de religion.  

Talcy reste dans la famille Salviati jusqu'en 1668. Le donjon gothique a été remanié par Bernard Salviati qui lui adjoint deux ailes formant corps de logis. L'aile en retour sera l'Ïuvre d'une de ses filles qui fera aussi l'achat de nouvelles terres.

Le domaine passe ensuite dans différentes mains jusqu'à 1704, date à laquelle la famille Burgeat en prend possession. Trois générations de cette famille, issue de la grande bourgeoisie protestante et anoblie vers 1720, vont s'attacher à la réfection de toute la propriété : on fait renouveler les charpentes du corps de logis, les pavements, les fenêtres, les boiseries, les portes, poser des cheminées de marbre et restaurer entièrement les appartements. L'aspect général de l'intérieur de cette demeure au XVIIIe siècle est celui qui nous est parvenu. Les meubles mêmes sont ceux des propriétaires d'alors, ce qui est exceptionnel. Les jardins bénéficient aussi de nombreux travaux d'embellissement : replantation du verger et réfection des murs, du perron, du vivier, création de l'allée plantée de la garenne, construction de l'orangerie etc.

A sa vente en 1780 à la famille Gastebois, le domaine apparaît comme opulent et prospère :
" les parterres et jardins contiennent 13 arpents, enfermés de murs neufs couverts de treillages peints en vert et garnis des plus beaux espaliers de 500 toises... ". Le verger regorge d'arbres fruitiers taillés en " bouillon ", en éventail ou dressés en plein vent, en boule ou en entonnoir.

Mais en 1835 a lieu le partage du domaine entre les descendants de la famille Grosbois, les Vincens / Stapfer. A partir de cette date et en raison de difficultés économiques générales, les éléments du domaine qui ne rapportent pas sont voués à disparaître : les orangers sont vendus et 78 hectares du parc sont défrichés pour fournir des terrains à bailler au fermier de la Basse-cour.

La famille Stapfer fait classer le château parmi les monuments historiques en 1908 et finit par le vendre à l'Etat en 1933 pour permettre au public de le visiter.