Selon une tradition locale, le Château d'Ars aurait été édifié par Diane de Poitiers, favorite du roi Henri II au XVIème siècle, sans doute en raison des médaillons de la façade portant les attributs de Diane Chasseresse.
Le château fut longtemps habité par les Seigneurs d'Ars. Parmi eux, Louis d'Ars, capitaine de cent hommes d'armes, fut le maître du célèbre chevalier Bayard.
Différents propriétaires se succédèrent aux XVIIème et XVIIIème siècle jusqu'à ce que le château devienne l'acquisition de la famille Papet. Gustave Papet, médecin fortuné et ami de George Sand, fut le premier docteur appelé à Nohant au chevet de Frédéric Chopin, lors du retour de Majorque du musicien au printemps 1839.