Excédé par les critiques vitriolées de Chateaubriand dans le Mercure de France. Napoléon promit de "le faire sabrer sur les marches des Tuileries", et l'assigna à résider à "au moins deux lieues de Paris". Banni de la capitale, l'auteur des Mémoires d'outre-tombe trouva refuge à Châtenay-Malabry où il fit l'acquisition d'une chaumière, "La Vallée-aux-Loups", qu'il aménagea dans le style pseudo-gothique, très en vogue à l'époque. En 1810, en l'absence de son maître, le logis du poète reçut une étrange visite. Deux hommes se présentèrent au jardinier et demandèrent à visiter la maison : l'un était petit, mal vêtu et très agité ; l'autre, un grand, paraissait à ses ordres. Le petit arpenta le domaine en tous sens en pérorant sans discontinuer. Parvenu près de la tour, il congédia le jardinier, s'attarda seul quelques minutes, et les deux hommes se volatilisèrent aussi mystérieusement qu'ils étaient apparus.
De retour chez lui, Chateaubriand apprit, intrigué, l'histoire. Il se rendit au pied de la tour et constata qu'un peu de terre avait été fraîchement retournée. En creusant un peu, il découvrit un gant neuf en peau jaune, de très belle facture. Cette énigme n'a jamais été élucidée. Napoléon était-il le visiteur pressé ? Cherchait-il à se réconcilier avec le poète ? L'enterrement du gant était-il le symbole de la paix demandée ? En se référant à l'emploi du temps de l'empereur, c'est l'hpothèse du docteur Le Savoureux, le créateur du musée Chateaubriand.