Le duc de Guiche était fort dévoué à Marcel Proust et lui inspira quelques traits de Robert de Saint-Loup dans "A la recherche du temps perdu". Proust lui dédicaça ainsi l'exemplaire de "Les Plaisirs et les Jours" qu'il lui offrit : « Au duc de Guiche, au vrai plutôt qu'au réel, à celui qui aurait pu être, plus encore qu'à celui qui est...j'offre ce portrait, plus guère ressemblant, d'un moi qu'il n'a pas connu. »
Sur la vérité et la réalité chez Proust... on imagine en voyant la beauté d'Armand quelle vérité Proust... imagine !