Au XVIIe siècle, l'expression s'appliquait exclusivement aux femmes, les « restes » désignant ce qu'il « reste » de la beauté passée d'une femme ayant atteint un certain âge, après que le temps a fait ses ravages. De nos jours, on peut dire exactement la même chose d'un homme.