Cette expression familière date du XIXe siècle. À l'époque, les personnes de la haute société n'aimaient pas se mélanger avec les plus pauvres, ici désignés par ceux qui entretenaient les cochons. Cette locution s'emploie alors pour remettre à sa place une personne trop familière.