Les origines de cette expression restent obscures. Toutefois elle semble dater du XVIIIe siècle. Le noir a toujours été un symbole de tristesse et de mélancolie. Quant à l'emploi du verbe "broyer", il pourrait provenir du langage de la peinture où les artistes devaient "broyer", c'est-à-dire "écraser" leur peinture.