“封胡遏末”语出《世说新语·贤媛》：“一门叔父，则有阿大（谢尚）、中郎（谢据）；群从兄弟，则有封（谢韶）、胡（谢朗）、遏（谢玄）、末（谢渊）。不意天壤之中，乃有王郎。”这说的是：东晋有名的才女谢道韫，嫁给了王羲之之子、时任江州刺史的王凝之。但是道韫很看不起她丈夫。一次道韫回娘家，心情非常不好。她伯父谢安（身为宰相）劝解侄女说：“王郎，是王羲之的儿子，不恶，人才也可以。你为什么这么不满意？”这时，道韫就说了引文中的话，意思是：您看咱们家从我的父辈说，有叔父阿大、中郎这样的人物；从我的兄弟这一辈说，有封、胡、遏、末这样的人物；可是实在想不到天底下竟然有王凝之这样的庸碌之人。由于谢道韫是把封、胡、遏、末四兄弟作为优秀人才与平庸的王郎加以对比，所以后来人们就把“封胡遏末”作为成语用以赞美兄弟子侄和优秀子弟。如北宋苏轼《蜜酒歌·又一首答二犹子与王郎见和》：“封胡遏末已可怜，不知更有王郎子（封胡遏末这些优秀人才已经很可爱，不知道更有一个王郎也不错）。”“可怜”意为“可爱”。再如南宋陆游《七侄岁暮同诸孙来过偶得长句》：“封胡遏末皆佳甚，剩喜团栾一笑新。”
还有一种解释认为“封胡遏末”是两个人，“封胡”是谢韶，“遏末”是谢渊。有的版本“遏”还作“羯”。
