如果一个人的妻子出轨，人们就会说她的丈夫被戴了绿帽子。但为何偏是绿帽子，而不是红帽子、蓝帽子呢？
相传古时有一对夫妻，妻子生得娇艳可人，丈夫是一个生意人，需要长年累月去外地做生意。虽然日子过得殷实，但在丈夫外出的日子里，妻子不免觉得枕冷衾寒，寂寞难耐。天长日久，妻子忍不住跟街市上一个卖布的好上了，每当丈夫外出做生意，他们就在一起厮混。有一次，丈夫做完一桩生意回家后三个月都没有外出，急得那个卖布的团团转。这天丈夫去城外打猎经过街市，那卖布的见了非常高兴，误以为他又要外出做生意，当晚便迫不及待地跑进了他家要和相好的幽会。不料当晚丈夫回来，卖布的只好在床底哆嗦一整晚。这件事后，妻子就向那卖布的要了一块绿色的布料，做了一顶帽子给丈夫，并和那卖布的约定，当我丈夫戴上绿帽子外出的时候，你就可以来了。从此卖布的一看见她丈夫戴着绿帽子出去，就放心地去找相好的巫山云雨。于是，绿帽子的说法就这样传下来了。
如果考证“绿帽子”的来源，与中国古代服制等级有密切的联系。在唐宋时期，只有贱民才穿绿颜色的衣服，唐代官吏对一些罪行不严重的犯人“令裹碧头巾以辱之”，意思是给戴上绿帽子羞辱他们。
元代的《元典章》中规定：“娼妓穿皂衫，戴角巾儿；娼妓家长并亲属男子，裹青头巾。”也就是说，娼妓家里的男子，都要戴青绿色头巾，以表明身份低贱。明代朱元璋下诏规定：“教坊司伶人常服绿色巾，以别士庶人服。”明令娼妓乐人家的男子必须头戴绿巾，腰间系红褡膊，脚上穿带毛的猪皮鞋，不能在街道中间行走，只准“靠边走”。由此一来，人们只要见着戴“绿帽子”的男人，便知他家中的女人是“青楼娼妓”。因此，戴“绿帽子”就成为某男子妻女卖淫，或者妻子私下“偷汉子”的俗称。
