这句话出自《论语·阳货》：“子曰：‘唯女子与小人为难养也！近之则不逊，远之则怨。’”对于这句话的理解，历来众说纷纭，尤其因其似乎存在歧视妇女的观念而成了孔子备受争议的一句话。
《论语》的大部分注解，都将“女子”理解为一般的女人，把“小人”理解为与“君子”相对应，德行不好的人。南北朝时期皇侃的《论语义疏》将这句话解释为：“君子之人，人愈近愈敬；而女子与小人，近之则诚狎而为不逊从也。君子之交如水，亦相忘江湖；而女子小人，若远之则生怨恨，言人不接己也。”说君子和人交往时，别人越亲近他，他越恭敬别人。而女子和小人，别人亲近他们，他们就会对别人失去恭敬心，变得放肆；君子之交淡如水，即使彼此因为距离远没有来往了，友谊依然存在。而女子和小人，别人若疏远他们，他们就会产生怨恨，抱怨别人不和他们来往。
南宋的朱熹则提出了不同的见解，认为“此小人，亦谓仆隶下人也。君子之于臣妾，庄以莅之，慈以畜之，则二者无患亦。”朱熹将“小人”理解为奴仆下人，将“女子”理解为小妾。并提出建议，认为君子对于这两种人若慈爱和庄重并举，就不会有孔子所说的麻烦了。到了近代，又有学者提出了新的理解，认为“女子”就是指普通的妇女，而“小人”则是指那些不知不学的人。小人因为没有自己的精神，女子因为经济地位不独立，他们的共同特征便是没有自己独立的人格，过分在意别人的眼光。因此孔子这样说并非歧视，只是一种客观的看法。
此外，还有人从句法结构上解读这句话，认为“近之则不逊，远之则怨”是“女人与小人”的定语，因此并非所有的女子与小人都难养，只是“近之则不逊，远之则怨”的“女子与小人”难养。
