不适宜人群：
缺铁性贫血、乳糖酸缺乏症、胆囊炎、胰腺炎患者不宜饮用。
脾胃虚寒作泻、痰湿积饮者慎服。
经常接触铅的人：牛奶中的乳糖可促使铅在人体内吸收积蓄，容易引起铅中毒，因此，经常接触铅的人不宜饮用牛奶，可以改饮酸牛奶，因为酸牛奶中乳糖极少，多已变成了乳酸。
乳糖不耐者：有些人的体内严重缺乏乳糖酶，因而使摄入人体内的牛奶中的乳糖无法转化为半乳糖和葡萄糖供小肠吸收利用，而是直接进入大肠，使肠腔渗透压升高，使大肠粘膜吸入大量水分，此外，乳糖在肠内经细菌发酵可产生乳酸，使肠道PH值下降到6以下，从而刺激大肠，造成腹胀、腹痛、排气和腹泻等症状。
牛奶过敏者：有人喝牛奶后会出现腹痛、腹泻等症状，个别严重过敏的人，甚至会出现鼻炎、哮喘或荨麻疹等。
返流性食管炎患者：牛奶有降低下食管括约肌压力的作用，从而增加胃液或肠液的返流，加重食管炎。
腹腔和胃切除手术后的患者：病人体内的乳酸酶会受到影响而减少，饮奶后，乳糖不能分解就会在体内发酵，产生水、乳酸及大量二氧化碳，使病人腹胀。腹腔手术时，肠管长时间暴露于空气中，肠系膜被牵拉，使术后肠蠕动的恢复延迟，肠腔内因吞咽或发酵而产生的气体不能及时排出，会加重腹胀，可发生腹痛、腹内压力增加，甚至发生缝合处胀裂，腹壁刀口裂开。胃切除手术后，由于手术后残留下来的胃囊很小，含乳糖的牛奶会迅速地涌入小肠，使原来已不足或缺乏的乳糖酶，更加不足或缺乏。
肠道易激综合症患者：这是一种常见的肠道功能性疾病，特点是肠道肌肉运动功能和肠道粘膜分泌粘液对刺激的生理反应失常，而无任何肠道结构上的病损，症状主要与精神因素、食物过敏有关，其中包括对牛奶及其制品的过敏。
有眼病的老年人：对于老年人来说，过多地饮用牛奶补钙得不偿失，因为牛奶能促进老年白内障的发生。其原因是牛奶含有5%的乳糖，极易沉积在老年人的眼睛晶状体，并影响其正常代谢，而且蛋白质易发生变性，导致晶状体透明度降低，而诱发老年性白内障的发生，或者加重其病情。