PSC需与慢性活动性肝炎，继发性硬化性胆管炎，原发性胆管癌，原发性胆汁性肝硬化及自身免疫重叠综合征等相鉴别。
1.慢性活动性肝炎 早先曾有将PSC诊断为慢性活动性肝炎的报道，主要原因是在这些患者的组织学检查中发现碎片状坏死，这一现象现被认为是PSC的一个特征，依靠胆道造影可以解决两者鉴别诊断的困难，此外，慢性活动性肝炎患者多有急性肝炎病程，常有肝炎接触史，或输血，注射污染等，发病年龄较轻，一般在发病2～3周后黄疸逐渐消退，血清ALT明显升高而GGT与ALP不增高或仅轻度增高等特点，可资鉴别。
2.继发性硬化性胆管炎 该病多有胆管疾病反复发作史或胆管手术史，胆管的炎性狭窄多为环状，狭窄部位短，胆管黏膜上皮损伤明显，可有糜烂，溃疡和肉芽肿形成，常伴有结石，而PSC的胆管狭窄部较长，且病变主要在黏膜下层，呈纤维化改变，胆管黏膜完好无损，是两者主要区别点。
3.原发性胆管炎 少数PSC病例发病前仅为肝内的或肝外的胆管，当仅有肝内胆管病变时，则应注意与原发性胆管炎相鉴别，原发性胆管炎是一种多发于年轻女性的疾病，组织学上表现为非化脓性胆管炎，血清中含有高滴度的抗体，在肝外胆管不发生病变，而PSC大多发生于男性，许多患者伴有溃疡性结肠炎，无血清标记出现或抗体滴度较低可资鉴别。
4.原发性胆管癌 该病发病年龄通常在40～50岁，常有体重减轻或消瘦，手术探查及组织学检查可以确诊，对于节段性或弥漫性胆管狭窄的PSC病例，由于胆道的广泛狭窄及胆管树的广泛纤维化，将其与胆管癌区别开来较为困难，尤其是当肝内胆管未被侵及时，肝内胆管广泛性扩张更常见于胆管癌而不常见于PSC，但有肝外胆管狭窄者，一定要考虑胆管癌的可能，必要时可行细胞学或活检以排除胆管癌，值得注意的是因PSC具有恶变倾向性，无论在初诊或随访时，都应考虑到恶变的可能性，黄疸突然加重，胆道造影显示胆道或胆道节段性明显扩张，出现息肉样包块，且直径≥1.0cm，进行性狭窄或扩张等，则应考虑已发生胆管癌，此时采用血清肿瘤标记物(CEA，C19-9)和胆道细胞学检查，磁共振胆道造影和ECT等方法，对确定诊断可取令人振奋的结果。
5.原发性胆汁性肝硬化 该病发病年龄以20～40岁多见，病程徐缓，黄疸有波动，伴肝脾大，血清抗线粒体抗体阳性，免疫球蛋白明显增高，诊断，鉴别诊断上较少困难。
6.自身免疫重叠综合征(AIH/PSC) 该综合征具有自身免疫性肝炎(AIH)和PSC症状，同时符合二者的诊断标准，即高球蛋白血症，抗核或抗平滑肌抗体阳性，肝活检证明有胆道改变，并具有肝门区域坏死-炎症活动的自身免疫性肝炎患者，应考虑并发PSC(AIH/PSC重叠综合征)的可能，这时需行胆道造影以确诊或排除自身免疫重叠综合征。
应当注意，在患有溃疡性结肠炎并有持续肝功不良的患者中，确有自身免疫性活动性肝炎存在，但不如PSC常见。