首先前列腺结石应与前列腺结核相鉴别。一般前列腺结核多见于青年人，可影响一侧或双侧前列腺，常同时有精囊、附睾结核。而前列腺结石好发于40岁以上，一般无明显症状。

单个较大结石应与前列腺癌相鉴别。前列腺癌往往有多个大小不等的结节，质地坚硬。可通过血清前列腺特异抗原、酸性磷酸酶测定以及X线摄片、经会阴或直肠前列腺针吸活检术加以区别。

散在的结石应与慢性前列腺炎相鉴别。但二者也可同时存在，通过直肠指诊加前列腺液检查可以明确诊断。