Las definiciones del DRAE son las siguientes:

privilegio

1. m. Exención de una obligación o ventaja exclusiva o especial que goza alguien por concesión de un superior o por determinada circunstancia propia.

prerrogativa

1. f. Privilegio, gracia o exención que se concede a alguien para que goce de ello, anejo regularmente a una dignidad, empleo o cargo.

Así pues, el privilegio se basa en la concesión por alguien, lo que le da cierto carácter excepcional, mientras que la prerrogativa se tiene por poseer un cargo o empleo.