Lo correcto es «rayos X» (con la equis en mayúscula y sin cursiva). Es impropia la forma «rayos x» porque no se trata de una incógnita algebraica ni de una variable que representa el eje de las abscisas, sino que simplemente se señala que se desconoce (o más bien se desconocía cuando se le dio este nombre) la naturaleza de los rayos, pues la equis mayúscula se usa de modo convencional con ese valor.