Le copiamos lo que dice el Diccionario de la Academia:

andrajo.

(Del ár. hisp. ḥaṭráè, necio, pelagatos, evolución del ár. clás. {ht} o {dr}, parlotear).

1. m. Prenda de vestir vieja, rota o sucia.

2. m. Pedazo o jirón de tela roto, viejo o sucio.

3. m. despect. Persona o cosa muy despreciable.