La expresión ayer tarde es perfectamente apropiada, según se afirma en el Diccionario panhispánico de dudas.
Aunque generalmente la palabra que ciñe la referencia temporal a una parte del día de ayer va introducida por preposición (ayer por la mañana, ayer por la tarde), este uso, en el que tarde se comporta como un adverbio, está documentado desde época clásica.
Por tanto, frases como «Ayer tarde fue presentado en el Círculo de la Amistad el nuevo proyecto editorial» son perfectamente aceptables.
Por otra parte, cuando el complemento de ayer va introducido por una preposición, esta puede ser por (ayer por la tarde), en (ayer en la tarde) y a (ayer a la tarde). Todas son recomendables, aunque el uso de a es muy minoritario.