el olivo / la oliva

Ruego me informen si se pueden utilizar, indistintamente, al referirse al árbol «el olivo» o «la oliva», ya que en la familia hay diversas opiniones.