Ambas formas son válidas. En América alternan en el uso, mientras que en España se utiliza exclusivamente Nueva Zelanda, como indica el Diccionario panhispánico de dudas. En cualquier caso, lo recomendable es emplear las grafías con zeta, que responden a la etimología del topónimo (Zeeland, en neerlandés) y están asentadas, y no Nueva Celanda ni Nueva Celandia. El gentilicio correspondiente es neozelandés.