Lo adecuado es «No había nada que hacer». El sustantivo quehacer significa ‘tarea’, ‘ocupación’ y su plural es quehaceres («Era el único hombre que quedaba allí, sin otro quehacer que atender a las llamadas»). Siempre se escribe en una sola palabra, y no debe confundirse con la secuencia formada por la conjunción que, o el relativo que, y el infinitivo hacer, que se escriben separados: «Sé lo que tengo que hacer», «No había nada que hacer».

Por otro lado, en la frase «No sé qué hacer», lo adecuado es escribirlo separado y con tilde en qué, pues se trata de una oración interrogativa indirecta.