You cannot use I haven’t know that here. O presente perfeito descreve um estado presente que surge de uma eventualidade anterior, e você está implicitamente dizendo que seu estado presente é que você sabe disso – que não é um estado que pode surgir de sua ignorância anterior. (Pode emergir da sua ignorância anterior, mas só pode surgir da sua aprendizagem.)

Você pode usar o que eu não sabia, com ou sem até que você o mencionou. Isto diz que no passado você estava em um estado de ignorância, um estado que terminou no ponto em que o seu destinatário mencionou ‘isto’. Até marcar o fim de um estado, como explicado aqui.

Você não é obrigado a incluir nada parecido até você mencioná-lo para deixar claro que agora você sabe que a situação do discurso cuida disso – serve apenas para deixar claro que foi a declaração do seu destinatário que dissipou sua ignorância, e não algum outro evento passado.

Você também pode usar isso que eu não sabia, novamente com ou sem até você mencioná-lo. O pretérito perfeito não descreve necessariamente um estado decorrente de uma eventualidade anterior, porque o pretérito perfeito não tem o contraste entre o simples pretérito e o presente perfeito que existe no domínio presente – o pretérito perfeito serve para ambos. Aqui o pretérito perfeito age como um “passado no passado”, análogo ao passado simples do presente-tenso-domínio, então ele descreve um estado anterior de ignorância que terminou no seu tempo de referência passado, o tempo explicitamente nomeado na cláusula até.

No entanto, como você sabe, o Truísmo Perfeito de FumbleFingers lhe instrui que se você não precisa de um passado perfeito, você não deve usá-lo. Neste caso não há nenhuma razão evidente para que um passado perfeito seja necessário; consequentemente a melhor escolha aqui é o passado simples:

Não sabia disso (até que você o mencionou).