Eu nao tenho certeza se eu entendi seu problema corretamente. Se desse uns exemplos de dados existentes e o resultado esperado, ficaria mais fácil tentar uma soluçao equivalente mais simples e performática.
Você poderia mostrar seu esquema aqui por exemplo: http://sqlfiddle.com/
Com relaçao a performance que você tem agora, se nao encontrar uma query mais simples, o próximo passo é analisar o plano de execuçao, ver se precisa criar indíces, etc.
Quantos registros existem na tabela no total? Quantos serao geralmente usados nessa query?