Como eu disse:

O A lentidão esta no Where sem indices, ou a falta do Where que faz o join (rushmore) ser uma parte insignificante.

Ai perder .00002 não diz se o rushmore é uma boa alternativa ou não, pois ele não esta compromentendo sua instrução SQL, e sim a fato de não poder usar nada para percorrer a tabela.

Faça uma este de algoritimo e pense como o processo vai ser realizado apenas com o join otimizado e veja que o trabalho neste caso é enorme. E nem levei em consideração o balanceamento do indice deste join...