pcassiano,
O isolamento entre as aplicações é algo que já está respondido: É uma característica natural e não é nada difícil de fazer. Obviamente, percebi uma oportunidade de explicar melhor como funciona o processo de aumentar a capacidade de um site.
Ok, vamos para cada elemento:
a) Quando um site não está dando conta, tentamos achar os gargalos: Pontos aonde a performance geral do sistema é limitada por um fator
b) A partir deste diagnótico, podemos fazer um tuning
c) Quando o tuning não é suficiente, precisamos aumentar os recursos da máquina (principalmente: Memória RAM)
d) Adicionalmente, podemos identificar pontos que são bastante reusados e utilizarmos soluções e estratégias de cache, no código ou via um proxy reverso (um proxy http que “finge” que é um servidor web, mas que faz cache de recursos estáticos para os browsers)
Quando não está sendo viável uma máquina estar dando conta, podemos sair do scale-up (escalone pra cima) e partir para o scale-out, empregando mais máquinas, aonde:
e) Os bancos de dados podem ser agrupados através de um mecanismo de replicação. Um padrão comum, neste caso, é centralizar todas as consultas que envolvam atualização de dados em uma máquina, que, por sua vez, notifica os outros bancos de dados da atualização. Estes outros bancos de dados possuem a função de servirem para servir consultas que envolvam apenas leitura dos dados.
f) Os servidores web são capazes de armazenar no banco de dados todos os dados da sessão do usuário (o normal é no disco/memória ram), permitindo que uma máquina trate uma requisição referente a sessão de um usuário, independente de quais máquinas trataram antes. Isto permite que as máquinas possam entrar e sair da rede sem prejuízo para a mesma;
g) O Sistema de DNS pode permitir que um único endereço de DNS possa ser tratado por estes conjuntos de servidores, também chamados de “Web Farm”
h) O sistema de cache/escrita/cluster pode ter afinidade de sessão, permitindo que todos os clientes da América Latina sejam atendidos em um DataCenter fisicamente próximo da América Latina, e os da Ásia, em servidores próximos aos servidores da Ásia
Enfim, existem várias possibilidades. E o melhor: Pode ser gradual!