Sim. Para uma aplicação sem framework, até que da pra você fazer muita coisa com estes quatro. Comece criando JSPs com redirecionamento à servlets, acesso à banco de dados, etc. e depois implemente um servlet controlador com pageBeans e taglibs nas suas páginas. É um longo (e duro) caminho, mas depois que você aprende vale a pena.
Como você disse que está começando a estudar, fica a sugestão de um livro, o Use a Cabeça! Servlets & JSP da Kathy Sierra, é muito bom.
Sobre as tags html dentro do servlet, isso realmente deve ser evitado.
O servlet deve se encarregar da lógica de negócio e o JSP de mostrar os dados.
É uma boa prática não colocar regras de negócio dentro das JSP pois para dar manutenção depois é complicado.