Não testei o Unity ainda, deixo as explicações pra alguém mais interado. Mas resumindo, é o gerenciamento das janelas, comportamento, animações e efeitos do desktop.
Já o X11 é o “Servidor de Janelas”. No Windows como não tem a diferenciação, o pessoal confunde mesmo. O X11 seria grosseiramente a “interface gráfica” do Linux, os ambientes KDE, Gnome, etc gerenciam e extendem o X11. Um das vantagens dele é que oferece uma forma muito rápida de gerenciamento remoto, ocupando pouca largura de banda. Você pode ter o processamento do ambiente gráfico rodando em um computador e rodar em um hardware super limitado da sua máquina, com menos de 1 Mb de arquivos no computador cliente e com uma banda de 32 Kb acessar uma interface gráfica limitada.
Isso acontece porque ele foi projetado pra época dos mainframes, onde as estações não tinham processamento gráfico e rede era uma coisa muito cara. Nas máquinas de hoje, tanto o cliente quanto o servidor rodam na mesma máquina, jogando no lixo a vantagem. E com as placas de vídeo e redes de hoje, tem pouco sentido essa abordagem. Até celular tem mais processamento que as máquinas pra que ele foi projetado.
Fora isso, pra você usar placas de vídeo com todo o potencial, precisa de acesso direto ao hardware, coisa que o X11 tem uma arquitetura pra não permitir. Como é um protocolo de 30 anos atrás, não foi projetado pra rodar 3D, texturas, vertex shader ou qualquer tecnologia mais nova. Você consegue sim, mas pra isso foram distorcendo o código dele.
É um programa que hoje é usado pra algo que não foi feito, que teve o código refatorado dezenas e dezenas de vezes, está inchado, cheio de hacks e cada vez mais difícil extender. Já tentaram modularizar um pouco, fazer uma série de bibliotecas, mas só adicionam camadas em cima de camadas, aumentando a latência.
O propósito principal do Wayland é fazer um servidor novo, do zero, otimizado pras máquinas mais novas, e que seja modular o suficiente pra ser leve. Outra preocupação é ter uma API fácil e padronizada pra criar drivers pras placas de vídeo e outros periféricos gráficos, outro problema do X11.
O Wayland era trabalho de um desevolvedor só, agora já tem várias empresas ajudando. Outro projeto que tentou substituir o X11 chamava Fresco, mas faz anos que não vejo falar nele.