Ajuda com DELETE ON CASCADE (MySQL)

Boa noite pessoal, gostaria de uma ajuda com um delete on cascade em uma tabela mysql.
Tenho duas tabelas Aluno e Contato. Em aluno tenho um chave estrangeira vinculada com contato:
Minha chave estrangeira está assim
CONSTRAINT fk_Aluno_contato
FOREIGN KEY (Contato_codigo)
REFERENCES banco.Contato (Codigo_contato)
ON DELETE CASCADE
ON UPDATE NO ACTION)

O que eu gostaria de fazer é, ao deletar um Aluno, o contato vinculado com ele ser deletado automaticamente também.
Tentei usar o DELETE CASCADE, mas não funciona. Pelo que vi e testei, está funcionando de forma inversa: ao deletar um contato, o aluno é deletado.

Alguém pode me ajudar a resolver isso?

Obrigado

Ou a melhor forma mesmo seria utilizar um INNER JOIN e faz o delete nas duas tabelas?
Assim:

delete aluno, contato from aluno INNER JOIN contato where aluno.Codigo_aluno=2 and aluno.Contato_codigo=contato.Codigo_contato;