Ordenação no SqlServer

Estou com problema no Sql Server 2017, quando faço o select, o retorno as vezes vindo fora de ordem. com o orderby resolve, mas acho estranho pois sql server por padrão é asc, teria alguma configuração
Ex
|Id|
|1|
|2|
|4|
|3|

Já leu isso?