Importar arquivo CSV gigante (30GB) em Banco de dados

Infraestrutura Banco de Dados
,
#1

Olá pessoal,

Gostaria de uma indicação de algum método de importação mais rápida para banco de dados Postgresql ou MySQL.

Preciso periodicamente atualizar uma base de dados com arquivos acima de 30GB, mas demora dias para concluir a importação do arquivo CSV na base de dados.

#2

esse ártigo pode te dar uma referencia muito boa de como fazer isso no mysql, http://chriseiffel.com/uncategorized/how-to-import-a-large-csv-file-to-mysql/

1 curtida
#3

Caracas, tá bem grande mesmo. e isso é demorado.
Atualizar que vc diz seria ter que pesquisar o que já existe e alterar o conteudo ou ir inserindo ?

#4

Na mesma linha da resposta do @Fabio_Dos_Reis, um link sobre como fazer em postgresql:

1 curtida
#5

Seria isso mesmo, sem deixar a base fora do ar.

#6

Vixi, sujou.

#7

Para Big Data, NoSQL é uma solução melhor.
Uso de sharings processamento distribuido em varios servidores são a resposta para muitos dos gargalos do modelo relacional.

1 curtida