Problemas com Encoding

robinsonbsilva · Junho 16, 2009, 7:07am

Bom dia a todos,

Estou tendo um problema em uma rotina de “inserção de dados”. Essa rotina lê linha a linha de um arquivo.txt e insere em uma tabela. Em minha base de desenvolvimento, (Windows XP, PostgreSQL) tudo funciona bem, mas quando faço um deploy da aplicação para nosso servidor Locaweb (Linux, PostgreSQL) dá o seguinte erro:

PrintStackTrace: 
org.postgresql.util.PSQLException: ERROR: character 0xefbfbd of encoding "UTF8" has no equivalent in "WIN1252"
 at org.postgresql.core.v3.QueryExecutorImpl.receiveErrorResponse(QueryExecutorImpl.java:1512)
 at org.postgresql.core.v3.QueryExecutorImpl.processResults(QueryExecutorImpl.java:1297)
 at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:188)
 at org.postgresql.jdbc2.AbstractJdbc2Statement.execute(AbstractJdbc2Statement.java:437)
 at org.postgresql.jdbc2.AbstractJdbc2Statement.executeWithFlags(AbstractJdbc2Statement.java:353)
 at org.postgresql.jdbc2.AbstractJdbc2Statement.executeUpdate(AbstractJdbc2Statement.java:307)
 at org.apache.commons.dbcp.DelegatingPreparedStatement.executeUpdate(DelegatingPreparedStatement.java:101)
 at br.com.undertaker.model.dao.ImportProducaoDAO.insert(ImportProducaoDAO.java:150)
 at br.com.undertaker.model.bdo.ImportBDO.processFileProducao(ImportBDO.java:387)
 at br.com.undertaker.model.bdo.ImportBDO.processFile(ImportBDO.java:57)
 at br.com.undertaker.model.bdo.ImportBDO.readFile(ImportBDO.java:40)
 at br.com.undertaker.model.bdo.ImportBDO.insert(ImportBDO.java:31)
 at br.com.undertaker.controller.action.ImportAction.upload(ImportAction.java:57)
 at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
 at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
 at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
 at java.lang.reflect.Method.invoke(Method.java:597)
 at org.apache.struts.actions.DispatchAction.dispatchMethod(DispatchAction.java:269)
 at org.apache.struts.actions.DispatchAction.execute(DispatchAction.java:170)
 at org.apache.struts.chain.commands.servlet.ExecuteAction.execute(ExecuteAction.java:58)
 at org.apache.struts.chain.commands.AbstractExecuteAction.execute(AbstractExecuteAction.java:67)
 at org.apache.struts.chain.commands.ActionCommandBase.execute(ActionCommandBase.java:51)
 at org.apache.commons.chain.impl.ChainBase.execute(ChainBase.java:190)
 at org.apache.commons.chain.generic.LookupCommand.execute(LookupCommand.java:304)
 at org.apache.commons.chain.impl.ChainBase.execute(ChainBase.java:190)
 at org.apache.struts.chain.ComposableRequestProcessor.process(ComposableRequestProcessor.java:283)
 at org.apache.struts.action.ActionServlet.process(ActionServlet.java:1913)
 at org.apache.struts.action.ActionServlet.doPost(ActionServlet.java:462)
 at javax.servlet.http.HttpServlet.service(HttpServlet.java:710)
 at javax.servlet.http.HttpServlet.service(HttpServlet.java:803)
 at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:290)
 at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:206)
 at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:230)
 at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:175)
 at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:128)
 at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:104)
 at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:109)
 at br.com.locaweb.tomcat.LocaWebValve.invoke(LocaWebValve.java:134)
 at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:261)
 at org.apache.jk.server.JkCoyoteHandler.invoke(JkCoyoteHandler.java:190)
 at org.apache.jk.common.HandlerRequest.invoke(HandlerRequest.java:283)
 at org.apache.jk.common.ChannelSocket.invoke(ChannelSocket.java:767)
 at org.apache.jk.common.ChannelSocket.processConnection(ChannelSocket.java:697)
 at org.apache.jk.common.ChannelSocket$SocketConnection.runIt(ChannelSocket.java:889)
 at org.apache.tomcat.util.threads.ThreadPool$ControlRunnable.run(ThreadPool.java:686)
 at java.lang.Thread.run(Thread.java:619)
============End Exception=============

Só para deixar registrado, o encoding do banco de dados, tanto em desenvolvimento, com em produção estão idênticos:
CREATE DATABASE nome_banco ENCODING = ‘WIN1252’;

Desde já agradeço pela atenção!!

Mero_Aprendiz · Junho 16, 2009, 8:35am

[quote=robinsonbsilva]Bom dia a todos,

Estou tendo um problema em uma rotina de “inserção de dados”. Essa rotina lê linha a linha de um arquivo.txt e insere em uma tabela. Em minha base de desenvolvimento, (Windows XP, PostgreSQL) tudo funciona bem, mas quando faço um deploy da aplicação para nosso servidor Locaweb (Linux, PostgreSQL) dá o seguinte erro:

PrintStackTrace: 
org.postgresql.util.PSQLException: ERROR: character 0xefbfbd of encoding "UTF8" has no equivalent in "WIN1252"
 at org.postgresql.core.v3.QueryExecutorImpl.receiveErrorResponse(QueryExecutorImpl.java:1512)
 at org.postgresql.core.v3.QueryExecutorImpl.processResults(QueryExecutorImpl.java:1297)
 at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:188)
 at org.postgresql.jdbc2.AbstractJdbc2Statement.execute(AbstractJdbc2Statement.java:437)
 at org.postgresql.jdbc2.AbstractJdbc2Statement.executeWithFlags(AbstractJdbc2Statement.java:353)
 at org.postgresql.jdbc2.AbstractJdbc2Statement.executeUpdate(AbstractJdbc2Statement.java:307)
 at org.apache.commons.dbcp.DelegatingPreparedStatement.executeUpdate(DelegatingPreparedStatement.java:101)
 at br.com.undertaker.model.dao.ImportProducaoDAO.insert(ImportProducaoDAO.java:150)
 at br.com.undertaker.model.bdo.ImportBDO.processFileProducao(ImportBDO.java:387)
 at br.com.undertaker.model.bdo.ImportBDO.processFile(ImportBDO.java:57)
 at br.com.undertaker.model.bdo.ImportBDO.readFile(ImportBDO.java:40)
 at br.com.undertaker.model.bdo.ImportBDO.insert(ImportBDO.java:31)
 at br.com.undertaker.controller.action.ImportAction.upload(ImportAction.java:57)
 at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
 at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
 at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
 at java.lang.reflect.Method.invoke(Method.java:597)
 at org.apache.struts.actions.DispatchAction.dispatchMethod(DispatchAction.java:269)
 at org.apache.struts.actions.DispatchAction.execute(DispatchAction.java:170)
 at org.apache.struts.chain.commands.servlet.ExecuteAction.execute(ExecuteAction.java:58)
 at org.apache.struts.chain.commands.AbstractExecuteAction.execute(AbstractExecuteAction.java:67)
 at org.apache.struts.chain.commands.ActionCommandBase.execute(ActionCommandBase.java:51)
 at org.apache.commons.chain.impl.ChainBase.execute(ChainBase.java:190)
 at org.apache.commons.chain.generic.LookupCommand.execute(LookupCommand.java:304)
 at org.apache.commons.chain.impl.ChainBase.execute(ChainBase.java:190)
 at org.apache.struts.chain.ComposableRequestProcessor.process(ComposableRequestProcessor.java:283)
 at org.apache.struts.action.ActionServlet.process(ActionServlet.java:1913)
 at org.apache.struts.action.ActionServlet.doPost(ActionServlet.java:462)
 at javax.servlet.http.HttpServlet.service(HttpServlet.java:710)
 at javax.servlet.http.HttpServlet.service(HttpServlet.java:803)
 at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:290)
 at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:206)
 at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:230)
 at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:175)
 at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:128)
 at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:104)
 at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:109)
 at br.com.locaweb.tomcat.LocaWebValve.invoke(LocaWebValve.java:134)
 at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:261)
 at org.apache.jk.server.JkCoyoteHandler.invoke(JkCoyoteHandler.java:190)
 at org.apache.jk.common.HandlerRequest.invoke(HandlerRequest.java:283)
 at org.apache.jk.common.ChannelSocket.invoke(ChannelSocket.java:767)
 at org.apache.jk.common.ChannelSocket.processConnection(ChannelSocket.java:697)
 at org.apache.jk.common.ChannelSocket$SocketConnection.runIt(ChannelSocket.java:889)
 at org.apache.tomcat.util.threads.ThreadPool$ControlRunnable.run(ThreadPool.java:686)
 at java.lang.Thread.run(Thread.java:619)
============End Exception=============

Só para deixar registrado, o encoding do banco de dados, tanto em desenvolvimento, com em produção estão idênticos:
CREATE DATABASE nome_banco ENCODING = ‘WIN1252’;

Desde já agradeço pela atenção!![/quote]

Olá robinsonbsilva.
Bem, o problema pode ser no proprio ‘WIN1252’, já que ele é um padrão Windows (http://en.wikipedia.org/wiki/Windows-1252).
Talvez não seja um boa utilizar o ‘WIN1252’ em um S.O. Linux.
Uma opção seria migrar para o Latin1.

[]'s
JL

thingol · Junho 16, 2009, 8:52am

Esse caracter ( http://www.fileformat.info/info/unicode/char/fffd/index.htm ) indica justamente que houve uma substituição de um caracter que não pôde ser representado:

Unicode Character ‘REPLACEMENT CHARACTER’ (U+FFFD)

Não sei por que é que esse caracter apareceu no seu banco, mas é o caso de limpá-lo.

robinsonbsilva · Junho 16, 2009, 10:11am

Senhores,
Fiz um teste com o seguinte código

System.out.println(System.getProperty("file.encoding")); 
// jdk1.4 
System.out.println(new java.io.OutputStreamWriter(new java.io.ByteArrayOutputStream()).getEncoding()); 
// jdk1.5 
System.out.println(java.nio.charset.Charset.defaultCharset().name());

E o resultado no servidor(linux) foi:

UTF-8
UTF8
UTF-8

Agora em meu ambiente de desenvolvimento(Wndows) foi:

Cp1252
Cp1252
windows-1252

Ou seja, o problema do encoding está sendo causado pelo default character da JVM.
Pesquisando eu vi que há a necessidade de eu especificar também o chatset para ler meu txt.

Reader r = new BufferedReader(new InputStreamReader(new FileInputStream("c:\\xxx.txt"), "Cp1252"));

Agora eu farei uns testes, e depois informo a todos o êxito ou não!!

Obrigado pela atenção.

robinsonbsilva · Junho 17, 2009, 6:48am

Bom dia senhores, a resolução do problema relatado foi mais simples do que imaginei. Apenas especifiquei o encoding ao ler o arquivo texto.

Reader r = new BufferedReader(new InputStreamReader(new FileInputStream("c:\\xxx.txt"), "Cp1252"));

zerguender · Setembro 29, 2009, 10:48am

Srs. Bom Dia a todos do Forum.
Eu estou com um grande problema, utilizo uma ferramenta de monitoração que se chama SiteScope, e toda hora meu Sitescope cai, quando eu verifico nos logs aparecem varios erros assim:

Data e hora (caminho monitorado Ex. /opt/(filesystem) nome servidor) e o erro => b ERROR - the locale is - Cp1252[/b]
Data e hora (caminho monitorado Ex. /opt/(filesystem) nome servidor) e o erro => b ERROR - the locale is - Cp1252[/b]
Data e hora (caminho monitorado Ex. /opt/(filesystem) nome servidor) e o erro => b ERROR - the locale is - Cp1252[/b]
Data e hora (caminho monitorado Ex. /opt/(filesystem) nome servidor) e o erro => b ERROR - the locale is - Cp1252[/b]
Data e hora (caminho monitorado Ex. /opt/(filesystem) nome servidor) e o erro => b ERROR - the locale is - Cp1252[/b]
Data e hora (caminho monitorado Ex. /opt/(filesystem) nome servidor) e o erro => b ERROR - the locale is - Cp1252[/b]

No log gerado pela ferramenta tem vairos erros assim.
Alguem sabe como resolver esse problema, e o que é isso, porfavor galera!
Abraços!

system · Dezembro 29, 2015, 1:56am

Problemas com Encoding

Cursos de Mobile

Cursos de Programação

Cursos de Front-end

Cursos de DevOps

Cursos de Design & UX

Cursos de Business

Cursos de Data & BI