Dois erros no Eclipse

92 respostas
PortalBranco

Aqui:

Erro ao executar:

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
21/12/23 21:47:41 INFO SparkContext: Running Spark version 2.3.0
21/12/23 21:47:41 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
21/12/23 21:47:41 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
	at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:378)
	at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:393)
	at org.apache.hadoop.util.Shell.<clinit>(Shell.java:386)
	at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:79)
	at org.apache.hadoop.security.Groups.parseStaticMapping(Groups.java:116)
	at org.apache.hadoop.security.Groups.<init>(Groups.java:93)
	at org.apache.hadoop.security.Groups.<init>(Groups.java:73)
	at org.apache.hadoop.security.Groups.getUserToGroupsMappingService(Groups.java:293)
	at org.apache.hadoop.security.UserGroupInformation.initialize(UserGroupInformation.java:283)
	at org.apache.hadoop.security.UserGroupInformation.ensureInitialized(UserGroupInformation.java:260)
	at org.apache.hadoop.security.UserGroupInformation.loginUserFromSubject(UserGroupInformation.java:789)
	at org.apache.hadoop.security.UserGroupInformation.getLoginUser(UserGroupInformation.java:774)
	at org.apache.hadoop.security.UserGroupInformation.getCurrentUser(UserGroupInformation.java:647)
	at org.apache.spark.util.Utils$$anonfun$getCurrentUserName$1.apply(Utils.scala:2464)
	at org.apache.spark.util.Utils$$anonfun$getCurrentUserName$1.apply(Utils.scala:2464)
	at scala.Option.getOrElse(Option.scala:121)
	at org.apache.spark.util.Utils$.getCurrentUserName(Utils.scala:2464)
	at org.apache.spark.SparkContext.<init>(SparkContext.scala:292)
	at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2486)
	at org.apache.spark.sql.SparkSession$Builder$$anonfun$7.apply(SparkSession.scala:930)
	at org.apache.spark.sql.SparkSession$Builder$$anonfun$7.apply(SparkSession.scala:921)
	at scala.Option.getOrElse(Option.scala:121)
	at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:921)
	at com.packt.JavaDL.App.EDA.ExploratoryDataAnalysis.main(ExploratoryDataAnalysis.java:21)
21/12/23 21:47:41 INFO SparkContext: Submitted application: Bitcoin Preprocessing
21/12/23 21:47:41 INFO SecurityManager: Changing view acls to: multi
21/12/23 21:47:41 INFO SecurityManager: Changing modify acls to: multi
21/12/23 21:47:41 INFO SecurityManager: Changing view acls groups to: 
21/12/23 21:47:41 INFO SecurityManager: Changing modify acls groups to: 
21/12/23 21:47:41 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users  with view permissions: Set(multi); groups with view permissions: Set(); users  with modify permissions: Set(multi); groups with modify permissions: Set()
21/12/23 21:47:42 INFO Utils: Successfully started service 'sparkDriver' on port 62101.
21/12/23 21:47:42 INFO SparkEnv: Registering MapOutputTracker
21/12/23 21:47:42 INFO SparkEnv: Registering BlockManagerMaster
21/12/23 21:47:42 INFO BlockManagerMasterEndpoint: Using org.apache.spark.storage.DefaultTopologyMapper for getting topology information
21/12/23 21:47:42 INFO BlockManagerMasterEndpoint: BlockManagerMasterEndpoint up
21/12/23 21:47:42 INFO DiskBlockManager: Created local directory at C:\Users\multi\AppData\Local\Temp\blockmgr-03864a3a-ed21-4c0a-8b17-c5f89b651b5e
21/12/23 21:47:42 INFO MemoryStore: MemoryStore started with capacity 4.6 GB
21/12/23 21:47:42 INFO SparkEnv: Registering OutputCommitCoordinator
21/12/23 21:47:42 INFO Utils: Successfully started service 'SparkUI' on port 4040.
21/12/23 21:47:42 INFO SparkUI: Bound SparkUI to 0.0.0.0, and started at http://DESKTOP-2S65B7B:4040
21/12/23 21:47:42 INFO Executor: Starting executor ID driver on host localhost
21/12/23 21:47:42 INFO Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 62102.
21/12/23 21:47:42 INFO NettyBlockTransferService: Server created on DESKTOP-2S65B7B:62102
21/12/23 21:47:42 INFO BlockManager: Using org.apache.spark.storage.RandomBlockReplicationPolicy for block replication policy
21/12/23 21:47:42 INFO BlockManagerMaster: Registering BlockManager BlockManagerId(driver, DESKTOP-2S65B7B, 62102, None)
21/12/23 21:47:42 INFO BlockManagerMasterEndpoint: Registering block manager DESKTOP-2S65B7B:62102 with 4.6 GB RAM, BlockManagerId(driver, DESKTOP-2S65B7B, 62102, None)
21/12/23 21:47:42 INFO BlockManagerMaster: Registered BlockManager BlockManagerId(driver, DESKTOP-2S65B7B, 62102, None)
21/12/23 21:47:42 INFO BlockManager: Initialized BlockManager: BlockManagerId(driver, DESKTOP-2S65B7B, 62102, None)
21/12/23 21:47:42 INFO SharedState: Setting hive.metastore.warehouse.dir ('null') to the value of spark.sql.warehouse.dir ('temp/').
21/12/23 21:47:42 INFO SharedState: Warehouse path is 'temp/'.
21/12/23 21:47:42 INFO StateStoreCoordinatorRef: Registered StateStoreCoordinator endpoint
Exception in thread "main" java.lang.reflect.InaccessibleObjectException: Unable to make field private transient java.lang.String java.net.URI.scheme accessible: module java.base does not "opens java.net" to unnamed module @480d3575
	at java.base/java.lang.reflect.AccessibleObject.checkCanSetAccessible(AccessibleObject.java:354)
	at java.base/java.lang.reflect.AccessibleObject.checkCanSetAccessible(AccessibleObject.java:297)
	at java.base/java.lang.reflect.Field.checkCanSetAccessible(Field.java:178)
	at java.base/java.lang.reflect.Field.setAccessible(Field.java:172)
	at org.apache.spark.util.SizeEstimator$$anonfun$getClassInfo$3.apply(SizeEstimator.scala:336)
	at org.apache.spark.util.SizeEstimator$$anonfun$getClassInfo$3.apply(SizeEstimator.scala:330)
	at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
	at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:186)
	at org.apache.spark.util.SizeEstimator$.getClassInfo(SizeEstimator.scala:330)
	at org.apache.spark.util.SizeEstimator$.visitSingleObject(SizeEstimator.scala:222)
	at org.apache.spark.util.SizeEstimator$.org$apache$spark$util$SizeEstimator$$estimate(SizeEstimator.scala:201)
	at org.apache.spark.util.SizeEstimator$.estimate(SizeEstimator.scala:69)
	at org.apache.spark.sql.execution.datasources.SharedInMemoryCache$$anon$1.weigh(FileStatusCache.scala:109)
	at org.apache.spark.sql.execution.datasources.SharedInMemoryCache$$anon$1.weigh(FileStatusCache.scala:107)
	at org.spark_project.guava.cache.LocalCache$Segment.setValue(LocalCache.java:2222)
	at org.spark_project.guava.cache.LocalCache$Segment.put(LocalCache.java:2944)
	at org.spark_project.guava.cache.LocalCache.put(LocalCache.java:4212)
	at org.spark_project.guava.cache.LocalCache$LocalManualCache.put(LocalCache.java:4804)
	at org.apache.spark.sql.execution.datasources.SharedInMemoryCache$$anon$3.putLeafFiles(FileStatusCache.scala:152)
	at org.apache.spark.sql.execution.datasources.InMemoryFileIndex$$anonfun$listLeafFiles$2.apply(InMemoryFileIndex.scala:130)
	at org.apache.spark.sql.execution.datasources.InMemoryFileIndex$$anonfun$listLeafFiles$2.apply(InMemoryFileIndex.scala:128)
	at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59)
	at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:48)
	at org.apache.spark.sql.execution.datasources.InMemoryFileIndex.listLeafFiles(InMemoryFileIndex.scala:128)
	at org.apache.spark.sql.execution.datasources.InMemoryFileIndex.refresh0(InMemoryFileIndex.scala:91)
	at org.apache.spark.sql.execution.datasources.InMemoryFileIndex.<init>(InMemoryFileIndex.scala:67)
	at org.apache.spark.sql.execution.datasources.DataSource.tempFileIndex$lzycompute$1(DataSource.scala:161)
	at org.apache.spark.sql.execution.datasources.DataSource.org$apache$spark$sql$execution$datasources$DataSource$$tempFileIndex$1(DataSource.scala:152)
	at org.apache.spark.sql.execution.datasources.DataSource.getOrInferFileFormatSchema(DataSource.scala:166)
	at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:392)
	at org.apache.spark.sql.DataFrameReader.loadV1Source(DataFrameReader.scala:239)
	at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:227)
	at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:174)
	at com.packt.JavaDL.App.EDA.ExploratoryDataAnalysis.main(ExploratoryDataAnalysis.java:28)
21/12/23 21:47:42 INFO SparkContext: Invoking stop() from shutdown hook
21/12/23 21:47:42 INFO SparkUI: Stopped Spark web UI at http://DESKTOP-2S65B7B:4040
21/12/23 21:47:42 INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!
21/12/23 21:47:42 INFO MemoryStore: MemoryStore cleared
21/12/23 21:47:42 INFO BlockManager: BlockManager stopped
21/12/23 21:47:42 INFO BlockManagerMaster: BlockManagerMaster stopped
21/12/23 21:47:42 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!
21/12/23 21:47:42 INFO SparkContext: Successfully stopped SparkContext
21/12/23 21:47:42 INFO ShutdownHookManager: Shutdown hook called
21/12/23 21:47:42 INFO ShutdownHookManager: Deleting directory C:\Users\multi\AppData\Local\Temp\spark-8ad2da70-9bb2-4785-ba9d-46c6a6ee2282

92 Respostas

staroski

Você deve ter copiado esse projeto de outra máquina então seu projeto está configurado para usar uma versão específica do Java que você não tem instalada.
Ajusta as propriedades do projeto para usar o Java que você tem.

PortalBranco

Sim fiz isso. Como arrumo? :pray:

PortalBranco

Sabe dizer se é realmente do Eclipse:
01

staroski

Clica nas propriedades do projeto e usa o Java que tu tem instalado.

PortalBranco

PortalBranco

How to run

Please go to the project folder and run the command “mvn clean package -Dmaven.test.skip=true”, then we will get two archive files in the sub folder “target”, one is “JLibFM-0.1-SNAPSHOT-jar-with-dependencies.jar”. Now we can prepare the dataset. In the current version, only LibSVM format is supported. There is a Java class com.github.gaterslebenchen.libfm.examples.MovieLens1MFormater in this project.

(1) an example of Stochastic Gradient Descent (SGD) method:

* java -Xms1024M -Xmx2048M -jar JLibFM-0.1-SNAPSHOT-jar-with-dependencies.jar -task r -train ratings_train.libfm -test ratings_test.libfm -dim 1,1,8 -iter 30 -method sgd -learn_rate 0.01 -regular 0,0,0.1 -init_stdev 0.1 -rlog log.txt -verbosity 1

(2) an example of Alternating Least Squares (ALS) method:

* java -Xms1024M -Xmx2048M -jar JLibFM-0.1-SNAPSHOT-jar-with-dependencies.jar -task r -train ratings_train.libfm -test ratings_test.libfm -dim 1,1,8 -iter 20 -method als -regular 0,0,10 -init_stdev 0.1 -rlog log.txt -verbosity 1

(3) an example of Markov Chain Monte Carlo (MCMC) method:

* java -Xms1024M -Xmx2048M -jar JLibFM-0.1-SNAPSHOT-jar-with-dependencies.jar -task r -train ratings_train.libfm -test ratings_test.libfm -dim 1,1,8 -iter 20 -method mcmc -init_stdev 0.1 -rlog log.txt -verbosity 1

(4) an example of Adaptive SGD (SGDA) method:

* java -Xms1024M -Xmx2048M -jar JLibFM-0.1-SNAPSHOT-jar-with-dependencies.jar -task r -train ratings_train.libfm -test ratings_test.libfm -validation ratings_valid.libfm -dim 1,1,8 -iter 20 -method sgda  -init_stdev 0.1 -learn_rate 0.01 -rlog log.txt -verbosity 1

Evaluation datatexto em negrito

staroski

Na aba “Libraries” você remove essa que não existe e adiciona o Java que você tem instalado.

PortalBranco

E agora:

staroski

Clica em Add library e seleciona o Java que você tiver instalado pôxa.

PortalBranco

Ao rodar dá issO:

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
21/12/26 15:29:06 INFO SparkContext: Running Spark version 2.3.0
21/12/26 15:29:06 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
21/12/26 15:29:06 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
	at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:378)
	at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:393)
	at org.apache.hadoop.util.Shell.<clinit>(Shell.java:386)
	at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:79)
	at org.apache.hadoop.security.Groups.parseStaticMapping(Groups.java:116)
	at org.apache.hadoop.security.Groups.<init>(Groups.java:93)
	at org.apache.hadoop.security.Groups.<init>(Groups.java:73)
	at org.apache.hadoop.security.Groups.getUserToGroupsMappingService(Groups.java:293)
	at org.apache.hadoop.security.UserGroupInformation.initialize(UserGroupInformation.java:283)
	at org.apache.hadoop.security.UserGroupInformation.ensureInitialized(UserGroupInformation.java:260)
	at org.apache.hadoop.security.UserGroupInformation.loginUserFromSubject(UserGroupInformation.java:789)
	at org.apache.hadoop.security.UserGroupInformation.getLoginUser(UserGroupInformation.java:774)
	at org.apache.hadoop.security.UserGroupInformation.getCurrentUser(UserGroupInformation.java:647)
	at org.apache.spark.util.Utils$$anonfun$getCurrentUserName$1.apply(Utils.scala:2464)
	at org.apache.spark.util.Utils$$anonfun$getCurrentUserName$1.apply(Utils.scala:2464)
	at scala.Option.getOrElse(Option.scala:121)
	at org.apache.spark.util.Utils$.getCurrentUserName(Utils.scala:2464)
	at org.apache.spark.SparkContext.<init>(SparkContext.scala:292)
	at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2486)
	at org.apache.spark.sql.SparkSession$Builder$$anonfun$7.apply(SparkSession.scala:930)
	at org.apache.spark.sql.SparkSession$Builder$$anonfun$7.apply(SparkSession.scala:921)
	at scala.Option.getOrElse(Option.scala:121)
	at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:921)
	at com.packt.JavaDL.MovieRecommendation.EDA.ExploratoryDataAnalysis.main(ExploratoryDataAnalysis.java:21)
21/12/26 15:29:06 INFO SparkContext: Submitted application: Bitcoin Preprocessing
21/12/26 15:29:06 INFO SecurityManager: Changing view acls to: multi
21/12/26 15:29:06 INFO SecurityManager: Changing modify acls to: multi
21/12/26 15:29:06 INFO SecurityManager: Changing view acls groups to: 
21/12/26 15:29:06 INFO SecurityManager: Changing modify acls groups to: 
21/12/26 15:29:06 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users  with view permissions: Set(multi); groups with view permissions: Set(); users  with modify permissions: Set(multi); groups with modify permissions: Set()
21/12/26 15:29:06 INFO Utils: Successfully started service 'sparkDriver' on port 60893.
21/12/26 15:29:06 INFO SparkEnv: Registering MapOutputTracker
21/12/26 15:29:06 INFO SparkEnv: Registering BlockManagerMaster
21/12/26 15:29:06 INFO BlockManagerMasterEndpoint: Using org.apache.spark.storage.DefaultTopologyMapper for getting topology information
21/12/26 15:29:06 INFO BlockManagerMasterEndpoint: BlockManagerMasterEndpoint up
21/12/26 15:29:06 INFO DiskBlockManager: Created local directory at C:\Users\multi\AppData\Local\Temp\blockmgr-b24dfd21-248d-4231-b7ef-9aa06f52dd2a
21/12/26 15:29:06 INFO MemoryStore: MemoryStore started with capacity 4.6 GB
21/12/26 15:29:06 INFO SparkEnv: Registering OutputCommitCoordinator
21/12/26 15:29:06 INFO Utils: Successfully started service 'SparkUI' on port 4040.
21/12/26 15:29:06 INFO SparkUI: Bound SparkUI to 0.0.0.0, and started at http://DESKTOP-2S65B7B:4040
21/12/26 15:29:06 INFO Executor: Starting executor ID driver on host localhost
21/12/26 15:29:06 INFO Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 60894.
21/12/26 15:29:06 INFO NettyBlockTransferService: Server created on DESKTOP-2S65B7B:60894
21/12/26 15:29:06 INFO BlockManager: Using org.apache.spark.storage.RandomBlockReplicationPolicy for block replication policy
21/12/26 15:29:06 INFO BlockManagerMaster: Registering BlockManager BlockManagerId(driver, DESKTOP-2S65B7B, 60894, None)
21/12/26 15:29:06 INFO BlockManagerMasterEndpoint: Registering block manager DESKTOP-2S65B7B:60894 with 4.6 GB RAM, BlockManagerId(driver, DESKTOP-2S65B7B, 60894, None)
21/12/26 15:29:06 INFO BlockManagerMaster: Registered BlockManager BlockManagerId(driver, DESKTOP-2S65B7B, 60894, None)
21/12/26 15:29:06 INFO BlockManager: Initialized BlockManager: BlockManagerId(driver, DESKTOP-2S65B7B, 60894, None)
21/12/26 15:29:06 INFO SharedState: Setting hive.metastore.warehouse.dir ('null') to the value of spark.sql.warehouse.dir ('temp/').
21/12/26 15:29:06 INFO SharedState: Warehouse path is 'temp/'.
21/12/26 15:29:07 INFO StateStoreCoordinatorRef: Registered StateStoreCoordinator endpoint
Exception in thread "main" java.lang.reflect.InaccessibleObjectException: Unable to make field private transient java.lang.String java.net.URI.scheme accessible: module java.base does not "opens java.net" to unnamed module @480d3575
	at java.base/java.lang.reflect.AccessibleObject.checkCanSetAccessible(AccessibleObject.java:354)
	at java.base/java.lang.reflect.AccessibleObject.checkCanSetAccessible(AccessibleObject.java:297)
	at java.base/java.lang.reflect.Field.checkCanSetAccessible(Field.java:178)
	at java.base/java.lang.reflect.Field.setAccessible(Field.java:172)
	at org.apache.spark.util.SizeEstimator$$anonfun$getClassInfo$3.apply(SizeEstimator.scala:336)
	at org.apache.spark.util.SizeEstimator$$anonfun$getClassInfo$3.apply(SizeEstimator.scala:330)
	at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
	at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:186)
	at org.apache.spark.util.SizeEstimator$.getClassInfo(SizeEstimator.scala:330)
	at org.apache.spark.util.SizeEstimator$.visitSingleObject(SizeEstimator.scala:222)
	at org.apache.spark.util.SizeEstimator$.org$apache$spark$util$SizeEstimator$$estimate(SizeEstimator.scala:201)
	at org.apache.spark.util.SizeEstimator$.estimate(SizeEstimator.scala:69)
	at org.apache.spark.sql.execution.datasources.SharedInMemoryCache$$anon$1.weigh(FileStatusCache.scala:109)
	at org.apache.spark.sql.execution.datasources.SharedInMemoryCache$$anon$1.weigh(FileStatusCache.scala:107)
	at org.spark_project.guava.cache.LocalCache$Segment.setValue(LocalCache.java:2222)
	at org.spark_project.guava.cache.LocalCache$Segment.put(LocalCache.java:2944)
	at org.spark_project.guava.cache.LocalCache.put(LocalCache.java:4212)
	at org.spark_project.guava.cache.LocalCache$LocalManualCache.put(LocalCache.java:4804)
	at org.apache.spark.sql.execution.datasources.SharedInMemoryCache$$anon$3.putLeafFiles(FileStatusCache.scala:152)
	at org.apache.spark.sql.execution.datasources.InMemoryFileIndex$$anonfun$listLeafFiles$2.apply(InMemoryFileIndex.scala:130)
	at org.apache.spark.sql.execution.datasources.InMemoryFileIndex$$anonfun$listLeafFiles$2.apply(InMemoryFileIndex.scala:128)
	at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59)
	at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:48)
	at org.apache.spark.sql.execution.datasources.InMemoryFileIndex.listLeafFiles(InMemoryFileIndex.scala:128)
	at org.apache.spark.sql.execution.datasources.InMemoryFileIndex.refresh0(InMemoryFileIndex.scala:91)
	at org.apache.spark.sql.execution.datasources.InMemoryFileIndex.<init>(InMemoryFileIndex.scala:67)
	at org.apache.spark.sql.execution.datasources.DataSource.tempFileIndex$lzycompute$1(DataSource.scala:161)
	at org.apache.spark.sql.execution.datasources.DataSource.org$apache$spark$sql$execution$datasources$DataSource$$tempFileIndex$1(DataSource.scala:152)
	at org.apache.spark.sql.execution.datasources.DataSource.getOrInferFileFormatSchema(DataSource.scala:166)
	at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:392)
	at org.apache.spark.sql.DataFrameReader.loadV1Source(DataFrameReader.scala:239)
	at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:227)
	at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:174)
	at com.packt.JavaDL.MovieRecommendation.EDA.ExploratoryDataAnalysis.main(ExploratoryDataAnalysis.java:28)
21/12/26 15:29:07 INFO SparkContext: Invoking stop() from shutdown hook
21/12/26 15:29:07 INFO SparkUI: Stopped Spark web UI at http://DESKTOP-2S65B7B:4040
21/12/26 15:29:07 INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!
21/12/26 15:29:07 INFO MemoryStore: MemoryStore cleared
21/12/26 15:29:07 INFO BlockManager: BlockManager stopped
21/12/26 15:29:07 INFO BlockManagerMaster: BlockManagerMaster stopped
21/12/26 15:29:07 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!
21/12/26 15:29:07 INFO SparkContext: Successfully stopped SparkContext
21/12/26 15:29:07 INFO ShutdownHookManager: Shutdown hook called
21/12/26 15:29:07 INFO ShutdownHookManager: Deleting directory C:\Users\multi\AppData\Local\Temp\spark-64d1f0b7-e833-49b9-ad35-11df7a67ed02
staroski

Pelo jeito seu projeto usa o Hadoop mas você não tem o Hadoop instalado.
Talvez seja melhor você pedir ajuda para quem te passou esse projeto, vai ser difícil você avançar na tentativa e erro.

PortalBranco

Como instalo ele?

Lucas_Camara

Linux: Apache Hadoop 3.3.1 – Hadoop: Setting up a Single Node Cluster.
Windows: Hadoop2OnWindows - HADOOP2 - Apache Software Foundation

PortalBranco

Se eu instalar funcionará?

PortalBranco

Segui esses passos: Step by step Hadoop 2.8.0 installation on Window 10 - MuhammadBilalYar- Tech Blogs

Só quando digito “hdfs namenode –format” no cmd acontece isso:

staroski

A mensagem é bastante clara e diz que você não setou o JAVA_HOME.

PortalBranco

Veja isso:

Lucas_Camara

Vc deve configurar assim:

JAVA_HOME = C:\Program Files\Java\jdk-17.0.1

E no Path (vc só adiciona no final):

PATH = <path-que-ja-existe>;%JAVA_HOME%\bin
PortalBranco

Mesmo erro. :thinking:

staroski

No seu arquivo .cmd o caminho do JAVA_HOME precisa estar entre aspas, pois tem pastas com espaço em branco no nome.

PortalBranco

Assim:

Esta dano erro ainda.

PortalBranco

:thinking:

staroski

Amiguinho, você fez assim:

set JAVA_HOME = "C:\Program Files\Java\jdk-17.0.1"

Quando você executa o comando set do DOS, não pode pôr espaço entre o nome da variável e o sinal de igual e nem entre o sinal de igual e o valor da variável.

O correto é você setar assim:

set JAVA_HOME="C:\Program Files\Java\jdk-17.0.1"
PortalBranco

Deu certo:

E por que deu isso em vermelho?

E ao acessar: http://localhost:8088 Dá nisso:

staroski

Deve ter mais lugares onde você esqueceu de colocar o caminho entre aspas.
O ruim é que você só posta imagens, deveria postar o conteúdo dos arquivos para o pessoal do fórum ver.
É muito ruim ficar olhando printscreens.

PortalBranco

Aqui:
core-site.xml (879,Bytes)
hadoop-env.cmd (3,9,KB)
hdfs-site.xml (1,1,KB)
mapred-site.xml (857,Bytes)
yarn-site.xml (909,Bytes)

staroski

Suas variáveis HADOOP_HOME e JAVA_HOME estão erradas.

Conforme o @Lucas_Camara já te ensinou, nelas não vai a pasta bin.

A pasta bin vai na variável PATH.

PortalBranco

No tutorial vai: Step by step Hadoop 2.8.0 installation on Window 10 - MuhammadBilalYar- Tech Blogs

staroski

As imagens da parte do JAVA_HOME e HADOOP_HOME estão com o caminho errado.
Nestas variáveis não vai a pasta bin.

Tanto que na etapa 6 está escrito “Next we set the Hadoop bin directory path and JAVA bin directory path”.

PortalBranco

Assim:


?

Lucas_Camara

E no path vc adiciona no final:

;%HADOOP_HOME%\bin;%JAVA_HOME%\bin;
PortalBranco

Variáveis de usuário para multi:

Variáveis do sistema:

staroski

Você está com alguns caminhos completos no seu PATH

Apaga esses caminhos:

C:\Program Files\Common Files\Oracle\javapath
C:\Program Files\Java\jdk-17.0.1\bin
C:\hadoop\bin

Deixa o

%JAVA_HOME%\bin

e adiciona o

%HADOOP_HOME%\bin
PortalBranco

Eita ainda não foi:

Variáveis de usuário para multi:

Variáveis do sistema:

staroski

“Não foi” não explica nada.
Qual erro você tem agora?

PortalBranco

Lucas_Camara

E o que apareceu no terminal qdo vc subiu o serviço?

PortalBranco

Terminal?

Lucas_Camara

Isso. O lugar onde vc executa comandos. No windows é o powershell.

PortalBranco
staroski

Tá, é nessa montoeira de janelas que abriram, não tem nenhum erro em nenhuma delas?

PortalBranco

Creio que isso:

E as janelas que abriram não tem o mesmo nomes do site:

  • Hadoop Namenode
  • Hadoop datanode
  • YARN Resourc Manager
  • YARN Node Manager
staroski

Se você ler o conteúdo, vai ver que tem diversas mensagens dizendo

"C:\Program" não é reconhecido como um comando interno ou externo, um programa operável ou um arquivo em lotes.

Isso acontece pois em algum lugar você setou um caminho do "Program Files" sem colocar entre aspas.

Isso já foi te ensinado 6 dias atrás.

PortalBranco

Ai ai :rofl: já vi em tudo e fiz como no site acima.

PortalBranco

E agora?

staroski

Analisa o conteúdo do start-all.cmd pra encontrar onde está usando o caminho sem aspas.

PortalBranco

Nada:
start-all.cmd (1,7,KB)

staroski

Posta o conteúdo do arquivo no fórum, ninguém quer baixar um arquivo .cmd.
Não esqueça de usar o botão de formatação de código </>.

PortalBranco
@echo off
@rem Licensed to the Apache Software Foundation (ASF) under one or more
@rem contributor license agreements.  See the NOTICE file distributed with
@rem this work for additional information regarding copyright ownership.
@rem The ASF licenses this file to You under the Apache License, Version 2.0
@rem (the "License"); you may not use this file except in compliance with
@rem the License.  You may obtain a copy of the License at
@rem
@rem     http://www.apache.org/licenses/LICENSE-2.0
@rem
@rem Unless required by applicable law or agreed to in writing, software
@rem distributed under the License is distributed on an "AS IS" BASIS,
@rem WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
@rem See the License for the specific language governing permissions and
@rem limitations under the License.

setlocal enabledelayedexpansion

@rem Start all hadoop daemons.  Run this on master node.

echo This script is Deprecated. Instead use start-dfs.cmd and start-yarn.cmd

if not defined HADOOP_BIN_PATH ( 
  set HADOOP_BIN_PATH=%~dp0
)

if "%HADOOP_BIN_PATH:~-1%" == "\" (
  set HADOOP_BIN_PATH=%HADOOP_BIN_PATH:~0,-1%
)

set DEFAULT_LIBEXEC_DIR=%HADOOP_BIN_PATH%\..\libexec
if not defined HADOOP_LIBEXEC_DIR (
  set HADOOP_LIBEXEC_DIR=%DEFAULT_LIBEXEC_DIR%
)

call %HADOOP_LIBEXEC_DIR%\hadoop-config.cmd %*
if "%1" == "--config" (
  shift
  shift
)

@rem start hdfs daemons if hdfs is present
if exist %HADOOP_HDFS_HOME%\sbin\start-dfs.cmd (
  call %HADOOP_HDFS_HOME%\sbin\start-dfs.cmd --config %HADOOP_CONF_DIR%
)

@rem start yarn daemons if yarn is present
if exist %HADOOP_YARN_HOME%\sbin\start-yarn.cmd (
  call %HADOOP_YARN_HOME%\sbin\start-yarn.cmd --config %HADOOP_CONF_DIR%
)

endlocal
staroski

Você leu isso aqui?

This script is Deprecated. Instead use start-dfs.cmd and start-yarn.cmd

Sugiro fazer o que ele pede ou procurar um tutorial atualizado.

PortalBranco

Claramente não sei o que fazer… Sera que é por causa da versão usada no site: Hadoop 2.8.0?

PortalBranco

Veja o start-all.cmd do hadoop 3.3.1:

@echo off
@rem Licensed to the Apache Software Foundation (ASF) under one or more
@rem contributor license agreements.  See the NOTICE file distributed with
@rem this work for additional information regarding copyright ownership.
@rem The ASF licenses this file to You under the Apache License, Version 2.0
@rem (the "License"); you may not use this file except in compliance with
@rem the License.  You may obtain a copy of the License at
@rem
@rem     http://www.apache.org/licenses/LICENSE-2.0
@rem
@rem Unless required by applicable law or agreed to in writing, software
@rem distributed under the License is distributed on an "AS IS" BASIS,
@rem WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
@rem See the License for the specific language governing permissions and
@rem limitations under the License.

setlocal enabledelayedexpansion

@rem Start all hadoop daemons.  Run this on master node.

echo This script is Deprecated. Instead use start-dfs.cmd and start-yarn.cmd

if not defined HADOOP_BIN_PATH ( 
  set HADOOP_BIN_PATH=%~dp0
)

if "%HADOOP_BIN_PATH:~-1%" == "\" (
  set HADOOP_BIN_PATH=%HADOOP_BIN_PATH:~0,-1%
)

set DEFAULT_LIBEXEC_DIR=%HADOOP_BIN_PATH%\..\libexec
if not defined HADOOP_LIBEXEC_DIR (
  set HADOOP_LIBEXEC_DIR=%DEFAULT_LIBEXEC_DIR%
)

call %HADOOP_LIBEXEC_DIR%\hadoop-config.cmd %*
if "%1" == "--config" (
  shift
  shift
)

@rem start hdfs daemons if hdfs is present
if exist %HADOOP_HDFS_HOME%\sbin\start-dfs.cmd (
  call %HADOOP_HDFS_HOME%\sbin\start-dfs.cmd --config %HADOOP_CONF_DIR%
)

@rem start yarn daemons if yarn is present
if exist %HADOOP_YARN_HOME%\sbin\start-yarn.cmd (
  call %HADOOP_YARN_HOME%\sbin\start-yarn.cmd --config %HADOOP_CONF_DIR%
)

endlocal
PortalBranco

Será que esses tutoriais são melhores:

staroski

Testa e depois diz pra gente.

PortalBranco

Deu nisso seguindo o primeiro vídeo:

Ao escrever javac:

Microsoft Windows [versão 10.0.19044.1415]
(c) Microsoft Corporation. Todos os direitos reservados.

C:\Users\multi>javac
Usage: javac <options> <source files>
where possible options include:
  @<filename>                  Read options and filenames from file
  -Akey[=value]                Options to pass to annotation processors
  --add-modules <module>(,<module>)*
        Root modules to resolve in addition to the initial modules, or all modules
        on the module path if <module> is ALL-MODULE-PATH.
  --boot-class-path <path>, -bootclasspath <path>
        Override location of bootstrap class files
  --class-path <path>, -classpath <path>, -cp <path>
        Specify where to find user class files and annotation processors
  -d <directory>               Specify where to place generated class files
  -deprecation
        Output source locations where deprecated APIs are used
  --enable-preview
        Enable preview language features. To be used in conjunction with either -source or --release.
  -encoding <encoding>         Specify character encoding used by source files
  -endorseddirs <dirs>         Override location of endorsed standards path
  -extdirs <dirs>              Override location of installed extensions
  -g                           Generate all debugging info
  -g:{lines,vars,source}       Generate only some debugging info
  -g:none                      Generate no debugging info
  -h <directory>
        Specify where to place generated native header files
  --help, -help, -?            Print this help message
  --help-extra, -X             Print help on extra options
  -implicit:{none,class}
        Specify whether or not to generate class files for implicitly referenced files
  -J<flag>                     Pass <flag> directly to the runtime system
  --limit-modules <module>(,<module>)*
        Limit the universe of observable modules
  --module <module>(,<module>)*, -m <module>(,<module>)*
        Compile only the specified module(s), check timestamps
  --module-path <path>, -p <path>
        Specify where to find application modules
  --module-source-path <module-source-path>
        Specify where to find input source files for multiple modules
  --module-version <version>
        Specify version of modules that are being compiled
  -nowarn                      Generate no warnings
  -parameters
        Generate metadata for reflection on method parameters
  -proc:{none,only}
        Control whether annotation processing and/or compilation is done.
  -processor <class1>[,<class2>,<class3>...]
        Names of the annotation processors to run; bypasses default discovery process
  --processor-module-path <path>
        Specify a module path where to find annotation processors
  --processor-path <path>, -processorpath <path>
        Specify where to find annotation processors
  -profile <profile>
        Check that API used is available in the specified profile
  --release <release>
        Compile for the specified Java SE release. Supported releases: 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17
  -s <directory>               Specify where to place generated source files
  --source <release>, -source <release>
        Provide source compatibility with the specified Java SE release. Supported releases: 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17
  --source-path <path>, -sourcepath <path>
        Specify where to find input source files
  --system <jdk>|none          Override location of system modules
  --target <release>, -target <release>
        Generate class files suitable for the specified Java SE release. Supported releases: 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17
  --upgrade-module-path <path>
        Override location of upgradeable modules
  -verbose                     Output messages about what the compiler is doing
  --version, -version          Version information
  -Werror                      Terminate compilation if warnings occur


C:\Users\multi>

E não entra em http://localhost:8088.

staroski

Mas você está tentando compilar o quê?
javac é o comando que executa o Java Compiler

Alguma coisa você está fazendo errado.

PortalBranco

É que javac no vídeo ele executa pra ver que o java está instaldo.

Lucas_Camara

Para ver se o java está instalado, vc pode executar:

java --version

ao invés de javac.

PortalBranco

Não entendo. Fiz tudo certinho. :thinking:

staroski

Só sei que nesse vídeo que você postou, o cara seta o JAVA_HOME errado.
🤷🏻

PortalBranco

O que faço? Como você sabe?

staroski

No video mostra ele adicionando a pasta “bin” no JAVA_HOME, coisa que já cansamos de explicar que está errado.

Porque você não segue a documentação oficial do Hadoop?
https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

PortalBranco

:sweat_smile: Tirei os bin e nada. E o link que você mandou é no Linux.

Lucas_Camara

No link que o @staroski enviou tem um outro que redireciona para a doc de instalação no windows: Hadoop2OnWindows - HADOOP2 - Apache Software Foundation. Tente seguir essa doc para ver se funciona.

PortalBranco

Ele não ensina a instalar o Hadoop.

staroski

O link que o @Lucas_Camara postou ensina a compilar E instalar o Hadoop.
No seu caso, basta seguir a etapa de instalação, já que os binários você já baixou.

PortalBranco

Estou sendo muito burro e não entendi.

staroski

Pra ser rotulado de “burro”, você precisa conseguir encostar uma orelha na outra, duvido que consiga, então fica tranquilo. :smiley:

Abre o link que o @Lucas_Camara postou e segue as instruções a partir da sessão “Installation”. :man_shrugging:

PortalBranco

Uma coisa, voltando no início do tópico. Acho que devo instalar o Hadoop no Eclipse. E não no meu PC, ne?

staroski

Você vai instalar no seu computador e depois vai usar o eclipse pra acessar ele.
O eclipse é só um ambiente de desenvolvimento, que vai usar os Javas e os bancos que você tiver instalado.

PortalBranco

Você pode tentar instalar?

PortalBranco

Será que é so no meu PC. Com geontwrok não pegava o servidor no meu PC e em outros pegava

PortalBranco

Esta complicado… :disappointed_relieved:

staroski

O que é o que o GeoNetwork tem a ver com erro do eclipse?

Você começou o tópico com um erro no eclipse de que não tinha o JDK8 instalado.

Depois continuou no mesmo tópico, mesmo sendo outro problema (Falta a instalação do Hadoop na sua máquina).

Agora está com questionamentos do GeoNetwork.

Acho que você deveria focar em um problema de cada vez, senão você não resolve nada e também não consegue expor sua dúvida com clareza.
:man_shrugging:

PortalBranco

Realmente uma coisa levou a outra. Melhor começar outro tópico. Não quero mexer com o Geonetwork… É que ele também usa servidor (localhost) e no meu PC não funcionou mas de um amigo sim.

PortalBranco

Não sei o que fazer mais… :joy:

PortalBranco

Preciso de dar andamento mas falta isso… :disappointed_relieved:

staroski

Falta o que exatamente?

PortalBranco

Acessar o servidor do Hadoop.

staroski

Já instalou ele?

PortalBranco

Não… Dá nisso:

staroski

Depois de instalar você tem que pôr ele pra rodar, está seguindo as instruções do site oficial ou ainda está insistindo na tentativa e erro?

Quais erros são apresentados quando tu sobe ele em linha de comando?

PortalBranco

Então não esta rodando… E não é tentativa e erro, estou seguindo um tutorial.

staroski

No inicio do tópico você confirmou que havia copiado o projeto de outro lugar, isso foi uma tentativa e erro.

Depois que você postou o link dos tutorias que estava seguindo, percebemos que não estavam nem ensinando a configurar o JAVA_HOME e PATH corretamente.

Por isso sugerimos que siga o passo a passo no site oficial do hadoop.
:man_shrugging:

PortalBranco

Consegui instalar o Hadoop final no Windows 10… :grinning_face_with_smiling_eyes:

PortalBranco

Esse erro:

staroski

Você deve estar executando a classe errada.

PortalBranco

Veja:

Lucas_Camara

Não faça assim. Procure no seu projeto a classe que possui o método main, e execute ele diretamente.

PortalBranco

É aqui por aqui, ne:
01

Lucas_Camara

Sim.

staroski

Você está executando a primeira classe com método main que você encontra, provavelmente é uma classe que está em bibliotecas de terceiros.

Você copiou esse projeto de alguém?
Então peça pra esse alguém qual é a classe para executar esse progra/sistema.

Criado 24 de dezembro de 2021
Ultima resposta 16 de fev. de 2022
Respostas 92
Participantes 3