読者です 読者をやめる 読者になる 読者になる

inohilog

/var/log/inohiro

HadoopDB 導入

tech
  • 昨日導入したHadoopは 0.20 系だったが、上のガイドによると 0.19 系を使えと書いてある
    • 0.20 系では動かない、というわけではなさそうだが(単純に記事が古いだけかも)

その他メモ

現状

  • DataLoader のところまでやったが、一部不十分な所がある
    • いろいろ理解できていないので論文を読みたいが、試験後だな
  • いま出てるエラー
    • データの input_path と output_path をちゃんと指定していないか(guide のコピペを実行してみた)
    • そもそも利用するデータ自体もよく考えないと
$ ./hadoop jar hadoopdb.jar edu.yale.cs.hadoopdb.dataloader.GlobalHasher input_path output_path 10 \| 0
11/08/19 01:00:23 INFO mapred.JobClient: Cleaning up the staging area file:/tmp/hadoop-hadoop/mapred/staging/hadoop/.staging/job_201108190024_0001
Exception in thread "main" org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/usr/local/hadoop-0.20.203.0/bin/input_path
	at org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:200)
	at org.apache.hadoop.mapred.FileInputFormat.getSplits(FileInputFormat.java:211)
	at org.apache.hadoop.mapred.JobClient.writeOldSplits(JobClient.java:929)
	at org.apache.hadoop.mapred.JobClient.writeSplits(JobClient.java:921)
	at org.apache.hadoop.mapred.JobClient.access$500(JobClient.java:170)
	at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:838)
	at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:791)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Unknown Source)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1059)
	at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:791)
	at org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:765)
	at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1200)
	at edu.yale.cs.hadoopdb.exec.HDFSJobBase.run(HDFSJobBase.java:45)
	at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
	at edu.yale.cs.hadoopdb.dataloader.GlobalHasher.main(GlobalHasher.java:44)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
	at java.lang.reflect.Method.invoke(Unknown Source)
	at org.apache.hadoop.util.RunJar.main(RunJar.java:156)