hadoop4 우분투 java설치 cobuntu 11.04에서는 그냥 sudo apt-get install sun-java6-sdk #sun-java6-plugin 하면 안된다.왜~~!!!!! 미러사이트가 없어서 추가를 해야만 재대로 설치가 되는 듯 싶다. sudo add-apt-repository "deb http://archive.canonical.com/ubuntu lucid partner" 이거로 미러 사이트를 추가해주고 sudo apt-get update로 사이트를 업데이트 해준다. 그 후에sudo apt-get install sun-java6-jdk #sun-java6-plugin java설치 ~!(용량이 많아서 인터넷 느리면 난감..) java -version 으로 설치확인 JAVA_HOME설정 /etc/bash.bashrc.. 2012. 4. 6. Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out. 이제 설치가 다 되고 끝난 줄 알았지만! 예제를 실행시켜보니 map은 되는데 reduce 16% 과정에서 뻗으면서 위와 같은 에러가 발생합니다 -_-.. 검색결과가 많이 나오는거보니 흔한 에러 같은데 크게 해결책은 2가지가 나옵니다. Property에 "tasktracker.http.threads" 가 적어서 그런거니 400으로 늘리라는 것과 /etc/hosts와 /etc/hostname을 match 시키라는 거죠. 일단 해본결과 저는 2가지 모두 문제가 아니었습니다; 사실 etc/hostname은 없어도 되더군요. 전 /etc/hosts만 모든 node들을 일치시켰거든요. 외국 사이트들을 몇페이지 뒤져보다보니, 저 문제가 node 들간의 통신 문제라는 의견이 있더군요. 그래서 방화벽 port를 열어야한.. 2011. 8. 17. hadoop wordcount 예제 분석. 기본적인 wordcount를 해주는 프로그램이다. 하지만 여기에는 wordcount 클래스가 존재하고 각각 상속받은 클래스에서 함수를 불러서 실행이 된다. 각각에 해당하는 api와 어떻게 쓰이는지 나중을 위해 써놓는다. 1. package org.myorg; 2. 3. import java.io.IOException; 4. import java.util.*; 5. 6. import org.apache.hadoop.fs.Path; 7. import org.apache.hadoop.conf.*; 8. import org.apache.hadoop.io.*; 9. import org.apache.hadoop.mapred.*; 10. import org.apache.hadoop.util.*; 11. 12. pub.. 2011. 8. 11. HDFS간단 예제. 하둡 분산파일 시스템에서 기본적인 HDFS에 잇는 파일을 출력하는 코딩을 해보았다. 코드 작성후에 이것저것 해줄것이 있는데 이클립스를 사용하지 않아서 인지 손이 많이 갔다. 처음으로 CLASS를 만들어줘야한다. JAR파일을 생성. 생성하기전에 package를 만들어줘야한다. package my.example; 폴더를 생성해야한다. 나같은 경우에는 example 폴더에 class와 my라는 폴더를 만들었다. 그리고 my/example폴더에 java파일이 들어갔고 class폴더에는 jar파일과 my/example폴더 안에 class파일이 존재한다. 그리고나서 실행 jar파일이 있는 위치에서 hadoop jar my.jar my.example.FileSystemDoubleCat infiles/file01 ha.. 2011. 8. 10. 이전 1 다음