빅데이터/sqoop 검색 결과

해당 글 2건

sqoop 명령어 정리

관계형데이터베이스와 하둡 주고받기 명령어(sqoop) 환경: hortonworks 에서 교육용으로 실시 import => 데이터베이스에서 데이터들을 하둡으로 가져오기 스쿱이용하여 데이터베이스 테이블 내용 가져오기 sqoop import --connect jdbc:mysql://localhost/test --table salaries --username root --target-dir /sqoop_out => test 데이터베이스에서 table 명이 salaries인 데이터들을 타겟 디렉토리인 sqoop_out(하둡)에 넣습니다. 파일 내용보기 hadoop fs -cat /sqoop_out/* => sqoop_out내 내용 보기 가져온 파일 목록 보기 hadoop fs -ls /sqoop_out => sq..
빅데이터/sqoop 2019. 4. 28. 16:49

sqoop

Sqoop은 하둡과 RDB간의 대용량 데이터들을 전송할 수 있게 하는 기법 DB에 저장된 것을 하둡(hdfs)로 옮겨 분석하고자 할 때 import 분석 결과를 DB로 넣는 export 신속하게 데이터 전송을 처리할 수 있습니다. import 과정 ※ Map-Only Job이란? Hadoop Map&Reduce 중 Map 만으로 이뤄진 Job을 의미한다. 즉, 원하는 데이터만 mapping 해서 HDFS 저장하겠다는 의미이다. 1. 클라이언트가 import를 요청 2. 메타데이터를 RDBMS로부터 조회 3. Map-Only JOB 수행 4. 맵 태스크가 DB접속 후 select로 데이터를 조회 5. 결과를 hdfs에 저장 export과정 ※ Map-Only Job이란? Hadoop Map&Reduce 중..
빅데이터/sqoop 2019. 4. 28. 16:25