MLOps 개발자 양성과정/bigdata (4) 썸네일형 리스트형 [Day-86] HBase 설치하기 저사양 파일럿 환경 - Server02로 지정HBase 재배포하기클라우데라에서 어떤 서비스 추가했을 때 클라이언트 설정값에 변동이 발생=> 클라이언트 재배포를 통해 변경사항을 반영해야 함!! HBase 테스트하기# ServerO2에 root 계정으로 로그인# hbase 테스트# HBase 코드를 사용할 수 있는 환경으로 넘어가야 해$ hbase shell => 약 1~2분 정도 소요 (실제 HBase는 클라우데라 쪽에 있어 로컬이 아닌)# smartcar_test_table 테이블 생성hbase(main):003:0> hbase(main)：001：0> create 'smartcar_test_table', 'cf'# cf라는 필드 만들어놨어 테이블 생성 시 필드 하나는 있어야=> H.. [Day-84] Chap02. [root@server01 ~]# hostname server01.hadoop.com [root@server01 ~]# service cloudera-scm-server-db status pg_ctl: server is running (PID: 1876) /usr/bin/postgres "-D" "/var/lib/cloudera-scm-server-db/data" [root@server01 ~]# ssh server01.hadoop.com root@server01.hadoop.com's password: Last login: Mon Apr 24 09:53:04 2023 from server01.hadoop.com [root@server01 ~]# service cloudera-scm-ser.. [Day-83] 1. vm VirtualBox에서 서버 세 개 가동- login은 하지 않기! 2. MobaXterm에서 CentOS 서버 접속하기* putty 대신 Mobaxterm 사용예정여러 개의 서버 접속 시 보다 간편, 탭 구분 가능 등 사용하기 편리함1) SSH로 접속하기User session- New session 눌러 Server01, Server02, Server03 세 개 만들기 *Server01Remote host: 192.168.101 Session name: Server01 Comments: 192.168.101*Server02Remote host: 192.168.102 Session name: Server01 Comments: 192.168.102*Server03Remote host: 19.. [Day-81] 빅데이터 이해하기/파일럿 프로젝트 chap01. 빅데이터 이해하기 1-1. 빅데이터의 개념 1) 빅데이터의 정의: 6v 크기(Volume): 방대한 양의 데이터(테라, 페타바이트 이상의 크기) 다양성(Variety): 정형(DBMS. 전문 등) + 비정형(SNS. 동영상, 사진, 음성. 텍스트 등) 속도(Wlocity): 실시간으로 생산되며, 빠른 속도로 데이터를 처리/분석 진실성(Veracity): 주요 의사결정을 위해 데이터의 품질과 신뢰성 확보 시각화(Visualzation): 복잡한 대규모 데이터를 시각적으로 표현 가치(Value): 비즈니스 효익을 실현하기 위해 궁극적인 가치를 창출 2) 빅데이터의 목적 - 성공적인 빅데이터 시스템의 구축과 운영을 위해 반드시 갖춰야 할 세 가지 요소: 사람, 기술, 데이터 - 이후 인사이트를 .. 이전 1 다음
