본문 바로가기

PBL 빅데이터/빅데이터 플랫폼

[수업] 빅데이터 플랫폼5
PBL 빅데이터/빅데이터 플랫폼 2021. 4. 26. [수업] 빅데이터 플랫폼5 1) Hive 1-1) Hive소개 - Hive는 Hadoop의 HDFS에 저장되어 있는 파일을 SQL Query로 처리하기 위한 환경을 제공하기 위한 오픈소스이다. 현업에서는 보통 Hive를 많이 사용한다. - 검색, Join을 하기위해서 제공된 오프소스이다. - 근본적으로 Hive로 Data Warehouse(보고서)를 구죽하기 위한 목적으로 만들어졌다. - SQL Query 형식의 질의언어를 이용한 데이터 처리 지원한다.(집계:group by) - MapReduce 방식에 비해서 편리하다는 장점이 있지만 데이터가 MySQL과는 다르게 여러군데에 분산되어 있다보니 처리속도가 느리다. 1-2) 실습환경 만들기 1-2-1) data폴더가 들어있는지 확인하기 강사님이 만들어두신 data폴더가 실습을 위해 ..
[수업] 빅데이터 플랫폼4
PBL 빅데이터/빅데이터 플랫폼 2021. 4. 23. [수업] 빅데이터 플랫폼4 여태까지 했던 스마트카에 대해서 실습 1) 실시간 운행 정보 저장 1-1) 실시간 운행 정보 생성 * Name Node 오류 실시간 정보를 카프카를 저장하는 실습을 하기위해서 Name Node에 들어갔는데 이런식으로 오류가 나왔는데 서버도 다 켜져있는 상태여서 강사님께 여쭤보니 크롬은 데이터를 저장해서 계속 값을 가지고 있어서 한번 오류가 나면 계속 난다고 하셨다. * 오류 확인 service cloudera-scm-server status 명령어를 통해서 현재 커져있는지 확인할 수 있었다. 난 running상태로 켜져있었고 크롬이 아닌 마이크로소프트 엣지로 진행해보니 접속이 가능했다. 크롬에 저장값이 있다고해서 크롬의 쿠키를 하루치 삭제해보니 접속이 능했다. 오류가 난다면, 1) 켜져있는 확인 2) 크..
[수업] 빅데이터 플랫폼3
PBL 빅데이터/빅데이터 플랫폼 2021. 4. 22. [수업] 빅데이터 플랫폼3 5-2) 빅데이터 로그 생성기 실행 차량의 실시간 운행정보를 가짜로 만들기 * 가짜 운행정보를 만들어주는 DriverLogMain 실행하기 server02에서 root계정으로 실행해줄건데 server02로 하는 이유는 server01이 현재 Name Node등의 정보들을 처리하고있어서 바쁘기 때문에 server02로 설정해준거라 server01로 해도 상관은 없다. 5-2-1) 실행파일을 실행시키기 cd /home/pilot-pjt/working/ java -cp(자바의 실행 명령) bigdata.smartcar.loggen-1.0.jar(가짜 운행정보를 만드는 실행 파일) com.wikibook.bigdata.smartcar.loggen.DriverLogMain 20210422(날짜) 100(갯수) 실..
[수업] 빅데이터 플랫폼2
PBL 빅데이터/빅데이터 플랫폼 2021. 4. 21. [수업] 빅데이터 플랫폼2 3) 플럼을 이용한 빅데이터 수집 * 빅데이터 수집 - 웹 정보 수집 - 센서 정보 수집 ex) Smart Car(아무 IOT장비) 1) Smart Car의 상태를 하루종일 저장한다. 2) 0시가 되면 저장한 상태를 클라우드나 서버(어제 생성했던 가짜 도메인)에 upload한다. 3) Smart Car 운행정보도 있다. 4) 운행정보를 1초마다 전송된다.(운행정보를 수신받는 프로그램이 있어야한다) 5) 운행정보를 수신받는 프로그램이 정보를 받는다. * 플럼 플럼을 이용하여 스마트카 로그 수집 - 스마트카 상태정보 데이터는 3초마다 발생해서 스마트카 내부에 저장된다.(스마트카 안에 CPU,RAM,SSD가 있다.) - 정해진 서버, 폴더에 새로 업로드된 파일을 감시하다가 올라오면 하둡에다가 저장한다. - 0..
[수업] 빅데이터 플랫폼1
PBL 빅데이터/빅데이터 플랫폼 2021. 4. 20. [수업] 빅데이터 플랫폼1 1) 데이터 과학 1-1) 데이터 과학의 개요 * 데이터 과학 데이터 과학이란 데이터에서 어떤 의미나 통찰을 발견하기 위해서 과학적 방법을 이용하는 "데이터 탐색"(원하는 지혜를 찾기)과 발견한 의미와 통잘을 비지니스 맥락에서 활용하는 "소프트 웨어 시스템의 구축"을 포함하는 개념이다. ex) 월마트 장바구니 분석(Market Basket Analysis) - 어떤 물건과 어떤 물건을 같이 사는지 파스타를 사면 치즈를 같이 산다. 기저귀를 사면 맥주를 같이 산다. 월마트에 장바구니 분석이 흥미로웠는데 애를 낳고 엄마들이 애기들을 돌보는데 바쁘기 때문에 보통 장을 아빠들이 보게되는데 이 때에 필요한 기저귀를 사면서 같이 맥주를 산다고 분석이 되었다고한다. 이를 바탕으로 실제로 기저귀코너에 맥주를 근처에 두..

티스토리툴바