본문 바로가기

PBL 빅데이터/빅데이터 처리

[수업] 빅데이터 처리3
PBL 빅데이터/빅데이터 처리 2021. 5. 10. [수업] 빅데이터 처리3 3-2) Random Forest IRIS 데이터 분류 3-2-9) 예측값과 진짜값 비교하기 3-2-9-5) 예측값과 진짜값 확인해보기(분석방법) 예측0 예측1 예측2 진짜0 5(진짜0, 예측0) 0(진짜0, 예측1) 0(진짜0, 예측2) 진짜1 0(진짜1, 예측0) 11(진짜1, 예측1) 1(진짜1, 예측2) 진짜2 0(진짜2, 예측0) 0(진짜2, 예측1) 13(진짜2, 예측2) confusion_matrix를 사용한 성분 분석의 방법과 classification_report를 이용한 성분 분석 방법이 있다. 위의 2개를 같이 놓고 비교할 수 있다. precision(정밀도) 2 : 2이 예측한 거 중에서 진짜값 2의 비율 recall(재현율) 2 : 진짜값 2중 2로 맞게 예측한 비율f1-score..
[수업] 빅데이터 처리2
PBL 빅데이터/빅데이터 처리 2021. 5. 7. [수업] 빅데이터 처리2 2-5) Spark Decision Tree * Spark DataFrame 분할 - 줄, 칸이 블럭으로 나눠져있다. - 눈에는 하나지만 다 따로 따로 분리되어있는 데이터이다. 1) 직접 나눌 수 있음(만들 때, repartitioning 으로도 나중에 변경 가능) 2) Spark에서 자동으로 분리(줄,칸이 증가하면) 예를 들어보자면, 그림처럼 나뉘어서 Block에 들어가서 저장될 수도 있다. 만들 때 혹은 repartitioning으로도 나중에 직접 나누기가 가능하다. 다른 방법으로는 Spark가 자동으로 분리하기도한다. Spark의 줄과 칸은 Block에 나뉘어있기에 같은 줄에 있어도 다른 Block에 위치할 수도 있다. Spark DataFrame에서 withColumn 함수를 사용하면 나누어진 모..
[수업] 빅데이터 처리1
PBL 빅데이터/빅데이터 처리 2021. 5. 6. [수업] 빅데이터 처리1 1) 머신러닝 1-1) 머신러닝 개요 - 머신러닝: 컴퓨터가 스스로 기준을 찾는 것 ex) 사과를 분류하는 프로그램 사과를 분류하는 프로그램을 머신러닝을 이용해서 만든다고 가정한다. 처음에는 랜덤한 기준으로 사과가 익었는지 안익었는지를 구분한다. 익었는지 안익었는지를 재대로 구분되지않으면, 다시 기준을 수정해서 실행하는데 기계가 스스로 기준을 찾는 것으로 사람이 직접 알고리즘(절차적 프로그램)을 코딩하는 것과는 다르다. 1-1-1) 머신러닝 용어 분류를 위해 ‘크기를 재서 기준 크기를 가지고 구별’ - model : 구별하는 객체 학습 시키려면 익은 사과 안익은 사과가 구분된 사과가 필요. - training set : 기준선을 찾아야하기 때문에 필요하다. 여러번 반복해서 실행 - iteration, s..

티스토리툴바