-
챱챱 [Kubeflow] 나야 Kubeflow 2탄 (feat. Kubeflow 알아보기2) 안녕하세요. 나야 Kubeflow 2탄으로 돌아왔습니다. 1탄에서는 Kubeflow의 컴포넌트와 파이프라인을 생성하는 것까지만 진행되었는데요. 나머지로 남아있던 Kubeflow Pipeline 실행방법과 아직 남은 컴포넌트인 Model Training, Model Serving, AutoML에 대해서 다뤄볼려고 합니다🤗 1. Pipeline - Kubeflow Pipeline1-1. Pipeline 실행하기 - UIKubeflow Pipeline 탭에 들어가서 확인하게 되면 이렇게 어떠한 파이프라인을 실행할 것인지, 1탄에서 나온 것과 같이 파이프라인의 버전 중에는 어떠한 버전을 선택할 것인지를 지정해서 진행할 수 있게 됩니다. 파이프라인 함수를 작성할 때, 1탄에서는 예시를 들어서 작성했었는데요. 만.. -
챱챱 [글또] 글또 10기를 바라보며 다짐하는 것들 글또 10기를 바라보며 다짐하는 것들🏹개발자들이 소통하는 방법은 글이라고 생각한다. 코드를 작성하는 것도 하나의 매끄러운 글을 작성하는 것과 동일하고 또한 개발자들이 서로의 정보들을 공유하는 모든 것들이 글로 소통한다. 그렇기에 글을 쓰는 것과 이 글을 읽는 사람을 배려하고 사람들의 이목을 끌어당겨서 글에 집중하게 하는 능력이 중요하게 여겨진다.기존의 블로그에 작성된 글들은 개발 공부를 시작하면서, 블로그에 나중에 내가 배웠던 것들을 회고하거나 추후에 사용하기 위해서 작성한 목적으로 작성되어 누군가를 집중하게하거나 정보를 공유하고 소통한다는 느낌이 없다. 또한 직장을 다니면서 같이 병행하려고하니 시간을 내서 블로그를 작성하는 일이 줄어들게 되었다. 블로그에 나중에 쓰기 위하여 에러들을 해결하거나 공부에.. -
챱챱 [Kubeflow] 나야 Kubeflow(feat. Kubeflow 알아보기) 오늘은 Kubeflow에 대해서 설명하기 위해, 요새 유명한 나야 들기름 짤을 이용하여 나야 Kubeflow 짤로 변형해서 사용해보았습니다👨🍳 Kubeflow는 DEVOCEAN에서 진행한 Deep Dive Kubernetes 스터디를 통해서 알게 되었고, 최종적으로 DEVOCEAN 발표에서 주제로 삼았기 때문에 블로그에도 Kubeflow에 대해서 공유해드리고자 합니다!! 1. Kubeflow란 무엇인가?Kubeflow라는 뜻은 Kubernetes의 Kube + ML Workflow의 flow 를 합쳐 Kubeflow라고 불리게 되었습니다. 합쳐진 말 그대로 Kubernetes를 이용해서 ML Workflow를 구성하는 것입니다. 정확한 뜻을 살펴보면 Kubernetes 환경에서 ML 라이프사이클의 .. -
챱챱 [글또] 삶의 지도 본 내용은 글또 10기 지원을 위하여 작성된 글입니다. 여태까지의 저의 삶의 지도를 그려보고 삶을 다시 돌아볼 수 있는 기회가 되었던 소중한 글입니다🤗 일단 해보자👊 나의 인생이라는 책을 되돌아본다면, 첫 문장은 "일단 해보자"라는 문장으로 시작할 것 같다. 또한, 책의 목차에는 의료, 유학, 인테리어 디자인, 마케팅, 영상 편집, 운동, 타워크레인, 개발 등으로 다양하게 채워져있을 것이다. 어떻게 이렇게 여러 분야들을 도전하고 시도해봤는지에 대해서 되돌아본다면, 처음 시작은 고등학교였던 것 같다. 특성화고인 의료 + 테크 고등학교를 다니면서 의학 용어, 뼈 이름, 근육 이름, 의료 시스템, 납땜도 해보고 Auto CAD, C++등의 정말 다양한 경험을 해봤다. 이러한 경험들을 통해서 얻었던 것은 내.. -
챱챱 🧿 [MariaDB] CSV import 하기 🧿 [MariaDB] CSV import 하기 1. local file 허용 show global variables like 'local_infile'; # local file 허용 확인 코드 명령어를 실행 시, ON으로 나온다면 local file이 허용된 것이고 OFF인 경우에는 허용되지 않은 것이다. 🗨 OFF -> ON 으로 변경 방법 set global local_infile=true; # OFF를 ON으로 변경하는 코드 show global variables like 'local_infile'; # 변경되었는지 확인하는 코드 위의 코드를 실행 후, 변경이 됐는지 다시 확인한다. 2. CSV Import LOAD DATA LOCAL INFILE '파일주소' INTO TABLE 테이블이름 CHAR..
-
산학프로젝트 [산학프로젝트] Nifi로 Kafka Producer 연결하기(HDFS → Kafka) 1) Zookeeper, Kafka 실행하기 # Kafka 압축이 풀린 폴더안에서 진행 # Zookeeper bin/zookeeper-server-start.sh -daemon config/zookeeper.properties # Kafka bin/kafka-server-start.sh -daemon config/server.properties 연결하기 전, Zookeeper와 Kafka를 실행해주어야한다. Kafka의 압축이 풀린 곳에서 위의 명령어를 진행해주는데 Zookeeper가 Kafka보다 먼저 실행되야한다. 2) Nifi 접속하기 # nifi 압축이 풀린 폴더안에서 진행 cd bin ./nifi.sh start Nifi를 시작해준다. Nifi는 시작하고 port가 열리는데 시간이 좀 걸린다. .. -
빅데이터 플랫폼 [수업] 빅데이터 플랫폼4 여태까지 했던 스마트카에 대해서 실습 1) 실시간 운행 정보 저장 1-1) 실시간 운행 정보 생성 * Name Node 오류 실시간 정보를 카프카를 저장하는 실습을 하기위해서 Name Node에 들어갔는데 이런식으로 오류가 나왔는데 서버도 다 켜져있는 상태여서 강사님께 여쭤보니 크롬은 데이터를 저장해서 계속 값을 가지고 있어서 한번 오류가 나면 계속 난다고 하셨다. * 오류 확인 service cloudera-scm-server status 명령어를 통해서 현재 커져있는지 확인할 수 있었다. 난 running상태로 켜져있었고 크롬이 아닌 마이크로소프트 엣지로 진행해보니 접속이 가능했다. 크롬에 저장값이 있다고해서 크롬의 쿠키를 하루치 삭제해보니 접속이 능했다. 오류가 난다면, 1) 켜져있는 확인 2) 크.. -
빅데이터 수집 [수업] 빅데이터 수집3 4) 유튜브 크롤링 4-1) 유튜브 구성 확인하기 4-1-1) Selenium 실행 Selenium을 실행해주고 실행하기쉽도록 변수에 넣어서 실행해준다. 이런식으로 새로운 크롬창이 만들어진다. 4-1-2) 유튜브 채널에 들어가기 get()을 이용해서 url에 들어갈 수 있다. 유튜브는 어제의 인터파크와는 다르게 페이지가 아닌 스크롤로 이루어져있다. 스크롤이 들어있느 body를 확인해본다. body는 태그이므로 find_element_by_tag_name()을 사용한다. 4-1-3) 스크롤 내려기 END Key를 사용해서 스크롤을 내려줄건데 사용하기위해서 import를 진행해준다. END Key를 사용하면 현재 페이지의 스크롤이 내려가는건데 동영상에 더 많을수록 화면이 길어지면서 스크롤을 더 해주어야한다... -
빅데이터 저장 [수업] 빅데이터 저장2 1-9) 이미지 MongoDB 저장 1-9-1) MongoDB 시작하기 먼저 첫번째 프롬포트에 경로를 설정하고 dbpath를 진행해준다. 저번과 같이 계속해서 돌아간다면 진행되고 있는 것이다. 진행중인 프롬포트를 끄면 종료되니 계속해서 진행되게 냅두고 새로운 프롬포트에 들어가서 Mongo Shell을 실행시켜준다. 1-9-2) 등록된 이미지 삭제하기 fs.file : 업로드한 파일 정보(파일명, 사이즈, 업로드일시, 등) fs.chunk : 업로드한 파일 내용(256kb씩 나눠서 저장) use를 통해서 삭제한 파일이 있는 DataBase에 들어간다. 조회할 때, 사용했던 db.fs.files와 db.fs.chunk뒤에 remove({})을 사용해서 전체를 지운다. {}안에 조건이 업다면 모두 삭제된다. .. -
빅데이터 처리 [수업] 빅데이터 처리2 2-5) Spark Decision Tree * Spark DataFrame 분할 - 줄, 칸이 블럭으로 나눠져있다. - 눈에는 하나지만 다 따로 따로 분리되어있는 데이터이다. 1) 직접 나눌 수 있음(만들 때, repartitioning 으로도 나중에 변경 가능) 2) Spark에서 자동으로 분리(줄,칸이 증가하면) 예를 들어보자면, 그림처럼 나뉘어서 Block에 들어가서 저장될 수도 있다. 만들 때 혹은 repartitioning으로도 나중에 직접 나누기가 가능하다. 다른 방법으로는 Spark가 자동으로 분리하기도한다. Spark의 줄과 칸은 Block에 나뉘어있기에 같은 줄에 있어도 다른 Block에 위치할 수도 있다. Spark DataFrame에서 withColumn 함수를 사용하면 나누어진 모.. -
빅데이터 시각화 [수업] 빅데이터 시각화2 * 빅데이터 시각화1 추가 내용 만약에 모델 관계가 2개로 이루어진다면, 모델은 진행되지않는것에 유의해야한다. 1) 데이터 시각화 기법(데이터 시각화 기법ppt 참고) 1-1) 데이터 분석 - 공공 분야의 데이터 분석 혹은 일반 데이터 분석이 이루어지게 된다. - 공공 분야의 데이터 분석 : 시간,공간, 인간의 형태(ex)인구)를 중심으로 이루어짐 - 일반 데이터 분석 : 기업가, 직장인 마케터, 의료 등 데이터를 다루는 모든 분야 - 데이터 분석 프레임 : 공간과 시간, 그리고 관심 대상인 개체(인산과 대상)가 분석의 기본 프레임 ex) 배달 음식 사례로 본 데이터 분석 프레임, 집회 인원 분석으로 본 데이터 분석 프레임 1-2) 시간 데이터 시각화 시간, 공간, 인간의 형태에서 먼저 시간을 보고자한다..
