본문 바로가기

PBL 빅데이터/빅데이터 수집

[수업] 빅데이터 수집4
PBL 빅데이터/빅데이터 수집 2021. 4. 30. [수업] 빅데이터 수집4 6) 정보 추출 6-1) 텍스트 분석 - 단어의 품사가 중요하다. 1) 문장의 주제를 알아낼 수 있다.(명사) 2) 문서를 분류할 수 있다.(명사) 3) 감정분석을 알아낼 수 있다.(형용사) 6-1-1) 형태소/단어 분리 라이브러리 실행 시작하기전에 먼저 konlpy와 Twitter의 설치가 완료되어있어야한다. konlpy: 한글 형태소/단어 분리를 위한 라이브러리 Twitter: 형태소/단어 분리에 도움을 주는 라이브러리 설치가 완료되었으면 import를 통해서 실행해주고 형태소/단어 분리를 할 객체를 변수에 지정해준다. 6-1-2) 형태소/단어 분리하기 분리해볼 문장을 생성하고 pos()를 이용해서 형태소와 단어들을 분리할 수 있다. 분리할 문장의 맞춤법이 틀려지면 pos도 틀려지니 맞춤법에 유의해야..
[수업] 빅데이터 수집3
PBL 빅데이터/빅데이터 수집 2021. 4. 29. [수업] 빅데이터 수집3 4) 유튜브 크롤링 4-1) 유튜브 구성 확인하기 4-1-1) Selenium 실행 Selenium을 실행해주고 실행하기쉽도록 변수에 넣어서 실행해준다. 이런식으로 새로운 크롬창이 만들어진다. 4-1-2) 유튜브 채널에 들어가기 get()을 이용해서 url에 들어갈 수 있다. 유튜브는 어제의 인터파크와는 다르게 페이지가 아닌 스크롤로 이루어져있다. 스크롤이 들어있느 body를 확인해본다. body는 태그이므로 find_element_by_tag_name()을 사용한다. 4-1-3) 스크롤 내려기 END Key를 사용해서 스크롤을 내려줄건데 사용하기위해서 import를 진행해준다. END Key를 사용하면 현재 페이지의 스크롤이 내려가는건데 동영상에 더 많을수록 화면이 길어지면서 스크롤을 더 해주어야한다...
[수업] 빅데이터 수집2
PBL 빅데이터/빅데이터 수집 2021. 4. 28. [수업] 빅데이터 수집2 2) 날씨 데이터 크롤링 기상청 오늘의 날씨를 이용해서 날씨 데이터를 크롤링해볼려고한다. url = www.weather.go.kr/weather/observation/currentweather.jsp 크롤링할 데이터: 동네이름, 기온, 습도 2-1) requests.get 사용하기 기존에는 read()를 사용해서 불렀지만 read()보다 한번에 가져올 수 있는 requests를 사용할 것이다. import requests로 requests를 불러온다. read()와 같이 requests는 get()을 통해서 가져온다. requests.get은 2가지의 값을 가지고 있다. requests.get 1) 리턴한 값 가져오기 성공: 200, 가져오기 실패: 404(URL오타), 500(서버 오류) 2) con..
[수업] 빅데이터 수집1
PBL 빅데이터/빅데이터 수집 2021. 4. 27. [수업] 빅데이터 수집1 1) 데이터 크롤링 1-1) 데이터 크롤링 - 자신이 원하는 정보를 웹페이지에서 가져오는 행위 또는 작업 1-1-1) BeautifulSoup 다운받기 1) Anaconda Prompt를 실행 2) pip install BeautifulSoup4 쳐서 다운해주기 1-1-2) Jupyter Notebook을 실행해서 웹 크롤링해보기 1) 먼저 url크롤링에서 사용할 urllib를 import한다. 2) 접속해서 가져올 페이지를 설정한다. 3) 사이트의 내용을 가져올 객체를 생성한다. 4) 사이트를 불러온다. 1-1-3) 이미지 크롤링 1) 이미지의 주소를 복사한다. 2) url에 이미지 주소를 넣어준다. 3) 파일을 저장할 이름도 지정해준다. 4) ulretrieve(다운받을 url, 저장할 이름)을 넣어..

티스토리툴바