목록데이터 가공 (10)

코딩헤딩

용도별 전기 사용량 데이터 전처리

프로젝트에서 사용할 데이터를 전처리 해보겠다. https://bigdata.kepco.co.kr/cmsmain.do?scode=S01&pcode=000166&pstate=L&redirect=Y 전력데이터 개방 포털시스템 꺾은선그래프 라벨관련 js --> 월별 데이터 다운로드 다운로드 (단위: 호, kWh, 원, 원/kWh) caption 지역구분 계약구분 고객호수(호) 사용량(kWh) 전기요금(원) 평균판매단가(원/kWh) caption 그래프 선택 원 bigdata.kepco.co.kr 사용할 데이터 : 업종별 전력사용량 => 엑셀파일 다운로드 1. 판다스 라이브러리 정의 import pandas as pd 2. 데이터 불러오기 file_path="./용도별 전기 사용량 1년 통합.xlsx" df = ..
프로젝트 2023. 12. 8. 04:19
[웹 크롤링(web crawling)] 영화데이터시각화 5 워드클라우드(wordcloud)

https://coding-heading.tistory.com/74 [웹 크롤링(web crawling)] 영화데이터시각화 4 (단어 빈도분석) 워드클라우드를 만들기 위해서는 다음 라이브러리가 필요하다. https://coding-heading.tistory.com/73 [파이썬 koNLPY] 한글 형태소 분석 라이브러리 - java기반으로 만들어진 라이브러리로 JDK 설치 및 환경 coding-heading.tistory.com 지난 글 단어빈도분석과 이어집니다. * 워드클라우드 라이브러리 from wordcloud import WordCloud - 긍정 리뷰 단어 워드클라우드 시각화 plt.figure(figsize=(8, 8)) ### 그래프 제목 plt.title("[긍정] 리뷰 단어 워드클라우드..
크롤링(crawling) | 시각화 2023. 12. 7. 22:19
[웹 크롤링(web crawling)] 영화데이터시각화 4 (단어 빈도분석)

워드클라우드를 만들기 위해서는 다음 라이브러리가 필요하다. https://coding-heading.tistory.com/73 [파이썬 koNLPY] 한글 형태소 분석 라이브러리 - java기반으로 만들어진 라이브러리로 JDK 설치 및 환경설정 필요 1. 환경변수 등록 시작 > 검색창에 환경검색 > 시스템 환경 변수 편집클릭 왼쪽 화면이 뜬다. 2. JAVA_HOME JAVA_HOME의 경로는 JDK설치 coding-heading.tistory.com * 라이브러리 정의하기 import pandas as pd * 데이터넷 읽어 들이기 - 데이터 프레임 변수명 : df_org df_org = pd.read_csv("./data/df_new.csv") df_org 1. 긍정 및 부정에 대해서만 각각 데이터 ..
카테고리 없음 2023. 12. 6. 21:16
[웹 크롤링(web crawling)] 영화데이터시각화 3 (원형 그래프)

https://coding-heading.tistory.com/69 [크롤링(crawling)] 영화데이터수집 크롤링(crawling) 웹상에 존재하는 데이터들을 수집하는 작업 (프로그래밍으로 자동화) 웹 페이지의 html 코드를 가져와서, HTML/CSS 등을 필요한 데이터만 추출하는 기법 Open API(Rest API)를 제공하는 서 coding-heading.tistory.com 위 글부터 이어집니다. ### 시각화 라이브러리 import matplotlib.pyplot as plt ### 폰트 설정 라이브러리 from matplotlib import font_manager, rc ### 한글폰트 설정 plt.rc("font", family="Malgun Gothic") ### 마이너스 기호설정 ..
크롤링(crawling) | 시각화 2023. 12. 5. 22:34
[웹 크롤링(web crawling)] 영화데이터시각화 2 (점(분포) 그래프)

https://coding-heading.tistory.com/69 [크롤링(crawling)] 영화데이터수집 크롤링(crawling) 웹상에 존재하는 데이터들을 수집하는 작업 (프로그래밍으로 자동화) 웹 페이지의 html 코드를 가져와서, HTML/CSS 등을 필요한 데이터만 추출하는 기법 Open API(Rest API)를 제공하는 서 coding-heading.tistory.com 위 글부터 이어집니다. https://coding-heading.tistory.com/70 [크롤링(crawling)] 영화데이터시각화 1(막대그래프) # - 행렬데이터 처리 라이브러리 import pandas as pd 1. 외부파일 읽어 들이기 file_path = "./data/movie_reviews.txt" df..
크롤링(crawling) | 시각화 2023. 12. 4. 23:52
[웹 크롤링(web crawling)] 영화데이터시각화 1(막대그래프)

https://coding-heading.tistory.com/69 [크롤링(crawling)] 영화데이터수집 크롤링(crawling) 웹상에 존재하는 데이터들을 수집하는 작업 (프로그래밍으로 자동화) 웹 페이지의 html 코드를 가져와서, HTML/CSS 등을 필요한 데이터만 추출하는 기법 Open API(Rest API)를 제공하는 서 coding-heading.tistory.com 위 글부터 이어집니다. # - 행렬데이터 처리 라이브러리 import pandas as pd 1. 외부파일 읽어 들이기 file_path = "./data/movie_reviews.txt" df_org = pd.read_csv(file_path, delimiter="\t", names=["title", "score", "..
크롤링(crawling) | 시각화 2023. 12. 4. 23:29
[웹 크롤링(web crawling)] 영화데이터수집

크롤링(crawling) 웹상에 존재하는 데이터들을 수집하는 작업 (프로그래밍으로 자동화) 웹 페이지의 html 코드를 가져와서, HTML/CSS 등을 필요한 데이터만 추출하는 기법 Open API(Rest API)를 제공하는 서비스에 Open API를 호출해서, 받은 데이터 중 필요한 데이터만 추출하는 기법 Selenium 등 브라우저를 프로그래밍으로 조작해서, 필요한 데이터만 추출하는 기법 - URL : https://movie.daum.net - 다음영화 > 랭킹 > 박스오피스 > 월간 위치의 데이터 수집 - 수집데이터 : 영화제목, 평점, 댓글 - 생성할 데이터 : 긍정/부정 - 고려할 상황 : 평점에서 한 화면에서 보여주는 평점의 수가 10이다. 10 이상은 "평점 더 보기" 버튼을 눌러주어야 ..
크롤링(crawling) | 시각화 2023. 12. 4. 22:49
이전 Prev 1 2 Next 다음