목록분류 전체보기 (133)

코딩헤딩

[웹 크롤링(web crawling)] 영화데이터시각화 3 (원형 그래프)

https://coding-heading.tistory.com/69 [크롤링(crawling)] 영화데이터수집 크롤링(crawling) 웹상에 존재하는 데이터들을 수집하는 작업 (프로그래밍으로 자동화) 웹 페이지의 html 코드를 가져와서, HTML/CSS 등을 필요한 데이터만 추출하는 기법 Open API(Rest API)를 제공하는 서 coding-heading.tistory.com 위 글부터 이어집니다. ### 시각화 라이브러리 import matplotlib.pyplot as plt ### 폰트 설정 라이브러리 from matplotlib import font_manager, rc ### 한글폰트 설정 plt.rc("font", family="Malgun Gothic") ### 마이너스 기호설정 ..
크롤링(crawling) | 시각화 2023. 12. 5. 22:34
[웹 크롤링(web crawling)] 영화데이터시각화 2 (점(분포) 그래프)

https://coding-heading.tistory.com/69 [크롤링(crawling)] 영화데이터수집 크롤링(crawling) 웹상에 존재하는 데이터들을 수집하는 작업 (프로그래밍으로 자동화) 웹 페이지의 html 코드를 가져와서, HTML/CSS 등을 필요한 데이터만 추출하는 기법 Open API(Rest API)를 제공하는 서 coding-heading.tistory.com 위 글부터 이어집니다. https://coding-heading.tistory.com/70 [크롤링(crawling)] 영화데이터시각화 1(막대그래프) # - 행렬데이터 처리 라이브러리 import pandas as pd 1. 외부파일 읽어 들이기 file_path = "./data/movie_reviews.txt" df..
크롤링(crawling) | 시각화 2023. 12. 4. 23:52
[웹 크롤링(web crawling)] 영화데이터시각화 1(막대그래프)

https://coding-heading.tistory.com/69 [크롤링(crawling)] 영화데이터수집 크롤링(crawling) 웹상에 존재하는 데이터들을 수집하는 작업 (프로그래밍으로 자동화) 웹 페이지의 html 코드를 가져와서, HTML/CSS 등을 필요한 데이터만 추출하는 기법 Open API(Rest API)를 제공하는 서 coding-heading.tistory.com 위 글부터 이어집니다. # - 행렬데이터 처리 라이브러리 import pandas as pd 1. 외부파일 읽어 들이기 file_path = "./data/movie_reviews.txt" df_org = pd.read_csv(file_path, delimiter="\t", names=["title", "score", "..
크롤링(crawling) | 시각화 2023. 12. 4. 23:29
[웹 크롤링(web crawling)] 영화데이터수집

크롤링(crawling) 웹상에 존재하는 데이터들을 수집하는 작업 (프로그래밍으로 자동화) 웹 페이지의 html 코드를 가져와서, HTML/CSS 등을 필요한 데이터만 추출하는 기법 Open API(Rest API)를 제공하는 서비스에 Open API를 호출해서, 받은 데이터 중 필요한 데이터만 추출하는 기법 Selenium 등 브라우저를 프로그래밍으로 조작해서, 필요한 데이터만 추출하는 기법 - URL : https://movie.daum.net - 다음영화 > 랭킹 > 박스오피스 > 월간 위치의 데이터 수집 - 수집데이터 : 영화제목, 평점, 댓글 - 생성할 데이터 : 긍정/부정 - 고려할 상황 : 평점에서 한 화면에서 보여주는 평점의 수가 10이다. 10 이상은 "평점 더 보기" 버튼을 눌러주어야 ..
크롤링(crawling) | 시각화 2023. 12. 4. 22:49
[데이터 분석] 교통데이터 전처리 / 시각화 (막대그래프, Histplot)

https://coding-heading.tistory.com/66 [데이터 분석] 교통데이터 수집/가공 * 데이터 출처 - URL : 국가교통 데이터 오픈마켓 1. 데이터 수집 import pandas as pd 파이썬에서 데이터를 다룰 때는 항상 pandas 라이브러리를 정의해 준다. 데이터가 폴더만 80개가 있다. 하지만 폴더 coding-heading.tistory.com ### 시각화 라이브러리 import matplotlib import matplotlib.pyplot as plt import seaborn as sns 저번 글에서 만든 데이터 프레임을 불러오겠다. - 데이터 프레임 변수명 : df_bus_card_tot df_bus_card_tot =pd.read_csv("./01_data/..
데이터 2023. 12. 3. 21:42
[데이터 분석] DB프로그램 예제(class 생성하여 조회/입력/수정 처리)

1. 데이터베이스 설정 정보 준비 2. DB 접속하기 : 커넥션(connect) 3. 커서 받아오기 : cursor() 4. 구문 작성하기 : sql(조회, 입력, 수정, 삭제) -- xx 5. 구문 실행하기 : execute() -> 결과값은 체크 --세모 6. 조회인 경우 커서에서 데이터 추출하기 -- 세모 -> 한건 : fetchone() -> 여러건 : fetchall() 7. 조회결과 데이터프레임 또는 웹페이지에 출력 -- 세모 -> 데이터프레임 : pd.DataFrame(여러건), pd.DataFrame([한건]) 8. 조회가 아닌경우 : 처리 결과 조건으로 확인하기 if "처리 성공" else "처리 실패" -- 세모 9. DB정보 반환하기 - 반환 순서 : cursor > connect 1..
데이터 2023. 12. 2. 04:14
[데이터 분석] 교통데이터 전처리 / 시각화 (Heatmap)

https://coding-heading.tistory.com/66 [데이터 분석] 교통데이터 수집/가공 * 데이터 출처 - URL : 국가교통 데이터 오픈마켓 1. 데이터 수집 import pandas as pd 파이썬에서 데이터를 다룰 때는 항상 pandas 라이브러리를 정의해 준다. 데이터가 폴더만 80개가 있다. 하지만 폴더 coding-heading.tistory.com 저번 글에서 만든 데이터 프레임을 불러오겠다. - 데이터 프레임 변수명 : df_bus_card_tot df_bus_card_tot =pd.read_csv("./01_data/all/df_bus_card_tot.csv") print("갯수 : ", len(df_bus_card_tot)) df_bus_card_tot.head(1)..
데이터 2023. 12. 1. 16:45
이전 Prev 1 ··· 7 8 9 10 11 12 13 ··· 19 Next 다음