크롤링4 Python을 이용한 데이터 분석 - 라이브러리를 이용한 크롤링 (2) ICT이노베이션스퀘어 AI기본과정(CNU) 교육을 듣고 정리한 내용입니다. AI기본과정(CNU) 교육 자료를 참고하였습니다. 라이브러리를 이용한 데이터 수집 동적 크롤링 1. 동적 웹 페이지 크롤링 준비 (1) Selenium 라이브러리 설치 pip install selenium (2) ChromeDriver 다운로드 https://chromedriver.chromium.org/downloads 접속 -> 시스템 운영체제에 맞는 ChromeDriver 다운로드 (3) Selenium 라이브러리의 WebDriver 임포트 from selenium import webdriver (4) 크롬 WebDriver 객체 생성 wd = webdriver.Chrome("C:/My_Python/WebDriver/chro.. 2022. 6. 4. Python을 이용한 데이터 분석 - 라이브러리를 이용한 크롤링 (1) ICT이노베이션스퀘어 AI기본과정(CNU) 교육을 듣고 정리한 내용입니다. AI기본과정(CNU) 교육 자료를 참고하였습니다. 라이브러리를 이용한 데이터 수집 정적 크롤링 1. 정적 웹 페이지 크롤링 준비 (1) BeautifulSoup 연습 1 BeautifulSoup 라이브러리 사용을 위한 추가 설치작업 : 명령 프롬프트 창에서 pip 명령 사용 pip install beautifulsoup4 BeautifulSoup import from bs4 import BeautifulSoup 연습용 html 작성 html = '한빛출판네트워크로그인 ul.brand>li") li_list for li in li_list: print(li.string) 2. 정적 웹 페이지 크롤링 실습 (1) 크롤링 허용 여부 확.. 2022. 5. 30. Python을 이용한 데이터 분석 - API를 이용한 크롤링 (2) ICT이노베이션스퀘어 AI기본과정(CNU) 교육을 듣고 정리한 내용입니다. AI기본과정(CNU) 교육 자료를 참고하였습니다. API를 이용한 데이터 수집 공공데이터 API를 이용한 크롤링 1. 공공데이터 활용 신청 (1) 공공데이터포털 회원가입 (2) 출입국관광통계서비스 검색 (3) 오픈 API > 출입국관광통계서비스 (4) '활용신청' 클릭 (5) [OpenAPI 개발계정 신청] 페이지에서 활용목적 선택(ex. 연구(논문 등)) 및 텍스트 박스에 내용 입력(ex. 공공데이터 활용 학습) (6) [OpenAPI 개발계정 신청] 페이지의 [상세기능정보 선택]에서 '출입국관광통계조회'를 선택하고 [라이선스 표시]에서 '동의합니다'에 체크한 뒤 '활용신청' 클릭 (7) 마이페이지 > 오픈API > 개발계정 >.. 2022. 5. 15. Python을 이용한 데이터 분석 - API를 이용한 크롤링 (1) ICT이노베이션스퀘어 AI기본과정(CNU) 교육을 듣고 정리한 내용입니다. AI기본과정(CNU) 교육 자료를 참고하였습니다. API를 이용한 데이터 수집 네이버 API를 이용한 크롤링 1. 크롤링이란? (1) 크롤링 웹에서 데이터를 수집하는 작업 크롤러 또는 스파이더라는 프로그램으로 웹사이트에서 데이터 추출 (2) 웹 API 일반적으로 HTTP 통신을 이용할 때 사용 지도, 검색, 주가, 환율 등 다양한 정보를 가지고 있는 웹 사이트의 기능을 외부에서 쉽게 사용할 수 있도록 사용 절차와 규약을 정의한 것 2. 네이버 개발자 가입 (1) 네이버 개발자 센터(https://developers.naver.com/main/) 접속 (2) Products > 서비스 API > 데이터랩 > 오픈 API 이용 신청 .. 2022. 5. 14. 이전 1 다음