전체 글34 [텍스트 마이닝] Reuters data - Feature Selection & Classification 분석할 데이터 소개 Reuters data는 로이터에서 공개한 짧은 뉴스 기사로 이루어진 데이터이다. ReuterDTM.csv는 Reuters data의 단어를 이용해 만든 Document Term Matrix이다. 첫 번째 행은 기사에서 쓰인 단어를 나타낸다. 두 번째 열은 기사의 title을 나타낸다. 2행 C열은 title이 'trade'인 기사에서 'able'이라는 단어가 1번 쓰였음을 나타낸다. 분석 목표 1. 카이제곱통계량을 이용한 변수 선택(feature selection) 수행 2. feature selection을 통해 선택된 단어들에 대해 분류 분석 수행 작업 환경 구축 1. 데이터 불러오기 DTM 2022. 6. 23. Python을 이용한 데이터 분석 - 텍스트 빈도 분석 (2) ICT이노베이션스퀘어 AI기본과정(CNU) 교육을 듣고 정리한 내용입니다. AI기본과정(CNU) 교육 자료를 참고하였습니다. 한글 [ 한글 분석 + 워드클라우드 ] 한글 뉴스 기사의 키워드 분석 1. 목표 설정 '4차 산업혁명'에 관한 한글 기사에서 명사 키워드 분석 2. 핵심 개념 이해 (1) 형태소 1) 언어에서 의미가 있는 가장 작은 단위 2) 단어는 의미를 갖는 문장의 가장 작은 단일 요소로 문장에서 분리될 수 있는 부분 3) 독립형 형태소인 단어도 있지만, 대부분의 단어는 형태소와 접사로 구성됨 4) 형태소 분석 : 형태소, 어근, 접두사/접미사, 품사 등 다양한 언어학적 속성으로 구조를 파악하는 것 (2) 품사 태깅 1) 형태소의 뜻과 문맥을 고려하여 품사를 붙이는 것, ex) 가방에 들어가신.. 2022. 6. 22. Python을 이용한 데이터 분석 - 텍스트 빈도 분석 (1) ICT이노베이션스퀘어 AI기본과정(CNU) 교육을 듣고 정리한 내용입니다. AI기본과정(CNU) 교육 자료를 참고하였습니다. 영문 [ 영문 분석 + 워드클라우드 ] 영문 문서 제목의 키워드 분석 1. 목표 설정 'Big data'와 관련된 키워드를 도출하여 분석 2. 핵심 개념 이해 (1) 텍스트 분석 1) 자연어 처리와 데이터마이닝이 결합하여 발전된 분야로 텍스트 데이터에서 정보를 추출하여 분석하는 방법 2) 단어에 대한 분석을 기본으로 함 3) 텍스트 분류, 텍스트 군집화, 감성 분석 등 (2) 전처리 : 분석 작업의 정확도를 높이기 위해 분석에 사용할 데이터를 먼저 정리하고 변환하는 작업 1) 정제 : 불필요한 기호나 문자를 제거하는 작업으로 주로 정규식을 이용하여 수행 2) 정규화 : 정제와 같은.. 2022. 6. 22. Python을 이용한 데이터 분석 - 통계분석 (2) ICT이노베이션스퀘어 AI기본과정(CNU) 교육을 듣고 정리한 내용입니다. AI기본과정(CNU) 교육 자료를 참고하였습니다. 기술통계분석(회귀분석) [상관 분석 + 히트맵] 타이타닉호 생존율 분석 1. 핵심 개념 이해 (1) 상관 분석 1) 두 변수가 어떤 선형적 관계에 있는지를 분석하는 방법 2) 두 변수는 서로 독립적이거나 상관된 관계일 수 있는데, 두 변수의 관계의 강도를 상관관계라고 함 3) 상관 분석에서는 상관관계의 정도를 나타내는 단위로 모상관 계수 p를 사용 4) 상관 계수는 두 변수가 연관된 정도를 나타낼 뿐 인과관계를 설명하지 않으므로 정확한 예측치를 계산할 수 없음 5) 단순 상관 분석 : 두 변수가 어느 정도 강한 관계에 있는지 측정 6) 다중 상관 분석 : 세 개 이상의 변수 간 관.. 2022. 6. 6. Python을 이용한 데이터 분석 - 통계분석 (1) ICT이노베이션스퀘어 AI기본과정(CNU) 교육을 듣고 정리한 내용입니다. AI기본과정(CNU) 교육 자료를 참고하였습니다. 기술통계분석(회귀분석) [기술 통계 분석 + 그래프] 와인 품질 예측 1. 목표 설정 (1) 목표 : 와인의 속성을 분석한 뒤 품질 등급 예측 (2) 데이터의 기술 통계 구하기 (3) 레드 와인과 화이트 와인 그룹의 품질에 대한 t-검정 수행 (4) 와인 속성을 독립 변수로, 품질 등급을 종속 변수로 하여 선형 회귀 분석 수행 2. 핵심 개념 이해 (1) 기술 통계(요약 통계) 1) 데이터의 특성을 나타내는 수치를 이용해 분석하는 기본적인 통계 방법 2) 평균, 중앙값, 최빈값 등을 구할 수 있음 (2) 회귀 분석 1) 독립 변수 x와 종속 변수 y 간의 상호 연관성 정도를 파악하.. 2022. 6. 5. Python을 이용한 데이터 분석 - 라이브러리를 이용한 크롤링 (2) ICT이노베이션스퀘어 AI기본과정(CNU) 교육을 듣고 정리한 내용입니다. AI기본과정(CNU) 교육 자료를 참고하였습니다. 라이브러리를 이용한 데이터 수집 동적 크롤링 1. 동적 웹 페이지 크롤링 준비 (1) Selenium 라이브러리 설치 pip install selenium (2) ChromeDriver 다운로드 https://chromedriver.chromium.org/downloads 접속 -> 시스템 운영체제에 맞는 ChromeDriver 다운로드 (3) Selenium 라이브러리의 WebDriver 임포트 from selenium import webdriver (4) 크롬 WebDriver 객체 생성 wd = webdriver.Chrome("C:/My_Python/WebDriver/chro.. 2022. 6. 4. 이전 1 2 3 4 ··· 6 다음