본문 바로가기
반응형

● 인공지능, 분석120

[AI 기본 데분] 이론 | 1.4 Pandas | loc : 명시적 인덱싱 | iloc : 암묵적 인덱싱 명시적 : 어떤 인덱스가 있는지를 알고 있을 때. 특정 인덱스를 지정해서 호출. 암묵적 : 어떤 인덱스가 있는지 모를때. DataFrame에서 Column하나를 잘라내면? Series. Series + Series + ... = DataFrame DataFrame안에 들어있는 Column과 Value값들도 알고 있다면? 조건 추출이 가능하다! Column 추가하기 DataFrame에 데이터를 추가하는 다양한 방법 1. 리스트로 추가하기 2. 딕셔너리로 추가하기 Column 추가 후 초기화하기 > Column 값 수정하기 Column 삭제 import numpy as np import pandas as pd print("Masking & query") df = pd.DataFrame(np.random.ra.. 2021. 8. 22.
[AI 기본 데분] 이론 | 1.3 Pandas | 인덱스 및 칼럼명 지정 | 딕셔너리타입 | 시리즈 vs 데이터프레임 Series : 하나의 컬럼 값을 가짐 DataFrame : 복수의 Series가 모여 여러 개의 컬럼값을 가짐. 여러개의 행과열을 이룸 기존 인덱스는 0,1,2,3,... 식이었으나 인덱스 이름을 다음과 같이 지정하여 변경이 가능하다. 변수명 = 불러온데이터.set_index('변경할 인덱스명_리스트타입') 또한 일반적으로 딕셔너리를 데이터 프레임 형태로 수정하기 위해서 딕셔너리 -> 시리즈 -> 데이터 프레임 순으로 진행되나 (현 자료사진처럼) 딕셔너리 -> 데이터프레임으로 바로 진행할 수 있다. 2021. 8. 22.
[AI 기본 데분] 이론 | 1.2 Pandas 기본 Series 데이터 pandas? 파이썬 라이브러리 구조화된 데이터를 효과적으로 처리하고 저장 Array계산에 특화된 Numpy 기반으로 설계 2021. 8. 21.
[AI 기본 데분] 이론 | 1.1 Numpy : Indexing & Slicing # 1. Indexing을 통해 값 2를 출력해보세요. answer1 = matrix[0,1] # 2. Slicing을 통해 매트릭스 일부인 9, 10을 가져와 출력해보세요. # 앞이 행, 뒤는 열 # 인덱스2번 행전체에서, 인덱스0,1까지의 열에 해당되는 값 answer2 = matrix[2:,:2] # 3. Boolean indexing을 통해 5보다 작은 수를 찾아 출력해보세요. answer3 = matrix[matrix < 5] # 4. Fancy indexing을 통해 두 번째 행만 추출하여 출력해보세요. answer4 = matrix[[1]] # 위에서 구한 정답을 출력해봅시다. print(answer1) print(answer2) print(answer3) print(answer4) impo.. 2021. 8. 15.
데이터분석활동과 DIKW피라미드 2021. 6. 15.
3-2. DataFrame 실전 | 리스트로 되어 있는 이름, 생일, 직업을 df로 변환하기 문제 내 답안 import pandas as pd # 코드를 작성하세요. list_df = [ ['Taylor Swift','December 13, 1989','Singer-songwriter'], ['Aaron Sorkin','June 9, 1961','Screenwriter'], ['Harry Potter','July 31, 1980','Wizard'], ['Ji-Sung Park','February 25, 1981','Footballer'] ] # 칼럼명은 여기서 삽입 my_df = pd.DataFrame(list_df, columns=['name','birthday','occupation']) # 정답 출력 my_df 모범 답안 import pandas as pd celebrities = [ ['.. 2021. 5. 31.
3-1. DataFrame 이론 | Numpy와 Pandas DF의 차이점. DF 만들기 R과 파이썬 R의 데이터 보관, 정리, 분석을 담당하는 것이 DataFrame인데 이 기능을 Python의 Pandas Library가 가져옴 Numpy vs Pandas 넘파이 판다스의 DataFrame numpy를 기반으로 제작됨 numpy기능 + 데이터 정리, 분석 + 외부데이터 읽고쓰기 + 시각화 1차원, 2차원 2차원 형태의 데이터를 다루기 위한 자료형 표형식의 데이터를 담는 자료형 숫자인덱스로 값을 찾음 테이블의 모든 값이 같아야함 (주로 숫자로함) 숫자인덱스가 아닌 행,열에 붙여진 이름으로 값을 찾을 수 있음. 문자열 혹은 숫자로 보관하고 싶은 것을 구분해서 담을 수 있음 2차원 넘파이 : 한 테이블의 모든 값의 타입이 같아야함 넘파이는 주로 숫자위주 한 테이블에 다양한 자료를 담을 수 있음.. 2021. 5. 29.
2-2. Numpy 실전 | numpy array에 곱셉연산. Boolean연산 Q.1 >신주쿠 흥부부대찌개 엔화(¥)로 저장한 매출 데이터를 원화(₩)로 변환하는 작업이 필요. 엔화 매출이 담겨 있는 파이썬 리스트가 주어짐. 1엔에 10.08원이라고 가정하고, 원화 매출이 담긴 numpy array를 만들어 출력할 것. 기본 코드는 다음과 같다. import numpy as np revenue_in_yen = [ 300000, 340000, 320000, 360000, 440000, 140000, 180000, 340000, 330000, 290000, 280000, 380000, 170000, 140000, 230000, 390000, 400000, 350000, 380000, 150000, 110000, 240000, 380000, 380000, 340000, 420000, 1.. 2021. 5. 29.
2-1. Numpy 이론 | 넘파이배열과 파이썬 리스트의 차이점, 평균▪중간값 등등 크고 복잡한 데이터를 쉽게 계산하게 도와주는 넘파이. numerical python 수치계산을 돕는 파이썬 도구 넘파이가 중요한 이유? 넘파이 배열 ( numpy array) = 파이썬 리스트와 비슷함 일반적인 파이썬 리스트로 배열을 작성하면 코드가 길고 연산 시간이 오래 걸림 numpy array와 python list의 차이점 문법 차이 간단한 문법과 뛰어난 성능 numpy array python list 덧셈, 곱셈 동일한 배열 2가지를 덧셈 연산하면? [10,5,3] + [10,5,3] = [20,10,6] 배열 전체에 곱셉 계산하면? [1,2,3] * 2 = [2,4,6] 동일한 배열 2가지를 덧셈 연산하면? [10,5,3] + [10,5,3] = [10,5,3,10,5,3] 배열 전체에 곱셈 .. 2021. 5. 29.
Data Science Statistics & Mathematics Cheat Sheet towardsdatascience.com/your-ultimate-data-science-statistics-mathematics-cheat-sheet-d688a48ad3db Your Ultimate Data Science Statistics & Mathematics Cheat Sheet Machine Learning Metrics, Statistical Indicators, & More towardsdatascience.com 2021. 1. 24.
Python Data Science Stack (data science cheat sheet pdf) www.kdnuggets.com/2017/09/essential-data-science-machine-learning-deep-learning-cheat-sheets.html 30 Essential Data Science, Machine Learning & Deep Learning Cheat Sheets - KDnuggets This collection of data science cheat sheets is not a cheat sheet dump, but a curated list of reference materials spanning a number of disciplines and tools. www.kdnuggets.com www.kaggle.com/joydeb28/awesome-data-sc.. 2021. 1. 24.
C/R/파이썬/파이썬 머신러닝 패키지 C, C++, JAVA 컴파일러 기반 즉각적 수행시간 개발생산성이 낮음 지원 패키지 생태계가 상대적으로 덜 활발함 R 통계전용 언어 (R이전 전통적 SPSS, SAS, MATLAB) 많은 통계 패키지 존재 파이썬 직관적 문법 객체지향, 항수형 프로그래밍 쉽고 뛰어난 개발 생산성 매우 많은 라이브러리, 오픈소스 존재 인터프리터 언어로 속도가 느림 확장성, 우연성, 호환성 : 서버, 네트워크, 시스템, IoT등 사용 머신러닝 앱과 결합한 다양한 앱 개발 가능 딥러닝프레임워크(텐서플로,케라스,파이토치 등)의 파이썬 우선정책 파이썬 패키지 정리 머신러닝 패키지 : 사이킷런 | 데이터 마이닝 기반 머신러닝 패키지 대다수는 넘파이 기반으로 제작 행렬, 선형대수, 통계 패키지(1) : 넘파이 행렬기반 데이터 처리, .. 2021. 1. 24.
인공지능 / 머신러닝 / 딥러닝 인공지능 정의 : 기계가 인간의 지능을 가질 수 있게 하는 기술 목적 : 인간의 학습, 추론, 지각 등 능력을 컴퓨터로 구현하는 것 발전이유 : 인공지능 학습에 필수적인 데이터의 급증 하둡, 스파크 등 빅데이터 저장 처리 플랫폼의 등장 데이터 저장 처리 및 기술 발전으로 인한 비용 하락 활용 : 인사이트 확인 가능 미디어, 리테인, 엔터테인, 제조 등 다양한 분야에 적용가능 약인공지능 : 시리, 빅스비 음성제어 강인공지능 : 스스로 판단 결정. 인류가 지향하는 인공지능 머신러닝 정의 : 대량의 데이터를 기반으로 패턴을 학습하여 신뢰도 있는 결과를 예측하는 알고리즘 기법 특징 : 데이터는 사람이 먼저 분류 가공, 사람이 직접 프로그래밍 하지 않고 학습 처리 가능. 활용 : 복잡한 조건과 규칙으로 패턴을 알.. 2021. 1. 24.
[6. 크롤링] 뉴스 제목, 뉴스 링크 추출하기 크롤링 대상은 다음과 같다. 1-1 제목을 뽑아보자 1-2 제목과 링크를 같이 뽑자 위 코드를 변형시켜서 다음처럼 제목, 링크를 뽑을 수 있다. 기타 다른 방법들 2021. 1. 18.
[6.크롤링] 기사제목 및 링크 출력 (1) 크롤링을 위한 사전작업 import os,re import urllib.request as ur from bs4 import BeautifulSoup as bs 대상은 다음 뉴스창 news = 'https://news.daum.net/' 긁어올 대상의 class명(속성값)은 item_issue soup = bs(ur.urlopen(news).read(), 'html.parser') soup.find_all('div', {"class":"item_issue"}) 반복문을 통해 출력해보자 for i in soup.find_all('div',{"class":"item_issue"}) : print(i.text) 2. 하이퍼 링크 추출하기 하이퍼 링크가 있는 a태그 5개를 출력해보자 soup.find_all('.. 2021. 1. 18.
beautifulsoup 설치하기. pypi.org/project/ipython-beautifulsoup/ ipython-beautifulsoup Custom rendering of beautifulsoup objects in IPython notebook and qtconsole pypi.org Install Simply run: pip install "ipython-beautifulsoup[bs4]" Installing IPython Notebook See the IPython installation docs for details. To install IPython notebook or qtconsole as well, append notebook and/or qtconsole to the extras specifier after “b.. 2021. 1. 15.
[5. 분석] 파이썬 데이터 분석 패키지 시작 파이썬 데이터 분석 패키지 (패키지명 : 기능 / 주요함수) numpy : 배열 계산, 반올림, 버리기 기능 / floor, ceil, power pandas : 데이터 프레임으로 데이터 입력 및 가공 / describe, groupby matplotlib : 그래프 그리기 / plot, hist, bar 기타패키지 : math, scipy(통계 분석), statsmodels(통계 모델 작성 및 분석) 등 패키지 설치하기 pip install 패키지명 pip install numpy 파이썬 이외 여러 통계 분석 도구들 SPSS : 초보자도 쉽게 사용 가능 파이썬, R : 통계에 대한 이해가 있고 여러 표를 동시 출력하고 싶다면 스크립트 기반의 이것을 사용할 것 R : 경제학자들이 애용하는 프로그램. 스크.. 2021. 1. 12.
[4. CSV] 번역 내용 저장하기 자동으로 영어 문장 번역해보자 제작할 표의 형태는 다음과 같다. 첫번째 열 : 영어문장 두번쨰 열 : 한글번역문장 우선 구글 번역기를 설치하자 1. cmd 실행 2. pip(파이썬 lib 설치를 도와주는 프로그램)를 이용하여 구글 번역기 설치 다음 명령어 입력 pip install googletrans 프로그램 작동 순서 1. 영어 번역 2. 영어, 한글번역은 별도 객체에 저장 3. 마침표로 문장 구분 후 리스트 저장 4. CSV형 리스트를 저장할 빕ㄴ 리스트 객체 형성 5. 영어문장, 한국어 문장 하나씩을 빈 리스트에 추가 6. usecsv 모듈의 writecsv 함수를 활용하여 CSV파일 제작 re.split 메서드는 파이썬 문자열의 기본 메서드인 split과 매우 유사하나, 정규식을 처리할 수 있다.. 2021. 1. 12.
반응형