본문 바로가기
반응형

분류 전체보기514

[직딩잇템]어서와 데이터는 처음이지 - 데이터 개념 3 | 모집단, 표본, 표집수, 랜덤샘플링 데이터 수집은 어떻게 하는가? 모집단과 랜덤 샘플링 빅데이터를 어떻게 하면 잘 활용할 수 있을까? 현실적으로 데이터는 막 쌓인 더미 이지만 단순히 쌓기만 하면 안됨. 데이터를 제대로 활용할 수 있게 쌓여야함 즉, 왜 이 데이터를 수집하는지 알아야함 데이터 수집시 조건 1. 왜 하는지 2. 무엇을 위해서 할 것인지 Garbage in Garbage Out 질 좋은 데이터를 결정하는 것? 1. 요구조건. 어떤 결과를 어떻게 얻고 싶은지 명확하게 정의 질 좋은 데이터는 요구조건에 달려있음 아무렇게나 쌓인 데이터에 대한 전통적 통계 접근방법? 요구목적을 해결하기 위해 정확히 어떤 공식을 쓸 것인가 현재 가지고 있는 데이터를 파악하자. 표형태로 되어야 분석이 가능 키 데이터만 있으면 구할 수 있음 요구목적을 확실.. 2021. 8. 30.
[직딩잇템]어서와 데이터는 처음이지 - 데이터 개념 2 | 빅데이터, 머신러닝, 학습방법 빅데이터와 머신러닝 시대. 무엇을 배워야할까? 다양한 기술과 이론들이 접목된 짬뽕분야 빅데이터란, 엄청나게 많은 데이터 대량으로 축적된 데이터 덩어리 머신러닝이란, 빅데이터를 이용하여 데이터를 분석하는 기법(방법론, 알고리즘) 중 하나. 구체적인 방법론(How 목표 수치 얻어?) 이자 수학공식 목적이 아닌 수단 머신러닝 사용법 1. 목적을 정의한다. 2. 목적에 맞는 데이터 확보 3. 적절한 머신러닝 기법 활용 결과의 정확성이 달라짐. 필요 기본 스킬 3가지 1. 통계 통계의 기초 부분을 먼저학습 후 필요할 때 추가적으로 학습할 것 공식, 원리까지 알 필요 없음 통계 하나만 해도 배울게 많기 때문 2. 수학 - 선형대수 (행렬의 확장판 - 미분 머신러닝에서 현재까지 틀린 정도를 계산할 때 쓰임 3. 도구.. 2021. 8. 30.
[직딩잇템]어서와 데이터는 처음이지 - 데이터 개념 1 | 데이터분석, 데이터 분석 순서 데이터분석, 다음 2가지 부터 시작하자. 1. 목적을 구체적으로 정의할 것. 2. 데이터의 기본적인 특성과 문제점 파악하기. 1. 구체적 분석 목적의 정의 분석, 왜 해야하는거지 어떤 문제를 어떻게 해결하고 싶은가 어떤 결과를 원하고 싶은지를 명확히 할 것 일반적인 데분 순서는 다음과 같아. 목표정의 > 전처리 > 알고리즘 서택 및 분석 > 검증 및 테스트 예시> 낡은 홈피 개편 어떻게? 고객 데이터를 바탕으로 새 홈페이지가 고객들에게 만족감을 줄 수 있는지를 분석 여기서 만의 의미를 어떻게 정의할 것인가? 무엇으로 만족도를 측정할 것인가. 애매한 단어를 미리 정의할 것. 2. 데이터의 기본적인 특성과 문제점을 파악하라. 데이터는 어떻게 생겼는가? 데이터의 특성 파악. 데이터의 단순 수치, 통계적 특성,.. 2021. 8. 30.
Pycharm 초기설정 / settings / interpreter Pycharm 초기설정 / settings / interpreter 파이참(PyCharm) 인터프리터 오류 해결하기 - No Python interpreter configured for the project 안녕하세요. 이번에는 파이썬의 편집 툴인 파이참(PyCharm)을설치했을 때 나오게 되는 오류증상인 No P... blog.naver.com 1. File > settings > python interpreter > 톱니바퀴 > show all 2. 3. 실행폴더안에 지정 2021. 8. 24.
[AI 기본 데분] 이론 | 1.4 Pandas | loc : 명시적 인덱싱 | iloc : 암묵적 인덱싱 명시적 : 어떤 인덱스가 있는지를 알고 있을 때. 특정 인덱스를 지정해서 호출. 암묵적 : 어떤 인덱스가 있는지 모를때. DataFrame에서 Column하나를 잘라내면? Series. Series + Series + ... = DataFrame DataFrame안에 들어있는 Column과 Value값들도 알고 있다면? 조건 추출이 가능하다! Column 추가하기 DataFrame에 데이터를 추가하는 다양한 방법 1. 리스트로 추가하기 2. 딕셔너리로 추가하기 Column 추가 후 초기화하기 > Column 값 수정하기 Column 삭제 import numpy as np import pandas as pd print("Masking & query") df = pd.DataFrame(np.random.ra.. 2021. 8. 22.
[AI 기본 데분] 이론 | 1.3 Pandas | 인덱스 및 칼럼명 지정 | 딕셔너리타입 | 시리즈 vs 데이터프레임 Series : 하나의 컬럼 값을 가짐 DataFrame : 복수의 Series가 모여 여러 개의 컬럼값을 가짐. 여러개의 행과열을 이룸 기존 인덱스는 0,1,2,3,... 식이었으나 인덱스 이름을 다음과 같이 지정하여 변경이 가능하다. 변수명 = 불러온데이터.set_index('변경할 인덱스명_리스트타입') 또한 일반적으로 딕셔너리를 데이터 프레임 형태로 수정하기 위해서 딕셔너리 -> 시리즈 -> 데이터 프레임 순으로 진행되나 (현 자료사진처럼) 딕셔너리 -> 데이터프레임으로 바로 진행할 수 있다. 2021. 8. 22.
[AI 기본 데분] 이론 | 1.2 Pandas 기본 Series 데이터 pandas? 파이썬 라이브러리 구조화된 데이터를 효과적으로 처리하고 저장 Array계산에 특화된 Numpy 기반으로 설계 2021. 8. 21.
딥러닝을 이용한 자연어 처리 링크 https://wikidocs.net/72820 1) 어텐션을 이용한 텍스트 요약(Text Summarization with Attention mechanism) 텍스트 요약은 상대적으로 큰 원문을 핵심 내용만 간추려서 상대적으로 작은 요약문으로 변환하는 것을 말합니다. 읽는 사람이 시간을 단축해서 내용을 빠르게 이해할 수 있다는 점 ... wikidocs.net 2021. 8. 19.
[AI 기본 데분] 이론 | 1.1 Numpy : Indexing & Slicing # 1. Indexing을 통해 값 2를 출력해보세요. answer1 = matrix[0,1] # 2. Slicing을 통해 매트릭스 일부인 9, 10을 가져와 출력해보세요. # 앞이 행, 뒤는 열 # 인덱스2번 행전체에서, 인덱스0,1까지의 열에 해당되는 값 answer2 = matrix[2:,:2] # 3. Boolean indexing을 통해 5보다 작은 수를 찾아 출력해보세요. answer3 = matrix[matrix < 5] # 4. Fancy indexing을 통해 두 번째 행만 추출하여 출력해보세요. answer4 = matrix[[1]] # 위에서 구한 정답을 출력해봅시다. print(answer1) print(answer2) print(answer3) print(answer4) impo.. 2021. 8. 15.
네이버 카페 ID값(clubid), 게시글 ID값(menuid)보는 방법 1. 네이버 카페 ID값(clubid) 보는 방법 먼저, 해당 네이버 카페로 들어간다. F12를 클릭하여 개발자모드 실행 이후, ClubId를 검색하여 확인! 만약, 카페 매니저라면 카페관리 창으로 들어간 뒤, URL을 확인하면 CLUBID를 확인할 수 있다. 2. 게시글 ID값(menuid)보는 방법 원하는 게시판메뉴에 마우스를 올려놓으면 브라우저의 최하단에 다음 사진처럼 url이 나타난다. 2021. 8. 12.
colab에서 selenium 사용하는 법 Colab에선 별도로 chrome webdriver를 설치해줘야함 !pip install selenium !apt-get update !apt install chromium-chromedriver from selenium import webdriver from urllib.request import urlopen from bs4 import BeautifulSoup as bs from urllib.parse import quote_plus from selenium.webdriver.common.keys import Keys import time url = 'https://search.naver.com/search.naver?where=image&sm=tab_jum&query=' kword = input(.. 2021. 8. 12.
Google Colab, Google drive와 연동하기 import os, sys from google.colab import drive # drive.mount('/content/mnt') # drive 파일 경로 nb_path = '/content/notebooks' os.symlink('/content/mnt/My Drive/Colab Notebooks', nb_path) sys.path.insert(0, nb_path) 솜씨좋은장씨 세상 모든 개발 관련 지식을 담아보자! somjang.tistory.com 2021. 8. 12.
[에러해결] Google Colab error : 'chromedriver' executable needs to be in PATH 원인 : It is probably due to an update from Selenium 해결방법 : apt-get update 참고자료 : 1. Stackoverflow 2021. 8. 12.
[오류해결] INTEL MKL ERROR: 지정된 모듈을 찾을 수 없습니다. mkl_intel_thread.1.dll.Intel MKL FATAL ERROR: Cannot load mkl_intel_thread.1.dll. 상황 : 크롤링py파일을 pyinstaller로 exe파일로 생성함 하지만 exe파일을 실행하니 제목과 같은 오류 2가지가 발생 오류명 : INTEL MKL ERROR: 지정된 모듈을 찾을 수 없습니다. mkl_intel_thread.1.dll. Intel MKL FATAL ERROR: Cannot load mkl_intel_thread.1.dll. 원인 : 프로그램이 라이브러리 경로에서 mkl 라이브러리 파일을 찾을 수 없음을 의미 해결방법 : "mkl_"로 시작하는 파일을 python.exe 루트에 복사하여 문제를 해결 anaconda3 folder에 있는 3가지 파일(하단) - mkl_core.1.dll - mkl_def.1.dll - mkl_intel_thread.1.dll 을 exe파일이 위치한.. 2021. 8. 11.
[jupyter notebook] pyinstaller로 exe파일 만들기 (ipynb -> py 변환) 개요 1. ipynb를 py로 변환하기 2. pyinstall로 exe파일 만들기 3. exe 후 정상적으로 작동하지 않는다면? 1. ipynb를 py로 변환하기 환경 : jupyter notebook # pyinstaller를 설치 pip install pyInstaller # 확장자 변환하기 !jupyter nbconvert --to script cio_korea.ipynb 2. pyinstall로 exe파일 만들기 환경 : Anaconda Prompt # pyinstaller 설치 conda install pyinstaller # exe로 만들 파일이 위치한 폴더로 이동 cd dev # exe 파일 만들기 pyinstaller cio_korea.py # cio_korea.py는 exe파일로 만들 파.. 2021. 8. 11.
[오류해결] jupyter nbconvert --to 입력시 SyntaxError: invalid syntax ipynb를 py로 변환하는 과정시키는 오류 발생 jupyter notebook에서 다음 코드 입력시 오류발생 상황 : jupyter nbconvert --to script cio_korea.ipynb 오류 : SyntaxError: invalid syntax 문제해결 (코드제일 앞에 ! 입력) !jupyter nbconvert --to script cio_korea.ipynb 2021. 8. 11.
[해결방법] error: src refspec master does not match any 상황 : git push origin master 입력하니 error: src refspec master does not match any 발생 원인 : 깃허브에서 pull 없이 push할 경우 기존 내용 삭제 문제가 생길 수 있기 때문. 해결 방법 : git init git add . git commit -m "message" git remote add origin "github.com/your_ropo.git" git push -u origin master 만약 master 브랜치가 없어서 발생하는 오류라면 : git checkout -b 'master' git push origin master 도움이 되셨다면 하단의 ❤하트❤ 클릭해주세요! 감사합니다 😊 2021. 8. 9.
[NIPA AI 기초과정] 함수, 메서드, 매개변수, 인자 함수 함수 plus_print()을 만들어봅시다. 매개변수 : a, b 함수 안에서 a와 b를 더한 값을 출력 반환값 없음. 함수 times_return()을 만들어봅시다. 매개변수 : a, b 반환값 a와 b를 곱한 결과. 함수를 작성한 후, 다음과 같이 출력되도록 코드를 작성해봅시다. plus_print()으로 숫자 3과 4의 합을 출력해봅시다. print()와 times_return()으로 숫자 3과 4의 곱을 출력해봅시다. def plus_print(a,b) : print(a+b) def times_return(a,b) : return a * b plus_print(3,4) print(times_return(3,4)) 메서드 문제1 대응 관계가 3개 있는 Dictionary를 만들고, 이를 변수 .. 2021. 7. 23.
반응형

티스토리툴바