본문 바로가기
반응형

전체 글546

생활코딩_머신러신개념_분류_지도학습_회귀/분류 머신러닝은 단일 기술이 아니다. 머신러닝이라는 이름 아래 각자의 목표를 지닌 다양한 도구들이 있다. 지도학습 지도학습의 ‘지도'는 기계를 가르친다(supervised)는 의미입니다. 마치 문제집을 푸는 것과 비슷합니다. 이후에 비슷한 문제를 만나면 오답에 빠질 확률은 점점 낮아집니다. 앞서 살펴본 손톱 감시 앱과 레모네이드 판매량 예측 작업은 지도학습을 이용한 것입니다. 비지도학습 비지도학습은 지도학습에 포함되지 않는 방법들입니다. 기계에게 데이터에 대한 통찰력을 부여하는 것이라고 이야기할 수 있을 것 같습니다. 누가 정답을 알려주지 않았는데도 무언가에 대한 관찰을 통해 새로운 의미나 관계를 밝혀내는 것이라고 할 수 있습니다. 데이터의 성격을 파악하거나 데이터를 잘 정리정돈 하는 것에 주로 사용됩니다. .. 2020. 8. 18.
생활코딩_Tensor_LOSS _Work Book 수식을 만들고 종속변수의 값에 가장 가까운 가중치를 찾는 것 수식의 가중치들은 어떻게 찾아가는 걸까? 2020. 8. 18.
생활코딩_Tensorflow_02_보스턴집값예측 중앙값은 순서대로 나열한 뒤, 제일 가운데에 있는 값을 의미함 이상치때문에 평균이 대표성을 띄지못할 때 사용하는 것이 중앙값이다. 보스턴 집값 예측 수식만들기 인공신경망에서 뉴런의 역할을 하는 것이 모형과 수식(퍼셉트론)이다. 만약 종속변수 2개, 독립변수 12개라면? 종속변수 1개 당 독립변수 12개로 수식을 구성한다. import tensorflow as tf import pandas as pd file_path = "https://raw.githubusercontent.com/blackdew/tensorflow1/master/csv/boston.csv" df = pd.read_csv(file_path) df.head() df.columns 독립 = df[['crim', 'zn', 'indus', '.. 2020. 8. 18.
생활코딩_Tensorflow_DeepLearning_01 이 문제를 해결하기 위해 사용하는 ML알고리즘은 다음과 같다 우리 수업에선 뉴럴네트워크를 사용한다. 불과 몇년 전만해도 사용할 수 없던 기능들 이제는 코드하나로 가능해졌다 바로 라이브러리를 통해서. 목표와 전략 원리, 수학, 코딩, 데이터를 알아야 딥러닝을 구현(코딩)할 수 있다. 딥러닝 입문 순서는 다음과 같다 지도학습의 빅픽쳐 1. 지도학습을 하려면 과거 데이터를 준비해 과거 데이터 속에서 원인(독립변수)과 결과(종속변수)를 인식할 것! 2. 예측하는 모델의 구조 만들기 종속변수, 독립변수의 개수에 따라 모델의 구조가 달라져 3. 데이터를 모델에 딱 맞게 해서 학습(FIT)시킨다. 학습을 통해 모델을 완성한다 예를들어, 온도에 2를 곱하면 매출이란 것을 학습시켜 모델을 만듦 4. 모델을 이용한다. 변.. 2020. 8. 17.
생활코딩_오렌지3를 활용한 데이터 분석 통계와 시각화 - 생활코딩 통계와 시각화 2020-08-03 22:39:39 통계와 시각화 boxplot 산점도와 상관관계 상관관계와 인과관계 opentutorials.org 대표값 평균값, 중앙값 평균값 = 중앙값 : 좁게 분포 평균값 > 중앙값 : 넓게 분포 분포는 4분위수로 파악 Barplot ScatterPlot산점도와 상관관계 상관관계 : 독립변수와 종속변수의 관계. 이 변수들 무엇인지 산점도를 통해 파악해보자. 두 변수간의 연관성이 있을 때 데이터가 골고루 배치되어 있을 때 중간에 데이터가 모여있다면 값들이비슷한애들이있따는것을알수있고 특이하게 동 떨어져있다면 그건 이상치, 불평등 데이터 일 수도 상관관계가 없을 때는 다음처럼 뒤죽박죽이다. 상관관계와 인과관계 위 표를 통해 22.5도에서 얼마나.. 2020. 8. 17.
생활코딩_머신러닝개념_모델,교양 모델 Model - 생활코딩 opentutorials.org 결정을 위한 통계학 복잡한 세상에서 결정의 어려움을 겪지 않는다면 그게 더 이상한 일이 아닐까요? 이 복잡한 세상을 숫자로 표현하기 위한 여러 가지 방법을 찾아냅니다. 그리고 이 방법들을 모아서 여기에 ‘통계’라는 이름을 붙였습니다. 하나를 가르치면 열을 안다. 공부를 하면, 똑같은 문제뿐만 아니라 비슷한 문제도 해결할 수 있는 총명한 사람들을 두고 하는 말입니다. 망원경이 있다고 눈이 필요 없어지는 것은 아닙니다. 머신러닝은 우리의 두뇌가 가진 중요한 기능인 판단능력을 확장해서 우리의 두뇌가 더욱 빠르고 정확하게 결정할 수 있게 돕는 기가 막힌 도구입니다. 지식 해결하고자 하는 문제가 없다면, 지식은 목적 없는 수단에 불과 이제 우리는 자신의.. 2020. 8. 17.
[K-ICT] Scikit-learn - 머신러닝 라이브러리 Scikit-learn API 활용하기 - 회귀 모델 : 수치형 데이터 예측, 주택 가격 예측, 주가 예측 등 - 분류 모델 : 범주형 데이터 예측, 문자 인식 바탕 스팸 메일 구분 Feature : 특징, 칼럼, 열 n_features : 특징, 칼럼, 열의 개수 sample : 표본, 행 n_samples : 표본, 행의 개수 이를 위해선 X,y의 행의 길이(n_samples)가 동일해야한다. 특징행렬인 X를 통해 훈련을 하고 대상벡터인 y를 예측해서 찾아낸다. (특징행렬인 X의 1행의 피쳐로 y를 예측한다.) 분류문제면 이산형이 들어갔을 것이고 회귀문제면 연속수치형이 들어갔을 것 A. seed값을 주는 이유는 난수를 생성할 때, 동일한 데이터를 재현하기 위해서는 난수값이 일치.. 2020. 8. 12.
비지도학습관련 사이트 [ML with Python] 3장 비지도 학습과 데이터 전처리 - 군집 3.5 군집 subinium.github.io 2020. 8. 12.
[K-ICT] 머신러닝을 위한 통계학 머신러닝과 통계학은 닮은 점이 많다. 데이터 수집, 분석, 해석, 표현 과정뿐만 아니라 용어, 이론까지! 통계학은 수학이므로 머신러닝과 통계 모델을 다루는 과정에서 수학 이론에 대한 이해가 필요하다 대부분의 통계분석은 표본을 통해 진행함. 표본 대상의 통계 분석이 비용면에서 효율적 모집단은 인구총조사. 펜스밖은 이상치. 이상치가 들어간 상태에서 통계분석을 하게되면 통계 결과의 신뢰성을 잃는다. IQR은 이상치를 판별하여 통계 결과의 신뢰성을 높임 문제 4등분 = 4분위수(백등분 = 백분위수) 4등분하려면 5개의 숫자가 필요해 0, 25, 50, 75, 100 현재 우리가 검정해야하는 것? 표본이 하나라서 단일 표본이다. 이를 단일 표본 t검정, one sample t Test라고 한다. 정규분포를 따르는.. 2020. 8. 11.
[K-ICT] 머신러닝 개념, Numpy, Pandas, Matplotlib 개념 기존 프로그램 : 프로그래밍 언어를 이용, 정해진 규칙을 수행하는 것 머신러닝 : 프로그램이 데이터를 학습하여 규칙을 만들어 수행 머신러닝이란 1. 데이터로 부터 학습하도록 컴퓨터를 프로그래밍하는 분야 2. 명시적 프로그래밍없이 컴퓨터 스스로 학습하는 능력을 부여 3. 과거경험에서 학습을 통해 얻은 지식을 미래의 결정에 이용하는 CS 분야 4. 관측 패턴을 일반화하거나 샘플을 통해 새 규칙을 생성하는 목표를 가짐 머신러닝이 적용된 프로그램 자율주행차, 알파고, 음성인식명령, 문자인식 머신러닝을 사용하는 이유? 우선 전통적인 방법을 살펴보자 1. 문제를 찾고 연구, 분석한다. 2. 해결책을 만들기 위해 직접 규칙을 작성한다. (if 조건문) 예를들어, 조건문을 토대로 스팸 메일 필터 작성 3. 평가 진행 .. 2020. 8. 11.
[펌] 한걸음 한걸음, 데이터 과학자(Data Scientist)가 되는 방법 [Goal] 한걸음 한걸음, 데이터 과학자(Data Scientist)가 되는 방법 개요 Data Scientist가 되기 위한 방법들을 정리한 글입니다. theorydb.github.io 개요 Data Scientist가 되기 위한 방법들을 정리한 글입니다. 목차 데이터 사이언스, 데이터 사이언티스트란? 빠르게 데이터 사이언티스트가 되기 위한 방향잡기 현 직장에서 데이터 사이언티스트가 되어보기 이직 창업 지금이라도 대학원을 가야할까? 롤모델 설정 및 끊임없는 학습 프로젝트 및 블로그 논문, 특허, 저서, 강연 자격증 추천할만한 교재 및 커뮤니티 (참고) AI 활용사례 (참고) 데이터 사이언티스트의 진정한 의미 (참고) 그 외의 학습조언 마무리 데이터 사이언스, 데이터 사이언티스트란? 데이터 사이언스란?.. 2020. 8. 3.
2.3 파일경로설정방법, jupyter 파일경로변경하기, "지정된 파일을 찾을 수 없습니다" 공공데이터포털에서 다운받은 파일을 주피터 노트북에서 작업하고 있는 폴더로 가져와보자 명령어를 쓴 뒤 파일위치와 파일명 그리고 마지막에 한 칸 띄우고 .을 써준다. 파일을 현재 위치로 옮긴다는 의미 mac의 경우 %mv /Users/~~~/~~~/도로교통공단_교통사고다발지역_20191010.csv . window의 경우 !move C:\Users\~~~\도로교통공단_교통사고다발지역_20191010.csv . +tab키를 이용한 경로 자동완성 만약 download 폴더안에 불러올 파일이 있다면 download 폴더로 위치 설정해줘야한다. mac의 경우 명령어 ~/dow windows의 경우 명령어 ~\dow 까지 입력 후 tab키를 누르면 하단처럼 경로가 나타난다. 위처럼 탭으로 입력했는데도 안되면 다음처럼.. 2020. 7. 6.
2.2 판다스 치트시트를 활용한 기초 익히기 파이썬의 대표 분석 라이브러리 pandas 수식을 통해 시각화하는 도구 panner data system의 약자 panner data = 행열, 엑셀유사 데이터를 다루는 것 엑셀과 유사함 엑셀로도데이터분석가능하지만이를이용하는이유? 1. 엑셀로는 힘든 대용량의 데이터를 판다스는 분석할 수 있기 때문 2. 주피터노트북에 소스코드작성시 파일만 로드하면 기존소스 재사용 가능 3. 월,주별 반복 작업은주피터노트북에 작성 후 사용가능 추천하는 학습문서 2가지 1. 10minutes to pandas문서를따라해볼것을추천(따라해보는데2,3시간소요되지만책한권 읽은것과 유소한효과) 2. 2장의 문서로 이뤄진pandas cheat sheet 문서 추천. 이 문서에있는것만익혀도판다스를사용할때무리가없음 판다스 불러오기 impo.. 2020. 7. 6.
조코딩 AI 03. Zeplin을 활용한 반응형 웹앱 제작 0. 제플린은 나중에 활용 1. 부트스트랩을 활용한다 get startd에서 head태그 부분을 복사한다 지난 시간에 만든 index.html파일의 head에 넣어주고 기존 헤드태그는 지원주되 기존 헤드태그의 link태그는 title태그 밑에 넣어준다. js코드도 그대로 가져온다. 3. 이제 부트스트랩을 활용하여 네비바를 만들어보자 navbar를 검색하여 나온 코드를 복사 후 index.html의 body태그에 넣는다. 4. 네비게이션 바 수정하기 제플린에서 보이는 것처럼 나타내고 싶다. 제플린에서 Alt를 누르면 %단위로 나타난다. 브라우저의 개발자 도구에서도 %단위로 수정해보자 5. 클래스를 만들어서 직접 %간격을 추가하자 index.html에 nav-distance클래스를 만들고 style.css에.. 2020. 5. 26.
조코딩 AI.2 Teachable Machine 동물상 찾기 참고 : 크롤링한 사진에서 얼굴 전처리 작업하기 연예인 얼굴 인식 서비스를 만들어보자 #1 - 학습 데이타 준비하기 연예인 얼굴 인식 서비스를 만들어보자 #1 - 학습데이타 준비하기 조대협 (http://bcho.tistory.com) CNN 에 대한 이론 공부와 텐서 플로우에 대한 기본 이해를 끝내서 실제로 모델을 만들어보기로 하였�� bcho.tistory.com [조코딩] 완성형 서비스 만들기 - 2 참고 : 조코딩 - 웹캠 없이 Teachable Machine으로 나와 닮은 동물상 찾기 | 수익형 웹, 앱 만들기 2강https://www.youtube.com/watch?v=OI3fZJHQF8Y&list=PLU9-uwewPMe2-vtJAgWB6SNhHcTj velog.io 1. Teachable M.. 2020. 5. 20.
조코딩AI.1 : 텍스트 및 이미지 크롤링하기. BeautifulSoup Q> selenium, BeautifulSoup의 차이점? 왜 동적인 네이버실검은 selenium으로만 되는가? - BS : HTML 및 XML 파일에서 데이터를 가져 오는 Python 라이브러리 Selenium으로 무적 크롤러 만들기 · GitBook Selenium은 주로 웹앱을 테스트하는데 이용하는 프레임워크다. webdriver라는 API를 통해 운영체제에 설치된 Chrome등의 브라우저를 제어하게 된다. 브라우저를 직접 동작시킨다는 것은 JavaScript를 이용 beomi.github.io [조코딩] 완성형 서비스 만들기 - 1 참고: 조코딩 - 완전 쉽게 파이썬으로 텍스트 및 이미지 크롤링하기 | 완성형 서비스 만들기 1강https://www.youtube.com/watch?v=ZTJjW7X.. 2020. 5. 19.
개발자는 왜 맥을 쓸까? 맥은 유닉스 기반의 운영체제 서버나 임베디드 SW에선 리눅스를 씀 리눅스는 유닉스 기반의 OS로 같은 쉘 커맨드를 공유함 맥 전용 터미널 iTerm은 윈도우 터미널에 비해 커스터마이징에 유리, 깃과 연계시 편함. 안드로이드도 유닉스 기반, 맥에서 더 빠른 빌드가능 모바일 앱 빌드 속도는 동성능에서 맥이 더 빠름 (다만, 맥 살돈으로 윈도우를 사면 성능이 훨씬 좋음) IOS, 크로스 플랫폼 개발자 맥 쓸 것 그러나 -웹 프론트엔드, 게임 분야에선 맥이 필요 없음 -윈도우용 보안 프로그램, 드라이버 등 -윈도우 세계 OS 점유율은 약 90% -관공서에선 윈도우 사용 2020. 5. 7.
[김플 스튜디오] 구글 로그인, 메일 보내기 자동화 (selenium, webdriver, actionchains) 실습 전 할 것 1. 내 크롬브라우저에 맞는 크롬드라이버를 다운 2. 실습하고자 하는 파이썬 파일에 해당 크롬 드라이버를 넣고 실습시작 => 실습(실행)파일과 동일한 루트에 넣으면 따로 루트 지정필요없이 => driver = webdriver.Chrome()만으로 실행가능 다음 코드를 입력 from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.action_chains import ActionChains # 쭉 연결할 수 있게함 import time driver = webdriver.Chrome() url = "https://google.com" driver.get.. 2020. 5. 6.
반응형

티스토리툴바