반응형 ● 인공지능, 분석/20.08 생코_머신러닝11 생활코딩_Tensorflow_부록2_BatchNormalization layer 보다 학습이 잘되는 모델 만들기 보스턴 집값 모델(회귀모형)로 테스트해보자 import tensorflow as tf import pandas as pd 파일경로 = 'https://raw.githubusercontent.com/blackdew/tensorflow1/master/csv/boston.csv' 보스턴 = pd.read_csv(파일경로) # 종속변수, 독립변수 독립 = 보스턴[['crim', 'zn', 'indus', 'chas', 'nox', 'rm', 'age', 'dis', 'rad', 'tax', 'ptratio', 'b', 'lstat']] 종속 = 보스턴[['medv']] print(독립.shape, 종속.shape) 기존 모델 # 2. 모델의 구조를 만듭니다 # 히든레이어 3개. .. 2020. 8. 21. 생활코딩_Tensorflow_Err 원 핫 인코딩시 데이터의 타입으로 인해 발생하는 에러 Err import pandas as pd # 파일 읽어오기 파일경로 = 'https://raw.githubusercontent.com/blackdew/tensorflow1/master/csv/iris2.csv' 아이리스 = pd.read_csv(파일경로) 아이리스.head() # 품종을 숫자로 표현했기에 범주형데이터 이므로 # 원핫인코딩 되지 않는 현상 확인 인코딩 = pd.get_dummies(아이리스) 인코딩.head() # 하지만 원핫인코딩 코드가 먹히지 않음 # 왜? 판다스는 read_csv로 읽어들일 때 숫자는 숫자로 인식하여 범주형인 것을 모르기 때문이다. # 그래서 범주형으로 변경하는 작업을 해야한다. # 이를위해, 아이리스 데이터 타입.. 2020. 8. 20. 생활코딩_tensorflow_Hidden Layer 네번째 딥러닝 - 신경망의 완성:히든레이어 - Tensorflow 1 수업소개 히든레이어와 멀티레이어의 구조를 이해하고, 히든레이어를 추가한 멀티레이어 인공신경망 모델을 완성해 봅니다. 강의 멀티레이어 신경망 실습 소스코드 colab | backend.ai 보스 opentutorials.org 히든레이어와 멀티레이어의 구조를 이해하고, 히든레이어를 추가한 멀티레이어 인공신경망 모델을 완성 기존에는 퍼셉트론 하나로만 구성되어 있었으나 이제는 퍼셉트론이 깊게 연결된 딥러닝 모델을 제작해본다. 퍼셉트론을 깊게 연결하는 방법은 간단하다. 기존 퍼셉트론을 여러개 연결하면 된다. 입력과 출력 사이에 퍼셉트론을 추가하면 된다. 현재 입력과 출력 사이에 하나의 층을 쌓아서 모델을 구성했다. 추가한 레이어는 5개의 노드.. 2020. 8. 20. 생활코딩_머신러닝개념_비지도학습/강화학습 어떤 대상들을 구분해서 그룹을 만드는 것이 군집화라면, 분류는 어떤 대상이 어떤 그룹에 속하는지를 판단하는 것이라고 할 수 있습니다. 배달 사업자 - 전국 고객, 1000만명 - 전국 고객의 위치(위도,경도) - 이 위치를 바탕으로 배달본부 설치 - 1000만명이 적절히 분포된 100개 그룹(군집)을 만드는 것 => 군집화 - 표의 숫자를 군집화시켜 보여주는 도구, 좌표평면 만약 행,열이 수백개라면? 어떻게 군집화시켜서 파악할 수 있을까? 바로 머신러닝, 그중에서 비지도 학습, 그중에서 군집화입니다. 군집화라는 도구에 1000만개의 관측치(행)를 입력하고 100개의 클러스터가 필요하다고 알려주면, 유사한 속성을 가진 관측치끼리 분류하여 총 100개의 클러스터를 만들어줍니다. 좌표상에서 가깝다는 것은 데이.. 2020. 8. 20. 생활코딩_Tensorflow_Iris_범주형(분류),분류 VS 회귀 분류는 확률예측 https://bit.ly/2DJ9TQJ 꽃잎의 여러 특징을 독립 변수로 하여 아이리스의 품종을 구분하는 모델을 구현한다. 아이리스 데이터의 종속변수는 수치형이 아닌 품종이니 범주형 데이터이다. 회귀와 분류를 나누는 차이는 종속변수의 데이터타입이다. 범주형 데이터는 다음 코드가 추가된다. 노란색은 범주형데이터를 위한 코드지만 pd.get_dummies(아이리스)는 무엇일까? 종속변수가 '품종'하나인데 왜 Dense(3)일까? 이전 수식에선 입력이든 출력이든 전부 다 숫자가 들어갔다. 그러나 종속변수의 값이 숫자가 아닌 범주형이기에 숫자가 아닌 것이 수식의 결과가 될 수는 없다. 범주형 데이터는 수식에 사용될 수 있도록 특정 과정을 거쳐야 한다. 범주들을 칼럼으로 만들어준다. 원핫인코딩을 .. 2020. 8. 18. 생활코딩_머신러신개념_분류_지도학습_회귀/분류 머신러닝은 단일 기술이 아니다. 머신러닝이라는 이름 아래 각자의 목표를 지닌 다양한 도구들이 있다. 지도학습 지도학습의 ‘지도'는 기계를 가르친다(supervised)는 의미입니다. 마치 문제집을 푸는 것과 비슷합니다. 이후에 비슷한 문제를 만나면 오답에 빠질 확률은 점점 낮아집니다. 앞서 살펴본 손톱 감시 앱과 레모네이드 판매량 예측 작업은 지도학습을 이용한 것입니다. 비지도학습 비지도학습은 지도학습에 포함되지 않는 방법들입니다. 기계에게 데이터에 대한 통찰력을 부여하는 것이라고 이야기할 수 있을 것 같습니다. 누가 정답을 알려주지 않았는데도 무언가에 대한 관찰을 통해 새로운 의미나 관계를 밝혀내는 것이라고 할 수 있습니다. 데이터의 성격을 파악하거나 데이터를 잘 정리정돈 하는 것에 주로 사용됩니다. .. 2020. 8. 18. 생활코딩_Tensor_LOSS _Work Book 수식을 만들고 종속변수의 값에 가장 가까운 가중치를 찾는 것 수식의 가중치들은 어떻게 찾아가는 걸까? 2020. 8. 18. 생활코딩_Tensorflow_02_보스턴집값예측 중앙값은 순서대로 나열한 뒤, 제일 가운데에 있는 값을 의미함 이상치때문에 평균이 대표성을 띄지못할 때 사용하는 것이 중앙값이다. 보스턴 집값 예측 수식만들기 인공신경망에서 뉴런의 역할을 하는 것이 모형과 수식(퍼셉트론)이다. 만약 종속변수 2개, 독립변수 12개라면? 종속변수 1개 당 독립변수 12개로 수식을 구성한다. import tensorflow as tf import pandas as pd file_path = "https://raw.githubusercontent.com/blackdew/tensorflow1/master/csv/boston.csv" df = pd.read_csv(file_path) df.head() df.columns 독립 = df[['crim', 'zn', 'indus', '.. 2020. 8. 18. 생활코딩_Tensorflow_DeepLearning_01 이 문제를 해결하기 위해 사용하는 ML알고리즘은 다음과 같다 우리 수업에선 뉴럴네트워크를 사용한다. 불과 몇년 전만해도 사용할 수 없던 기능들 이제는 코드하나로 가능해졌다 바로 라이브러리를 통해서. 목표와 전략 원리, 수학, 코딩, 데이터를 알아야 딥러닝을 구현(코딩)할 수 있다. 딥러닝 입문 순서는 다음과 같다 지도학습의 빅픽쳐 1. 지도학습을 하려면 과거 데이터를 준비해 과거 데이터 속에서 원인(독립변수)과 결과(종속변수)를 인식할 것! 2. 예측하는 모델의 구조 만들기 종속변수, 독립변수의 개수에 따라 모델의 구조가 달라져 3. 데이터를 모델에 딱 맞게 해서 학습(FIT)시킨다. 학습을 통해 모델을 완성한다 예를들어, 온도에 2를 곱하면 매출이란 것을 학습시켜 모델을 만듦 4. 모델을 이용한다. 변.. 2020. 8. 17. 생활코딩_오렌지3를 활용한 데이터 분석 통계와 시각화 - 생활코딩 통계와 시각화 2020-08-03 22:39:39 통계와 시각화 boxplot 산점도와 상관관계 상관관계와 인과관계 opentutorials.org 대표값 평균값, 중앙값 평균값 = 중앙값 : 좁게 분포 평균값 > 중앙값 : 넓게 분포 분포는 4분위수로 파악 Barplot ScatterPlot산점도와 상관관계 상관관계 : 독립변수와 종속변수의 관계. 이 변수들 무엇인지 산점도를 통해 파악해보자. 두 변수간의 연관성이 있을 때 데이터가 골고루 배치되어 있을 때 중간에 데이터가 모여있다면 값들이비슷한애들이있따는것을알수있고 특이하게 동 떨어져있다면 그건 이상치, 불평등 데이터 일 수도 상관관계가 없을 때는 다음처럼 뒤죽박죽이다. 상관관계와 인과관계 위 표를 통해 22.5도에서 얼마나.. 2020. 8. 17. 생활코딩_머신러닝개념_모델,교양 모델 Model - 생활코딩 opentutorials.org 결정을 위한 통계학 복잡한 세상에서 결정의 어려움을 겪지 않는다면 그게 더 이상한 일이 아닐까요? 이 복잡한 세상을 숫자로 표현하기 위한 여러 가지 방법을 찾아냅니다. 그리고 이 방법들을 모아서 여기에 ‘통계’라는 이름을 붙였습니다. 하나를 가르치면 열을 안다. 공부를 하면, 똑같은 문제뿐만 아니라 비슷한 문제도 해결할 수 있는 총명한 사람들을 두고 하는 말입니다. 망원경이 있다고 눈이 필요 없어지는 것은 아닙니다. 머신러닝은 우리의 두뇌가 가진 중요한 기능인 판단능력을 확장해서 우리의 두뇌가 더욱 빠르고 정확하게 결정할 수 있게 돕는 기가 막힌 도구입니다. 지식 해결하고자 하는 문제가 없다면, 지식은 목적 없는 수단에 불과 이제 우리는 자신의.. 2020. 8. 17. 이전 1 다음 반응형
