본문 바로가기
반응형

분류 전체보기546

2. 데이터사이언티스트 연봉, 취업전망은?(자연어처리 딥러닝캠프 저자 김기현) 데이터사이언티스트 연봉, 취업전망은?(자연어처리 딥러닝캠프 저자 김기현)첫 회사의 연봉이 평생 영향을 미침다음 이직을 염두해두고 실력을 키울 수 있는 회사에 가는것이 중요대기업,외국계,스타트업 중 추천하는 곳은 돈 많이 주는 곳스타트업은 체계가 없어서 일을 하는데 어려울 수 있음. 널리 이름이 알려져 있는 곳은 네임 밸류 있음. 주도적으로 프로젝트 참가 가능. 업계에서 주도적으로 하는 것이 중요함대기업은 높은 연봉, 네임벨류, 체계적인 시스템으로 배울 수 있음. 안주하거나 매너리즘 빠질 수 있음커리어를 쌓고 이직하는 것을 추천. 주도적으로 참여하긴 힘듦 신입사원 연봉 수준?대기업 학사졸업 4천 중반 + 보너스유니콘 학사졸업 4천 중후반 + 보너스실력있는 개발자가 귀한 시대라 연봉이 많이 오른편 포트폴리오.. 2021. 2. 7.
1. 데이터 사이언티스트 & 머신러닝 엔지니어? (자연어처리 딥러닝캠프 저자 김기현) 데이터 사이언티스트 & 머신러닝 엔지니어? (자연어처리 딥러닝캠프 저자 김기현)데이터사이언티스트의 역할?개념이 생기기전 통계분석과와 비슷한 역할통계분석가 + 머신러닝 딥러닝 기술을 이용하여 고차원적인 분석을 진행하는 사람 머신러닝 엔지니어와 데이터사이언티스트의 차이점은?머신러닝 엔지니어>통계분석보단 머신러닝, 딥러닝 기술을 바탕으로 프로젝트를 수행하며 프로그램을 만들어냄프로젝트를 진행하기 위해 코딩을 많이 함실제 배포하는 과정까지 참여하기에 데이터 분석보단 코딩 개발 업무가 더 많다. 개발자와의 차이점?통계분석가가 하는 것보다 더 많은 코딩이 들어감수학, 통계, 코딩(파이썬) 잘해야한다. 전세계 사람들이 뛰어든 시장 + 기술의 발전으로 공부해야할 내용이 끊임없이 나옴수학+코딩+지속적으로 더 많은 양을 학.. 2021. 2. 7.
git add, git commit 취소하기 git add 취소 git reset (전체 파일 add 취소) git reset HEAD 파일 (특정 파일 add 취소) git commit 취소 git reset HEAD^ (가장 최신 커밋 1개 취소(삭제)) git reset HEAD^^(가장 최신 커밋 2개 취소(삭제)) 꺽쇠 갯수에 따라 최신 커밋을 필요한만큼 순서대로 삭제할 수 있음 $ git reset HEAD^ 입력 시 오류발생 fatal: ambiguous argument 'HEAD^': unknown revision or path not in the working tree. 2021. 2. 5.
깃허브에 이미지, 링크 넣기 깃허브에 이미지, 링크 넣기 gist.github.com/ninanung/2b81a5db946c26c98c573e3662a92b62 사실은 내가 보기위한 마크다운 문법설명서 - 4. 링크와 이미지넣기 사실은 내가 보기위한 마크다운 문법설명서 - 4. 링크와 이미지넣기. GitHub Gist: instantly share code, notes, and snippets. gist.github.com 2021. 2. 2.
크롤링 후 불필요한 문자들, 특수문자들 제거하기 livedata.tistory.com/17 Python(파이썬)크롤링 한 파일에 불필요한 문자 제거(Web Cralwer) -3 3. 전 시간 Python(파이썬) 특정 단어포함하는 신문기사 웹 크롤러 만들기(Web Cralwer) -1 Python(파이썬) 특정 단어포함하는 신문기사 웹 크롤러 만들기(Web Cralwer) -2 여기 까지 출력 되는 것을 해보았습 livedata.tistory.com 2021. 2. 1.
2차원 리스트를 1차원 리스트로 바꾸자 lar542.github.io/Python/2019-07-11-python3/ Python - 2차원 리스트를 1차원 리스트로 만드는 다양한 방법 파이썬을 파이썬답게 파이썬에서 2중 리스트를 flatten하게 만들기 2차원 리스트를 1차원 리스트로 만드는 다양한 방법 my_list = [[1, 2], [3, 4], [5, 6]] # sum 함수 sum(my_list, []) # itertools.chain과 unpacking : 1 lar542.github.io 2021. 2. 1.
[Git] 깃허브 시작하기. 총정리 (init, add, commit, push, pull) 1. git bash 실행 후 이름, 이메일 입력 git config --global user.name "myname" git config --global user.email "myemail@gmail.com" 2. 저장소 설정 후 깃 초기 설정 깃허브에 커밋할 파일이 있는 폴더로 가서 git init을 해야한다. (가상환경이 포함된 파일을 Commit하고자 한다면, 가상환경이 들어있는 폴더로 들어가서 커밋진행. 참고로 가상환경은 .gitignore를 해줘야하는데 이에 대한 자료는 여기에 0ver-grow.tistory.com/915) 3. 깃허브 저장소(repository) 연결 후 저장소 주소 확인 git remote add origin 나의 GIt repository 주소 에러 발생 : error:.. 2021. 2. 1.
[잔재미코딩] [오류/해결] ConnectionError: ('Connection aborted.', RemoteDisconnected('Remote end import requests from bs4 import BeautifulSoup headers = {'UserAgent':'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'} url = 'https://news.naver.com/main/main.nhn?mode=LSD&mid=shm&sid1=105' 까지는 정상적으로 실행되지만 하단 코드 실행시 오류 발생. res = requests.get(url, headers=headers) ConnectionError: ('Connection aborted.', RemoteDisconnected('Remot.. 2021. 2. 1.
[잔재미코딩] [복습] naver datalab 크롤링할 URL과 기본 셋팅 import requests from bs4 import BeautifulSoup as bs headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'} url = 'https://datalab.naver.com/keyword/realtimeList.naver?where=main' res = requests.get(url,headers=headers) soup = bs(res.content, 'html.parser') 크롤링 대상 위 대상을 find_all로 찾아보자 1순위부터 후순위 .. 2021. 2. 1.
머신러닝, 딥러닝 학습 방법은? 머신러닝, 딥러닝 학습 방법은?머신러닝만 배우는 곳은 없음머신러닝을 어디에 쓰는지에 따라 커리큘럼이 다름. 교수에 따라 커리가 달라지므로 관심있는 분야를 찾고, 무엇을 연구하는지 찾을 것타분야처럼 인공지능 분야도 굉장히 세밀하기에 초반엔 세밀하게 학습하기 보단 베이스를 다진다는 생각으로 넓고 얕게 하는 것이 좋다. 어떤 분야든 적용가능하도록.기본 컨셉이해 > 예제로 깊이 > 살붙이며 응용하는 것이 좋음 2021. 1. 25.
빅데이터 엔지니어가 되기위한 방법 https://youtu.be/rdbBnWAkr04필수조건 2021. 1. 25.
Data Science Statistics & Mathematics Cheat Sheet towardsdatascience.com/your-ultimate-data-science-statistics-mathematics-cheat-sheet-d688a48ad3db Your Ultimate Data Science Statistics & Mathematics Cheat Sheet Machine Learning Metrics, Statistical Indicators, & More towardsdatascience.com 2021. 1. 24.
Python Data Science Stack (data science cheat sheet pdf) www.kdnuggets.com/2017/09/essential-data-science-machine-learning-deep-learning-cheat-sheets.html 30 Essential Data Science, Machine Learning & Deep Learning Cheat Sheets - KDnuggets This collection of data science cheat sheets is not a cheat sheet dump, but a curated list of reference materials spanning a number of disciplines and tools. www.kdnuggets.com www.kaggle.com/joydeb28/awesome-data-sc.. 2021. 1. 24.
C/R/파이썬/파이썬 머신러닝 패키지 C, C++, JAVA 컴파일러 기반 즉각적 수행시간 개발생산성이 낮음 지원 패키지 생태계가 상대적으로 덜 활발함 R 통계전용 언어 (R이전 전통적 SPSS, SAS, MATLAB) 많은 통계 패키지 존재 파이썬 직관적 문법 객체지향, 항수형 프로그래밍 쉽고 뛰어난 개발 생산성 매우 많은 라이브러리, 오픈소스 존재 인터프리터 언어로 속도가 느림 확장성, 우연성, 호환성 : 서버, 네트워크, 시스템, IoT등 사용 머신러닝 앱과 결합한 다양한 앱 개발 가능 딥러닝프레임워크(텐서플로,케라스,파이토치 등)의 파이썬 우선정책 파이썬 패키지 정리 머신러닝 패키지 : 사이킷런 | 데이터 마이닝 기반 머신러닝 패키지 대다수는 넘파이 기반으로 제작 행렬, 선형대수, 통계 패키지(1) : 넘파이 행렬기반 데이터 처리, .. 2021. 1. 24.
인공지능 / 머신러닝 / 딥러닝 인공지능 정의 : 기계가 인간의 지능을 가질 수 있게 하는 기술 목적 : 인간의 학습, 추론, 지각 등 능력을 컴퓨터로 구현하는 것 발전이유 : 인공지능 학습에 필수적인 데이터의 급증 하둡, 스파크 등 빅데이터 저장 처리 플랫폼의 등장 데이터 저장 처리 및 기술 발전으로 인한 비용 하락 활용 : 인사이트 확인 가능 미디어, 리테인, 엔터테인, 제조 등 다양한 분야에 적용가능 약인공지능 : 시리, 빅스비 음성제어 강인공지능 : 스스로 판단 결정. 인류가 지향하는 인공지능 머신러닝 정의 : 대량의 데이터를 기반으로 패턴을 학습하여 신뢰도 있는 결과를 예측하는 알고리즘 기법 특징 : 데이터는 사람이 먼저 분류 가공, 사람이 직접 프로그래밍 하지 않고 학습 처리 가능. 활용 : 복잡한 조건과 규칙으로 패턴을 알.. 2021. 1. 24.
데이터 과학자, 데이터 사이언티스트란? 데이터를 가지고 길(데이터 파이프라인)을 만드는 사람.데이터를 통해 더 빠르고 정확하게 목표에 도달하는 길을 안내하는 사람. 러닝커브 역량 로우데이터 -> 정제, 변형하여 피쳐 제작 -> 모델 제작 -> 만족스러 예측값이 나올때까지 이 과정을 처음부터 반복만족스런 예측값이 나오면 현실 데이터에 적용시켜서 예측 모델 형성 - 데이터에 대한 이해가 필요- 모델링 평가를 위한 통계 분석력도 필요- 흐름을 알기위해 클라우드 서비스대한 이해력도 필요- 파이썬, R, SQL도 잘 알아야한다 2021. 1. 21.
[6. 크롤링] 뉴스 제목, 뉴스 링크 추출하기 크롤링 대상은 다음과 같다. 1-1 제목을 뽑아보자 1-2 제목과 링크를 같이 뽑자 위 코드를 변형시켜서 다음처럼 제목, 링크를 뽑을 수 있다. 기타 다른 방법들 2021. 1. 18.
[6.크롤링] 기사제목 및 링크 출력 (1) 크롤링을 위한 사전작업 import os,re import urllib.request as ur from bs4 import BeautifulSoup as bs 대상은 다음 뉴스창 news = 'https://news.daum.net/' 긁어올 대상의 class명(속성값)은 item_issue soup = bs(ur.urlopen(news).read(), 'html.parser') soup.find_all('div', {"class":"item_issue"}) 반복문을 통해 출력해보자 for i in soup.find_all('div',{"class":"item_issue"}) : print(i.text) 2. 하이퍼 링크 추출하기 하이퍼 링크가 있는 a태그 5개를 출력해보자 soup.find_all('.. 2021. 1. 18.
반응형

티스토리툴바