반응형
requests |
urllib.request |
| 데이터를 보낼 때 딕셔너리 형태로 보낸다 | 데이터를 보낼 때 인코딩하여 바이너리 형태로 보낸다 |
| 없는 페이지를 요청해도 에러를 띄우지 않는다 | 없는 페이지를 요청해도 에러를 띄운다 |
requests와 urllib.request 간에 큰 차이가 없어보입니다만 대체로 requests를 많이 쓰는 것 같네요. 저도 requests.get() 방법이 HTTP method와 연관되어 있으니 직관적으로 이해하기 쉽다고 느꼈습니다.
참고로 requests.get()을 통해 받아온 객체 안에 무엇이 있는지 보기 위해선 아래 명령어를 사용해서 확인하면 됩니다.
dir(req)
# req.texthttps://moondol-ai.tistory.com/238
파이썬 크롤링 requests vs urllib.request 차이는?
오늘은 파이썬 크롤링을 하면서 궁금해하셨을 request와 urllib.request의 차이에 대해 말해보겠습니다. 일단 필요한 모듈을 불러옵니다. import requests import urllib.request import re from bs4 import Beaut..
moondol-ai.tistory.com
반응형
'● 크롤링, 자동화 > BeautifulSoup' 카테고리의 다른 글
| [BeautifulSoup] Dummy 지정(soup.select)할 때, 추출대상을 모두 포함하는 부모태그를 지정해야한다. (31) | 2021.05.19 |
|---|---|
| [BeautifulSoup에러] ('Connection aborted.', ConnectionResetError(10054, '현재 연결은 원격 호스트에 의해 강제로 끊겼습니다', None, 10054, None)) (0) | 2021.05.19 |
| 크롤링 과정에서 나타난 HTTPSConnectionPool(URL, port=443) 에러 (31) | 2021.05.15 |
| datetime 모듈로 날짜/시간 처리하기 (0) | 2021.05.15 |
| [문제해결] csv 파일의 한글이 깨진다면? (csv 포맷 변경, 통일시키는 방법) (0) | 2021.05.04 |
