반응형
9.User Agent
헤더정보에 따라 스마트폰용, 데스크탑용 페이지가 달라진다.
UserAgent를 바꾸면 막힌 URL도 뚫을 수 있다.
404이어도 파일을 가져오니까 일단
#res.raise_for_status()를 주석처리하고 진행한다.
그리고 해당 html 파일을 보면
코드가 짧고, 외계어가 쓰여진 것을 확인할 수 있다.
브라우저에 따라 UserAgent값이 다르다.
크롬으로 User agent string을 입력했을 때
익스플로러로 ~ 입력했을 때
크롬 브라우저에서 작업하므로 크롬용 UserAgent를 사용하자
headers코드를 추가해서 UserAgent를 넣어주자.
이제 관련 ~html파일을 열어보면 정상적으로 받아진 것을 볼 수 있다.
10. 네이버 웹툰 크롤링
반응형
'● 크롤링, 자동화 > BeautifulSoup' 카테고리의 다른 글
| [나도코딩] 파이썬 코딩 무료 강의 (활용편3) - 웹 크롤링? 웹 스크래핑! 4. find_all, for 문 (0) | 2020.08.29 |
|---|---|
| [나도코딩] 파이썬 코딩 무료 강의 (활용편3) - 웹 크롤링? 웹 스크래핑! 3 : attrs, find, class, sibling, siblings (0) | 2020.08.28 |
| [나도코딩] 파이썬 코딩 무료 강의 (활용편3) - 웹 크롤링? 웹 스크래핑! 1 : HTML, X-Path, Request, re(정규식) (0) | 2020.08.26 |
| [잔재미코딩] 7. 한빛미디어 페이지 실전 크롤링 쿠키와 세션 찾기 (0) | 2020.03.12 |
| [잔재미코딩] 6. 로그인이 필요한 페이지 크롤링하기 (0) | 2020.03.10 |
