[나도코딩] 파이썬 코딩 무료 강의 (활용편3) - 웹 크롤링? 웹 스크래핑! 2 : User Agent

9.User Agent

헤더정보에 따라 스마트폰용, 데스크탑용 페이지가 달라진다.

UserAgent를 바꾸면 막힌 URL도 뚫을 수 있다.

 

 

404이어도 파일을 가져오니까 일단

#res.raise_for_status()를 주석처리하고 진행한다.

 

그리고 해당 html 파일을 보면

코드가 짧고, 외계어가 쓰여진 것을 확인할 수 있다.

 

브라우저에 따라 UserAgent값이 다르다.

크롬으로 User agent string을 입력했을 때

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.135 Safari/537.36

익스플로러로 ~ 입력했을 때

 

크롬 브라우저에서 작업하므로 크롬용 UserAgent를 사용하자

headers코드를 추가해서 UserAgent를 넣어주자.

이제 관련 ~html파일을 열어보면 정상적으로 받아진 것을 볼 수 있다.

10. 네이버 웹툰 크롤링