파이썬으로 웹크롤링 해 보기!!! 6편 (ft. 검색어 변경하기 - 이어서)

이번 시간에는 저번 시간에 이어 파이썬으로 웹페이지에서 검색어 변경하는 방법을 배워 보겠습니다.

 

먼저 저번 시간에 URL의 구조에 대해 알아봤습니다.

파이썬으로 웹크롤링 해 보기!!! 5편 (ft. 검색어 변경하기)

그리고 먼저 이것도 보고 오셔야 합니다. (복습차원입니다^^)

파이썬으로 웹크롤링 해 보기!!! 4편 (ft. 네이버 증권 정보 가져오기)

 

먼저 "삼성전자"라는 키워드로 뉴스 검색을 했다고 해 보겠습니다.

웹페이지 주소를 가져와 보겠습니다. 보이시죠? "query"가 바로 저희가 검색창에 입력한 "검색어"입니다.

import requests

from bs4 import BeautifulSoup

keyword = input("검색어를 입력하세요")

response = requests.get("https://search.naver.com/search.naver?where=news&sm=tab_jum&query="+keyword)

html = response.text

soup = BeautifulSoup(html, 'html.parser')

links = soup.select(".news_tit")

print(links)

for link in links:

    title = link.text

    url = link.attrs['href']

    print(title, url)

 

 

 

자, 이 프로그램으로 입력하고 실행하면 아래와 같은 결과가 나옵니다. 

 

터미널창에 보면

 

"검색어를 입력하세요"

 

라는 멘트가 보입니다. 

 

제가 

 

"동서"

 

라고 입력한 결과입니다.

테슬라

 

를 입력한 결과입니다.

실제로 네이버 뉴스에서 "테슬라"로 검색한 화면입니다. 파이썬 결과와 비교해 볼까요?

 

결과가 완전히 똑같습니다!!!

 

신기하죠? 그럼 다음 시간에도 기대해 주시기 바랍니다.

 

감사합니다.