파이썬으로 웹크롤링 해 보기!!! (ft. pip 업그레이드? python -m pip install --upgrade pip? 조치방법)

오늘은 파이썬으로 웹크롤링을 해 보겠습니다.

 

근데 웹크롤링이 뭐냐구요?

 

# 웹 크롤링이란 컴퓨터 소프트웨어 기술로 웹 사이트들에서 원하는 정보를 추출하는 것을 의미합니다. 웹 크롤러란 인터넷에 있는 웹페이지를 방문해서 자료를 수집하는 일을 하는 프로그램을 말합니다.

 

요약하자면 웹 사이트의 정보를 끌어오는 것입니다.

 

 

자, 일단 따라 해보면서 이해해 보겠습니다.

 

일단 파이썬 내에 이걸 설치해야 합니다. 이걸 아래 창에 써 줘야 합니다.

 

pip install beautifulsoup4

 

이걸 쓰고 엔터를 치면 설치가 됩니다.

엥? 그런데 경고문이 나옵니다. 뭐라카노?

 

경고문에 마우스를 갖다 대면 뭐라고 나오나요? ctrl을 누르면서 클릭해 보라는 말이죠?

엥? 그런데 안 되네요?

이럴 때는 그냥 내 PC에 저 주소를 복사해서 갖다 붙이면 됩니다.

 

C:\Users\Administrator\AppData\Local\Microsoft\WindowsApps\PythonSoftwareFoundation.Python.3.10_qbz5n2kfra8p0\python.exe

 

요거를 말입니다. 요렇게 말입니다. 

그리고 엔터를 치면 아래 창이 실행됩니다.

이렇게, 저렇게 해도 안 되면 시작창에서 "명령 프롬프트"를 입력합니다.

 

python -m pip install --upgrade pip

 

를 입력하고 엔터를 치면 아래와 같이 pip이 업그레이드가 됩니다.

그래서 이런 웹크롤링 강의를 들었는데, 이런 걸 하라고 합니다. 기본 세팅값입니다.

 

import requests

from bs4 import BeautifulSoup

 

근데 아래창에 오류가 뜹니다. 뭐라고 떴습니까?

 

ModuleNotFoundError: No module named 'requests'

 

우리말로는 requests 라는 모듈이 없다, 라는 뜻입니다. 그러니까 그럼 requests 모듈 설치를 먼저 해야겠죠?

다시 명령 프롬프트에 가서 

 

pip install requests

 

를 입력하고 엔터를 칩니다.

이상한 말들이 무진장 나오는데, 된 것 같습니다. 

 

어찌됐든 여기까지 오면 웹크롤링의 절반이 성공했습니다^^

 

다음 시간에 이어서 하겠습니다!