📂プログラミング

Pythonでウェブ文書をクローリングしてタグを除去する

概要

Pythonはクローリングのためのパッケージがよく揃っており、簡単に真似できる。ウェブページを読み込んでhtmlタグを除去してみよう。

例

コード

import requests
from bs4 import BeautifulSoup
import re
 
rq = requests.get("https://ko.wikipedia.org/wiki/%EC%98%A4%EB%A7%88%EC%9D%B4%EA%B1%B8")
rqctnt = rq.content
soup = BeautifulSoup(rqctnt,"html.parser")
 
OMG = str(soup.find\_all("p"))
 
OMG = re.sub('<.+?>', '', OMG, 0).strip()

結果

• 例としてWikipediaからオーマイガールの項目を読み込んでみよう。必要なパッケージは見ての通りrequestsとbs4がある。

• 読み込んだだけで出力してみると、上のようにhtmlタグがべたべたと付いている。除去するためには例のコードにある通り正規表現を使わなければならず、パッケージreが必要である。

• タグを除去した後に出力してみると、上のようにきれいに必要な内容だけが表示される。<<バナナアレルギー猿>>で<は≤に、>は>に変わって出てきたので、この部分だけもう一度直してやればよい。