pythonでスクレイピングしてみよう【超入門】

2018.01.21 2019.10.26 66
pythonでスクレイピングしてみよう【超入門】

こんばんわ。こふそ(@koheta0325)です。

本日はpythonでスクレイピングしてみましょう。

スクレイピングとは?

一言でいうと、外部サイトから自分の欲しい情報を取得してくるという手法です。

基本的には外部サイトの情報を取得する場合、まずAPIが公開されている場合はAPIを使用します。

しかし、APIが公開されていない・・・でもこの情報ほしい・・・

という場合がありますよね。。。

APIが公開されていないけど、どうしても対象サイトの更新情報を取得してなんらかの処理を行いたい(メール通知等)といった場合に、Webスクレイピングが用いられることがあります。

僕はこの書籍で勉強しました。

  • 作者: クジラ飛行机
  • 出版社/メーカー: ソシム
  • 発売日: 2016/12/06
  • メディア: 単行本

はじめに

スクレイピングは使用方法によっては、相手に迷惑をかける行為になる場合があります。
ルール・節度を守って実行するようにしてください。

以下参考
Webスクレイピングの注意事項一覧 – Qiita

動作環境

  • Windows10(64bit)
  • python3(Anaconda)
  • IDE:Spyder(IDEなのでなんでもよいでしょう)

準備

pipの実行

pip install beautifulsoup4
pip install requests

プログラム

Coinmarketcapをスクレイピング

gist.github.com
実行結果
■BTC
price:$12773.10
rate24h:8.35%
■ETH
price:$1133.13
rate24h:5.46%
■XRP
price:$1.56
rate24h:-5.45%
■BCH
price:$1879.51
rate24h:2.88%
■ADA
price:$0.689025
rate24h:2.77%
■LTC
price:$204.44
rate24h:3.52%

※coinmarketcapはAPIが公開されています。あえて今回はスクレイピングしてみました。

超簡単な概要です。