今回は、今まで解説してきた Requestsモジュールとbeautifulsoup4モジュールを使って 実際にスクレイピングをしていきます。 ◆目次◆ スクレイピングのお題 手順1 手順2 手順3 実際のコード スクレイピングのお題 「Yahoo! Japan 天気・災害」のトップページ…

前々回の続きで、beautifulsoup4モジュールについて説明します。 今回は、beautifulsoup4モジュールの使い方と beautifulsoup4モジュールの中にあるBeautifulSoupのメソッドについて説明します。 ◆目次◆ beautifulsoup4モジュールの使い方（soupを作る） fin…

前回に引き続き、beautifulsoup4モジュールについて説明予定でしたが先にデベロッパーツールについて説明することにしました。 なぜなら、スクレイピングを行うときに必要なHTML情報を取得するためにデベロッパーツールを使うことは必須となるためです。 ◆目…

beautifulsoup4モジュールとは Requestsモジュールで取得したサイト情報から HTML解析（受け取ったレスポンスから必要な部分を抜き出す）を 行うときに使用するモジュールです。 beautifulsoup4モジュールは外部ライブラリで、Anacondaに同梱されています。 …

前回に引き続き、Requestsモジュールについて説明します。 今回は、サイトURLに追加される URL クエリパラメータ（クエリ文字列）について説明します。 URL クエリパラメータ（クエリ文字列）とは URL クエリパラメータ（クエリ文字列）は複数追加できる URL…

Requestsモジュールとは PythonからHTTP通信を行う（WebサーバーにURLをリクエストして、レスポンスを受け取る） ときに使用するモジュールです。 Requestsモジュールは外部ライブラリで、Anacondaに同梱されています。 ※Anacondaを使用せずにPythonを使う場…

スクレイピングとは？ 一言でいえば、「Webページから必要な情報を抜き出すこと」です。 例えば、「気象庁から東京の1か月分の最高気温と最低気温を取得する」ということが可能です。スクレイピングはPythonが得意なことの一つ です。 なぜなら、そのままPyt…

◆for文とは◆ 決められた範囲内のみ処理を繰り返す for 変数 in 範囲: # 処理 辞書の構成はキーと値のセットで成り立つ {キー1:値1, キー2:値2, キー3:値3} 範囲が辞書の場合 1. for文でキーを取り出す場合（keysメソッドを使う） 2. for文で値を取り出す場合…

◆for文とは◆ 決められた範囲内のみ処理を繰り返す for 変数 in 範囲: # 処理 範囲をrange関数で決める場合 例 iに1から4までを順番に代入し 「iの値を出力」を繰り返す ※range関数では、「範囲の最後の値」は含まれない点に注意する。 range(1, 5)の場合は「…

◆While文とは◆ 条件式が一致している（条件式=True）の間だけ処理を繰り返す while 条件式: # 処理 例 最初にiに1を代入し iが5未満になるまで 「iの値を出力し、iに1を足す」を繰り返す i = 1 while i < 5: print(i) i += 1 # 出力結果 # 1 # 2 # 3 # 4 i=5…