※技術ライティング講座の備忘録です。 ◆目次◆ 文章をラクに書くためには 技術ライティングの目標 学習成果のリターン 素材の集め方・使い方 素材集めのパターン 文章をラクに書くためには 素材を集める ←今回はここにクローズアップする ターゲットを決める …

今回は、スクレイピングの小ネタを紹介します。 おそらく、もっといい方法はあると思いますが 問題の解決はできたので、備忘録として残したいと思います。 ◆目次◆ classもidもないtableタグを指定して抽出したいとき 手順 今回のお題 実際のコード classもid…

今回はJSONについて調べました。 ◆目次◆ JSONとは JSON以外のテキストベースのデータ形式 MIMEタイプとは JSON形式の注意点 JSONの文法 JSONとは 「JavaScript Object Notation」の略で、JavaScript 言語の表記法をテキストベースのデータ形式です。 Python…

今回は、前回取得した市区町村の表の情報をもとに さらに必要な情報を抜き出していきたいと思います。 ◆目次◆ 今回の スクレイピングのお題 表のHTML構造 tdタグのテキスト部分の抽出方法 今回の スクレイピングのお題 前回取得した「市区町村の表」のtable…

今回は、今まで解説してきた Requestsモジュールとbeautifulsoup4モジュールを使って 実際にスクレイピングをしていきます。 ◆目次◆ スクレイピングのお題 手順1 手順2 手順3 実際のコード スクレイピングのお題 「Yahoo! Japan 天気・災害」のトップページ…

前々回の続きで、beautifulsoup4モジュールについて説明します。 今回は、beautifulsoup4モジュールの使い方と beautifulsoup4モジュールの中にあるBeautifulSoupのメソッドについて説明します。 ◆目次◆ beautifulsoup4モジュールの使い方（soupを作る） fin…

前回に引き続き、beautifulsoup4モジュールについて説明予定でしたが先にデベロッパーツールについて説明することにしました。 なぜなら、スクレイピングを行うときに必要なHTML情報を取得するためにデベロッパーツールを使うことは必須となるためです。 ◆目…

beautifulsoup4モジュールとは Requestsモジュールで取得したサイト情報から HTML解析（受け取ったレスポンスから必要な部分を抜き出す）を 行うときに使用するモジュールです。 beautifulsoup4モジュールは外部ライブラリで、Anacondaに同梱されています。 …

前回に引き続き、Requestsモジュールについて説明します。 今回は、サイトURLに追加される URL クエリパラメータ（クエリ文字列）について説明します。 URL クエリパラメータ（クエリ文字列）とは URL クエリパラメータ（クエリ文字列）は複数追加できる URL…

Requestsモジュールとは PythonからHTTP通信を行う（WebサーバーにURLをリクエストして、レスポンスを受け取る） ときに使用するモジュールです。 Requestsモジュールは外部ライブラリで、Anacondaに同梱されています。 ※Anacondaを使用せずにPythonを使う場…

スクレイピングとは？ 一言でいえば、「Webページから必要な情報を抜き出すこと」です。 例えば、「気象庁から東京の1か月分の最高気温と最低気温を取得する」ということが可能です。スクレイピングはPythonが得意なことの一つ です。 なぜなら、そのままPyt…

◆for文とは◆ 決められた範囲内のみ処理を繰り返す for 変数 in 範囲: # 処理 辞書の構成はキーと値のセットで成り立つ {キー1:値1, キー2:値2, キー3:値3} 範囲が辞書の場合 1. for文でキーを取り出す場合（keysメソッドを使う） 2. for文で値を取り出す場合…

◆for文とは◆ 決められた範囲内のみ処理を繰り返す for 変数 in 範囲: # 処理 範囲をrange関数で決める場合 例 iに1から4までを順番に代入し 「iの値を出力」を繰り返す ※range関数では、「範囲の最後の値」は含まれない点に注意する。 range(1, 5)の場合は「…

◆While文とは◆ 条件式が一致している（条件式=True）の間だけ処理を繰り返す while 条件式: # 処理 例 最初にiに1を代入し iが5未満になるまで 「iの値を出力し、iに1を足す」を繰り返す i = 1 while i < 5: print(i) i += 1 # 出力結果 # 1 # 2 # 3 # 4 i=5…