【有料級】私が実案件で使用しているWebスクレイピングのテンプレートを公開しました【Python副業】

from time import sleep
import requests
from bs4 import BeautifulSoup
import json
import os
import glob
import csv


# 会社のホームページのURLを取得
def get_job_url():

  for i in range(ページ数):
    job_url = 'https://(該当するURL)/(ページを表すURL){}'
    page = str(i+1)
    job_url = job_id_url.format(page)

    try:
        r = requests.get(job_id_url)
        r.raise_for_status()

    except Exception as e:
        return None

    soup = BeautifulSoup(r.content, 'lxml')

    //会社のボックスが一つ一つ配列に入る
    service_details = soup.find_all(class_="該当するクラス")

    company_urls = []

    for service_detail in service_details:
      service_detail = service_detail.find(class_="該当するクラス")

      company_url = service_detail.get('href')
     
      company_urls.append(company_url)

    filepath = "(書き込みたいフォルダのディレクトリ)/{}.json".format(page)

   //ページごとに、会社URLをjson形式で出力する
    with open(filepath, mode="w") as f:
        f.write(json.dumps(company_urls))
        sleep(3)

# 会社情報(会社名、住所、会社URL)を取得
def __get_corp_info(url):

    sleep(3)
    try:
        r = requests.get(url)
        r.raise_for_status()

    except Exception as e:
        return None

    soup = BeautifulSoup(r.content, 'lxml')


   //ddやdtはサイトによって変える
    try:
      company_name = soup.find("dt", string="会社名").find_next_sibling("dd").text.strip()

    except Exception as e:
      company_name = None

    try:
        company_address = soup.find("dt", string="住所").find_next_sibling("dd").text.strip()

    except Exception as e:
        company_address = None

    try:
        company_url = soup.find("dt", string="会社URL").find_next_sibling("dd").text.strip()

    except Exception as e:
        company_url = None

    dict = {
        "会社名": company_name,
        "住所": company_address,
        "会社URL": company_url
    }

    return dict