BeautifulSoup 4.13 に上げてから、毎朝の収集スクリプトのログに findAll や text= の DeprecationWarning(非推奨の警告)が並ぶようになった、という人は多いはずです。動いてはいるので放置しがちですが、非推奨の書き方はいずれ削除されます。この記事では find_all・string=・select を使った今の書き方を、動くコード付きで示します。あわせて、systemd timer で動かしている収集スクリプトの警告を journalctl で洗い出して消す手順と、毎日止めずに動かすための置き場所の選び方まで説明します。
BeautifulSoup 4.13で警告が出る findAll・text= と、今の書き方の対応表
BeautifulSoup 4 系には、3 系時代の名残としてキャメルケース(findAll のように単語の頭を大文字でつなぐ書き方)のメソッド名が別名として残っていました。4.13 では、こうした古い名前や text= 引数を使うと DeprecationWarning が出ます。挙動は同じまま、名前だけを置き換えれば済むものがほとんどです。
メソッド名と引数の置き換え
以前の書き方 | 今の書き方 | 補足 |
|---|---|---|
|
| 戻り値(該当タグのリスト)は同じ |
|
| 直下だけに絞るなら |
|
| 見つからなければ |
|
|
|
|
|
|
|
|
|
|
| 文字列ノードだけを集める用途 |
以前のコードと今のコードを並べる
ニュース一覧から見出しと「NEW」マークを拾う、よくある形で比べます。まず以前の書き方です。4.13 ではこの3行のうち2行で警告が出ます。
# 以前の書き方(4.13では DeprecationWarning が出る)
for item in soup.findAll("li", {"class": "news-item"}):
link = item.find("a")
new_mark = item.find(text="NEW")
今の書き方は次のとおりです。findAll を find_all に、text= を string= に変えただけで、結果は同じです。{"class": ...} の辞書指定は非推奨ではないので残してもかまいませんが、class_=(class は Python の予約語なので末尾に _ を付ける)の方が読みやすくなります。
# 今の書き方①:find_all / string=
for item in soup.find_all("li", class_="news-item"):
link = item.find("a")
new_mark = item.find(string="NEW")
CSSセレクタ(ブラウザの開発者ツールで見る ul.news > li のような指定)で書ける場合は、select と select_one にすると構造の変化に追従しやすくなります。開発者ツールで確認したセレクタをそのまま貼れるので、サイト側のHTMLが変わったときの修正が1行で済みます。
# 今の書き方②:select / select_one
for item in soup.select("ul.news-list > li.news-item"):
link = item.select_one("a[href]")
new_mark = item.select_one(":-soup-contains('NEW')")
select()は該当要素のリストを返します。0件なら空リストです。select_one()は最初の1件だけを返し、無ければNoneを返します。:-soup-contains('NEW')は「その文字列を含む要素」を指す、BeautifulSoup のセレクタエンジン(soupsieve)独自の書き方です。以前の:contains()も同じ理由で非推奨扱いになっているので、書き換えるならこちらに揃えます。
text= を string= に変えるときに1つだけ注意する点
find_all("a", string="詳細") のようにタグ名と一緒に使うと、判定に使われるのはそのタグの .string です。.string は「中身が文字列1つだけのとき」にしか値を持たないため、<a>詳細 <b>NEW</b></a> のように中にタグが混ざっているリンクは一致しません。これは text= 時代から同じ挙動で、名前を変えたせいで壊れたわけではありません。中身に別のタグが混ざるなら、次のようにタグを集めてから Python 側で絞る方が確実です。
links = [a for a in soup.find_all("a") if "詳細" in a.get_text()]
requests+BeautifulSoup 4.13で書く、警告の出ない収集スクリプト
ここからは、置き換え後の書き方だけで組んだ収集スクリプトの全体です。一覧ページから見出し・URL・日付を取り、日付入りのCSVに保存します。取得先は example.com に置き換えてあるので、自分の対象に合わせてURLとセレクタを変えてください。
実行環境
- Python 3(手元のバージョンは
python3 -Vで確認)。仮想環境(プロジェクト専用のPython環境)を作って入れるのがおすすめです。 pip install "beautifulsoup4>=4.13" requests lxmlbeautifulsoup4を 4.13 以上にしているのは、非推奨の書き方に警告が出る版で動作を確かめておくためです。古い版のままだと警告が出ず、残っている古い書き方に気づけません。- 入ったバージョンは
pip show beautifulsoup4で確認できます。 lxmlはHTMLを解析するパーサ(HTMLを読み取って木構造にする部品)です。入れない場合は"lxml"を"html.parser"に変えれば標準機能だけで動きます。
コード全体
import csv
import sys
import time
from datetime import datetime
from urllib import robotparser
from urllib.parse import urljoin
import requests
from bs4 import BeautifulSoup
BASE = "https://example.com"
PAGES = [BASE + "/news/", BASE + "/news/?page=2"]
USER_AGENT = "sample-collector/1.0 (+https://example.com/contact)"
INTERVAL = 5 # 1リクエストごとに空ける秒数
OUT_DIR = "/home/username/scraper/data"
def load_robots(session):
rp = robotparser.RobotFileParser()
res = session.get(BASE + "/robots.txt", timeout=10)
if res.status_code == 404:
rp.parse([]) # robots.txt が無い
else:
res.raise_for_status()
rp.parse(res.text.splitlines())
return rp
def parse_list(html):
soup = BeautifulSoup(html, "lxml")
rows = []
for item in soup.select("ul.news-list > li"):
link = item.select_one("a[href]")
if link is None:
continue
date = item.select_one("time")
rows.append({
"title": link.get_text(strip=True),
"url": urljoin(BASE, link["href"]),
"date": date.get("datetime", "") if date else "",
})
return rows
def main():
session = requests.Session()
session.headers["User-Agent"] = USER_AGENT
rp = load_robots(session)
rows = []
for url in PAGES:
if not rp.can_fetch(USER_AGENT, url):
print(f"robots.txt で不許可のため取得しない: {url}", file=sys.stderr)
continue
time.sleep(INTERVAL)
res = session.get(url, timeout=10)
res.raise_for_status()
rows.extend(parse_list(res.text))
if not rows:
print("0件: HTML構造が変わった可能性がある", file=sys.stderr)
return 1
out = f"{OUT_DIR}/news_{datetime.now():%Y%m%d}.csv"
with open(out, "w", newline="", encoding="utf-8") as f:
writer = csv.DictWriter(f, fieldnames=["title", "url", "date"])
writer.writeheader()
writer.writerows(rows)
print(f"{len(rows)}件を保存: {out}")
return 0
if __name__ == "__main__":
sys.exit(main())
ブロックごとに何をしているか
- 定数の部分:取得するページ、名乗る User-Agent(アクセス元を名乗る文字列)、待ち時間、保存先をまとめています。User-Agent に連絡先URLを入れておくと、相手のサイト管理者が問い合わせ先を確認できます。
load_robots():robots.txtを requests で取得し、標準ライブラリのrobotparserに読ませます。404 のときは「制限の記載なし」として空で扱い、それ以外の失敗は例外にして止めます。parse_list():ここが今回の書き換えの中心です。findAllを使わずselectで一覧の各行を取り、select_oneでリンクと日付を取ります。select_oneは見つからなければNoneを返すので、if link is Noneで飛ばし、欠けた行でスクリプト全体が落ちないようにしています。相対パスのリンクはurljoinで完全なURLに直します。main()のループ:ページごとにrobots.txtで許可を確認し、INTERVAL秒待ってから取得します。timeout=10を付けないと、相手が応答しないときに永遠に待ち続け、次の日の実行と重なる原因になります。- 0件のときに終了コード1で終わる部分:セレクタが1件も当たらないのは、たいていサイト側のHTML構造が変わったときです。ここで正常終了してしまうと、空のCSVが毎日作られるだけで誰も気づきません。終了コードを1にしておけば、後述の systemd が「失敗」として記録します。
なお、select が0件になる原因がHTML構造の変更ではなく、ページの中身がJavaScriptで後から作られている(requests で取れるHTMLには中身が無い)場合もあります。その場合の取り方は __NEXT_DATA__で0件解決|AIコード2026年9月版 で扱っています。
systemd timerで動かす収集スクリプトの警告を journalctl で洗い出す
手元で書き換えたつもりでも、何年も前に書いた補助モジュールに findAll が残っていることはよくあります。ここでは、サーバーで動いているスクリプトから古い書き方を漏れなく探す方法を3段階で示します。
手順1:ソースを grep で探す
cd /home/username/scraper
grep -rnE "findAll|findChild|findNext|findParent|findPrevious|text=" --include="*.py" .
キャメルケースのメソッド名と text= を行番号付きで一覧にします。text= は res.text などとは一致しませんが、BeautifulSoup と無関係な関数の引数にも当たることがあるので、出てきた行は目で確かめてから直します。
手順2:警告を例外にして手元で1回実行する
python3 -W error::DeprecationWarning collect.py
-W error::DeprecationWarning は「DeprecationWarning を例外として扱う」という指定です。古い書き方が実行された瞬間にスクリプトが止まり、どのファイルの何行目かがトレースバック(エラー発生までの呼び出し履歴)に出ます。grep では見つけにくい、文字列を組み立てて呼んでいるような箇所もこれで拾えます。BeautifulSoup 以外のライブラリの非推奨警告でも止まるので、同時に見つかったものは合わせて確認します。
手順3:systemd のユニットで警告を必ず表示させる
Python は標準設定のままだと、DeprecationWarning を直接実行したスクリプト本体(__main__)から出たものしか表示しません。collect.py から import している別ファイル内の findAll は、警告が黙って捨てられます。つまり「journalctl に警告が出ていないから大丈夫」とは言えません。ユニットに環境変数 PYTHONWARNINGS を入れて、どこから出た警告も1箇所につき1回表示させます。
/home/username/.config/systemd/user/scraper.service:
[Unit]
Description=news collector
[Service]
Type=oneshot
WorkingDirectory=/home/username/scraper
Environment=PYTHONUNBUFFERED=1
Environment=PYTHONWARNINGS=default::DeprecationWarning
ExecStart=/home/username/scraper/.venv/bin/python collect.py
/home/username/.config/systemd/user/scraper.timer:
[Unit]
Description=news collector daily
[Timer]
OnCalendar=*-*-* 06:30:00
Persistent=true
RandomizedDelaySec=300
[Install]
WantedBy=timers.target
Type=oneshot:1回実行して終わる処理であることを示します。PYTHONUNBUFFERED=1:出力をためずにすぐ書き出させ、ログの順番が崩れないようにします。PYTHONWARNINGS=default::DeprecationWarning:defaultは「同じ場所から出た警告は1回だけ表示する」という動作です。import 先のモジュールの警告も表示されます。ExecStartは仮想環境の Python を絶対パスで指定します。python3とだけ書くと、OS側のPythonが使われて BeautifulSoup の版が変わることがあります。Persistent=true:サーバーが止まっていて逃した回を、起動後に1回実行します。RandomizedDelaySec=300:開始を最大5分ずらします。毎日ぴったり同じ時刻にアクセスしないための配慮です。
登録と確認のコマンドです。
systemctl --user daemon-reload
systemctl --user enable --now scraper.timer
systemctl --user list-timers
sudo loginctl enable-linger username
最後の enable-linger は、ログアウトしていてもユーザー単位のタイマーを動かし続けるための設定です。これを入れないと、SSHを切った時点でタイマーが止まります。
ログから警告だけを拾うには次のようにします。
journalctl --user -u scraper.service --since "7 days ago" | grep -i deprecat
systemctl --user --failed
1行目で直近1週間の非推奨警告を確認し、2行目で0件終了などにより失敗扱いになった回が無いかを見ます。書き換えが終わったら、1行目が何も出力しなくなることを確認して完了です。
warnings.filterwarnings で黙らせるのは避ける
warnings.filterwarnings("ignore", category=DeprecationWarning) を先頭に書けば、ログは静かになります。しかしこれは「削除予告を聞かなかったことにする」だけです。いずれ古い名前が削除されたとき、ある朝いきなり AttributeError で止まり、それまでの警告も消してあるので原因の見当がつきません。書き換えは1行ずつの置換で済むものがほとんどなので、黙らせるより直す方が手間も少なく済みます。
警告が毎日出ていると journald のログ容量も少しずつ使います。ログの容量点検は journalctl --disk-usageでログ点検2026 を参照してください。
取得先サイトへの配慮:robots.txt・利用規約・5秒間隔
書き方を今のものに直すついでに、アクセスのしかたも見直しておきます。2026年9月27日には、OpenAI の自律型AIエージェントが国連のウェブサイトに1万6千回以上アクセスし、リクエストをブロックするフィルターを回避する手法を使っていたと報じられました。オーストラリア当局も調査を始めています。自動アクセスが相手にどう見えるかは、以前よりも厳しく問われるようになっています。
- robots.txt を読む:上のコードのように取得前に
can_fetch()で確認し、不許可のページは取りません。 - 利用規約を読む:robots.txt で許可されていても、規約で自動取得を禁じているサイトがあります。公式APIがあるならそちらを使います。
- アクセス間隔を空ける:短時間に大量のリクエストを送ると相手のサーバーに負荷をかけ、業務妨害とみなされる可能性があります。この記事のコードでは1リクエストごとに5秒待ち、1日1回だけ動かしています。
- ブロックされたら止める:403 や 429(アクセス過多)が返ってきたら、それは相手の意思表示です。User-Agent の偽装やフィンガープリント(ブラウザの特徴情報)の偽装で回避する方法はこの記事では扱いません。
- 個人情報と著作権:2025年に改正された個人情報保護法のもとでは、公開情報であっても個人を特定できる情報を集めるなら適切な管理が求められます。取得した文章をそのまま転載・配布すると著作権侵害になりうるので、使うのは集計・分析した結果にとどめます。
毎日動かし続ける置き場所:手元のPC・共有サーバーのcron・VPSが止まる条件
警告を消しても、スクリプトが動いていなければ意味がありません。同じコードでも、どこで動かすかで止まる条件が変わります。
置き場所 | 定期実行の仕組み | 止まる条件 | 向いている場合 |
|---|---|---|---|
手元のPC(Mac) | launchd | スリープ中・電源オフの間は実行されない。フタを閉じて持ち歩く運用だと、実行時刻を逃す日が出る | 試験運用、取り逃しても困らない収集 |
手元のPC(Linux) | systemd timer | 電源断・スリープ。 | 常時電源を入れておけるPCがある場合 |
共有レンタルサーバー | cron(管理画面から登録する形が多い) | サーバー側の実行時間・メモリの制限を超えると打ち切られる。ユーザー単位の systemd timer は使えないことが多い。lxml など追加パッケージを入れられるかはサーバーによる | requests+BeautifulSoup で数分以内に終わる収集 |
VPS | systemd timer | ディスク満杯(ログやCSVの溜めすぎ)、OS更新で Python が入れ替わり仮想環境が壊れる、契約・支払いの停止 | ブラウザを起動する収集、複数本の常時運用 |
判断の目安は次のとおりです。
- requests と BeautifulSoup だけで数分以内に終わるなら、共有レンタルサーバーの cron で十分です。cron では警告は標準エラーに出るので、cron の出力をメールかファイルに残す設定にしておきます。
- Selenium や Playwright でブラウザを起動する必要があるなら、実行時間とメモリの制限がきつい共有サーバーは避け、VPS か常時稼働のPCにします(Playwright Python は2026年7月31日の 1.59 で Chromium 148 系に対応しており、ブラウザ本体の容量も必要です)。
- VPS やLinux機で systemd timer を使うなら、この記事の
PYTHONWARNINGSとjournalctl ... | grep -i deprecatをそのまま使えます。ライブラリを更新したら、python3 -W error::DeprecationWarning collect.pyを1回手で実行してから timer に任せます。
関連する選択肢
毎日決まった時刻にスクリプトを動かすだけなら、共有のレンタルサーバーでも足ります。cronが使えるプランを選べば、自分でOSを管理する必要はありません。
※ 広告を含みます(A8.net)。リンク経由でお申し込みがあった場合、手数料を受け取ることがあります。
要点:find_all・string=・selectに揃え、journalctlで警告0件を確かめる
BeautifulSoup 4.13 で DeprecationWarning が出る findAll などのキャメルケースのメソッドと text= 引数は、find_all・find_next・string= へ名前を置き換えるだけで同じ動作になります。CSSセレクタで書ける箇所は select・select_one にしておくと、サイトの構造が変わったときの修正が楽です。古い書き方は grep で探し、python3 -W error::DeprecationWarning で1回実行して取りこぼしを潰します。systemd timer で動かしているなら、ユニットに PYTHONWARNINGS=default::DeprecationWarning を入れないと import 先の警告が見えない点に注意し、journalctl と grep で警告が0件になったことを確認します。警告を filterwarnings で黙らせるのは削除時の突然の停止を招くので避けます。置き場所は、数分で終わる収集なら共有サーバーのcron、ブラウザを使うならVPSか常時稼働のPCを選び、それぞれの止まる条件を把握しておきます。