pandas 3.0では、文字列の列の既定がobjectからstr(StringDtype)に変わりました。スクレイピングで集めた表をdtype == objectやastype(str)で処理しているスクリプトは、エラーを出さずに前処理だけ飛ばすことがあります。cronやsystemd timerで毎日回していると、pip install -Uした翌朝から壊れたCSVが黙って積み上がります。この記事では、pandas 3.0での文字列判定と欠損の扱い、そしてサーバー側でバージョンを固定して動かし続ける方法を、動くコードで説明します。
pandas 3.0で dtype == object の判定が通らなくなる理由
以前の書き方:dtypeの名前で文字列の列を探していた
pandas 2系までは、文字列の列はobject型(中身を問わず何でも入る型)として読み込まれていました。そのため、次のように「object型の列=文字列の列」とみなして前処理するコードが広く使われてきました。
# pandas 2系まで通っていた書き方
for col in df.columns:
if df[col].dtype == object:
df[col] = df[col].str.strip()
df["price"] = df["price"].astype(str).str.replace(",", "")
df = df[df["name"] != "nan"]
1つ目のループは、全列のうちobject型の列だけ前後の空白を取り除いています。2つ目は価格を一度文字列にそろえてからカンマを外し、3つ目はastype(str)で欠損が"nan"という文字列になる前提で、その行を捨てています。
3.0で何が変わるか
pandas 3.0では、スクレイピング結果から作ったDataFrameも、read_csvで読み込んだ表も、文字列の列はstr型になります。すると上のコードは次のように振る舞います。
書き方 | pandas 2系 | pandas 3.0 |
|---|---|---|
| 文字列の列で True | 文字列の列で False。strip が黙って飛ばされる |
|
| 欠損のまま残る |
| 除ける | 一致しないので欠損行が残る |
どれも例外を出しません。前後に空白が付いたままの商品名で重複判定がずれる、欠損行がCSVに残る、という形で後から気づくことになります。自分の環境でどちらの挙動になるかは、次の2行で確かめられます。
python3 -c "import pandas as pd; print(pd.__version__)"
python3 -c "import pandas as pd; print(pd.DataFrame({'a': ['x', None]})['a'].dtype)"
2行目がobjectなら従来の挙動、strなら3.0の挙動です。移行の細かい仕様は、pandas公式ドキュメントの3.0の変更点(What's new)と文字列型の移行ガイドで確認してください。
今の書き方:is_string_dtype() と isna() で判定する
実行環境
- Python:
python3 -Vで確認。pandas 3.0が対応するPythonの範囲は公式のインストールページで確認してください。requests 2.34系はPython 3.10以上を公式サポートしています - パッケージ:
pip install "pandas>=3,<4" requests beautifulsoup4
"pandas>=3,<4"と範囲を付けるのは、今回のような「メジャー版の切り替わりで挙動が変わる」事故を避けるためです。動作確認が済んだら、後述の手順で完全な版番号に固定します。
コード全体
import sys
import time
from datetime import date
import pandas as pd
import requests
from bs4 import BeautifulSoup
from pandas.api.types import is_string_dtype
# (1) 想定外のメジャー版で動いたら、処理せずに失敗させる
if int(pd.__version__.split(".")[0]) != 3:
sys.exit(f"pandas {pd.__version__} は想定外です(3系で検証済み)")
URLS = [
"https://example.com/prices?page=1",
"https://example.com/prices?page=2",
]
HEADERS = {"User-Agent": "price-collector/1.0"}
# (2) 取得:表の行を辞書のリストにする
def fetch_rows(url: str) -> list[dict]:
res = requests.get(url, headers=HEADERS, timeout=(5, 30))
res.raise_for_status()
soup = BeautifulSoup(res.text, "html.parser")
rows = []
for tr in soup.select("table.price-list tbody tr"):
cells = [td.get_text() for td in tr.select("td")]
if len(cells) >= 3:
rows.append({"name": cells[0], "price": cells[1], "stock": cells[2]})
return rows
# (3) 加工:dtypeの名前ではなく「文字列の列かどうか」で判定する
def clean(df: pd.DataFrame) -> pd.DataFrame:
for col in df.columns:
if is_string_dtype(df[col]):
df[col] = df[col].str.strip()
df[col] = df[col].mask(df[col] == "") # 空文字は欠損に寄せる
# (4) 欠損は isna()/notna() で見る。"nan" という文字列とは比べない
df = df[df["name"].notna()].copy()
# (5) 数値化:文字列のまま加工してから to_numeric に渡す
df["price"] = pd.to_numeric(
df["price"].str.replace(r"[^\d.]", "", regex=True),
errors="coerce",
)
df["in_stock"] = df["stock"].isin(["在庫あり"])
return df
def main() -> None:
rows = []
for url in URLS:
rows.extend(fetch_rows(url))
time.sleep(3) # 相手のサーバーに連続でアクセスしない
if not rows:
sys.exit("行が1件も取れませんでした(ページ構造の変化を確認)")
df = clean(pd.DataFrame(rows))
df.to_csv(f"prices_{date.today():%Y%m%d}.csv", index=False)
print(f"{len(df)} 行を保存しました")
if __name__ == "__main__":
main()
ブロックごとの説明
- 版の確認:pandasのメジャー版が3でなければ
sys.exit()で終了します。終了コードが0以外になるので、systemdやcronのログに「失敗」として残ります。黙って違う挙動で動くより、止まって気づける方が被害が小さく済みます。 - 取得:requestsでページを取り、BeautifulSoupで表の
tdを拾います。timeout=(5, 30)は接続5秒・読み込み30秒の上限で、相手が応答しないときに定期実行が永久に止まるのを防ぎます(理由はrequests timeout忘れ|AIコード2026年10月で詳しく書いています)。 - 文字列の列の判定:
pd.api.types.is_string_dtype()は、列がstr型でも従来のobject型(中身が文字列)でもTrueを返します。dtypeの名前に依存しないので、pandas 2系で動かしても3.0で動かしても同じ列が処理されます。mask()は条件に合う値をその列の欠損表現に置き換えるので、欠損の表し方を自分で指定する必要がありません。 - 欠損の判定:3.0の既定の
str型と、明示的にdtype="string"を指定した列とでは、欠損の表し方(NaNかpd.NAか)が異なります。isna()/notna()はどちらでも正しく判定できるので、== "nan"やis np.nanのような比較は書かずにこちらに統一します。 - 数値化:
astype(str)で一度そろえる必要はありません。文字列の列のまま.str.replace()で数字以外を外し、pd.to_numeric(errors="coerce")で変換できない値を欠損にします。isin()は欠損をFalseとして扱うので、在庫フラグが常に真偽値になります。
pandasの書き方が版の切り替わりで変わった例としては、error_bad_lines削除|AIコード2026年10月も同じ構図です。古い記事やAIが出したコードをそのまま使うと、どちらも引っかかります。
サーバーでpandasのバージョンを固定する手順(venv・requirements.txt)
固定の手順
定期実行するスクリプトは、システムのPythonに直接pip installせず、専用の仮想環境(venv:プロジェクトごとに分けたPython環境)で動かします。
cd /home/username/scraper
python3 -m venv .venv
.venv/bin/pip install "pandas>=3,<4" requests beautifulsoup4
.venv/bin/python collect.py # 手で1回動かして結果を確認
.venv/bin/pip freeze > requirements.txt
pip freezeは、今その環境に入っているパッケージをpandas==X.Y.Zの形で完全な版番号付きで書き出します。動作確認できた組み合わせをそのまま記録するのが目的なので、版番号は自分で書かずにこの出力を使ってください。どの版が入ったかは.venv/bin/pip show pandasのVersionで確認できます。
更新するときの手順
- 本番の
.venvでpip install -Uしない。更新は別のvenvを作って試す - 試験用のvenvで同じスクリプトを動かし、本番が出したCSVと行数・列・欠損の数を比べる
- 差が無い(または意図どおり)と確かめてから
requirements.txtを更新し、本番の環境をpip install -r requirements.txtで作り直す
python3 -m venv /home/username/scraper/.venv-test
/home/username/scraper/.venv-test/bin/pip install -U pandas requests beautifulsoup4
/home/username/scraper/.venv-test/bin/python collect.py
定期実行の設定(systemd timer と cron)
どちらも、venvの中のpythonをフルパスで指定するのが要点です。python3とだけ書くと、システム側のpandasが使われます。
# /home/username/.config/systemd/user/scraper.service
[Unit]
Description=price scraper
[Service]
Type=oneshot
WorkingDirectory=/home/username/scraper
ExecStart=/home/username/scraper/.venv/bin/python collect.py
# /home/username/.config/systemd/user/scraper.timer
[Unit]
Description=run price scraper daily
[Timer]
OnCalendar=*-*-* 06:00:00
Persistent=true
[Install]
WantedBy=timers.target
Persistent=trueは、サーバーが止まっていて実行時刻を逃した場合に、起動後に1回追いかけて実行する設定です。有効化はsystemctl --user enable --now scraper.timer、結果はjournalctl --user -u scraper.serviceで見られます。冒頭の版チェックで止まった場合もここに残ります。ログアウト後も動かすにはloginctl enable-linger usernameが必要です。
cronしか使えない環境では次のように書きます。
0 6 * * * cd /home/username/scraper && /home/username/scraper/.venv/bin/python collect.py >> /home/username/scraper/log.txt 2>&1
2>&1でエラー出力もログへまとめています。これが無いと、版チェックで止まった理由がどこにも残りません。
毎日動かし続ける場所の選び方:手元PC・共有サーバーのcron・VPS
書いたスクリプトをどこで動かすかで、「止まる条件」が変わります。
場所 | 向いている処理 | 止まる条件 |
|---|---|---|
手元のPC(launchd・タスクスケジューラ) | 試運転、数日分の収集 | スリープ・フタを閉じる・電源断。実行時刻にPCが起きていないと飛ぶ |
共有レンタルサーバーのcron | requests+BeautifulSoupだけで済む軽い収集 | 実行時間・メモリの制限を超えたとき。事業者側のPython更新でvenvが使えなくなったとき。pipで入れられるパッケージやPythonの版を選べない場合がある |
VPS(systemd timer) | Selenium・Playwrightなどブラウザを動かす処理、常駐が要る処理 | ディスクの空き不足。OSのアップグレードでシステムのPythonのマイナー版が変わり、それを元に作ったvenvが壊れたとき(venvを作り直せば戻る) |
Macの手元で試すなら、launchdの登録方法はlaunchd定期実行はbootstrapで|2026年10月にまとめています。ただし手元のPCは「起きている間しか動かない」ので、毎日欠かさず集めたいデータなら共有サーバーかVPSに移すのが前提です。どこに置いても、今回の版固定と冒頭の版チェックは同じように効きます。
取得先サイトへの配慮:robots.txt・利用規約・アクセス間隔
毎日自動で動かすということは、相手のサーバーに毎日アクセスするということです。次の3点は必ず確認してください。
- robots.txt:取得するパスが拒否されていないかを、標準ライブラリで確認できます
- 利用規約:スクレイピングや自動取得を禁じていないか。公開ページでも「自由に取得してよい」とは限りません
- アクセス間隔:ページごとに数秒空ける(上のコードの
time.sleep(3))。並列で一気に取らない。必要な頻度以上に回さない
from urllib.robotparser import RobotFileParser
rp = RobotFileParser("https://example.com/robots.txt")
rp.read()
if not rp.can_fetch("price-collector/1.0", "https://example.com/prices?page=1"):
raise SystemExit("robots.txt で拒否されているため取得しません")
直近の動きとして、Googleは2026年9月2日にウェブ検索のスパムに関するポリシーを更新し、スクレイピング行為について明記しました。国内では個人情報保護法の改正法が2026年7月10日に成立し、罰則規定は2027年1月17日に先行施行されます。個人名や連絡先のような個人情報は、取得の対象にしないのが安全です。また、公式APIが提供されているサイトでは、まずそちらを使うことを検討してください。アクセス制限や認証を回避する目的の工夫は、この記事の範囲外です。
関連する選択肢
毎日決まった時刻にスクリプトを動かすだけなら、共有のレンタルサーバーでも足ります。cronが使えるプランを選べば、自分でOSを管理する必要はありません。
※ 広告を含みます(A8.net)。リンク経由でお申し込みがあった場合、手数料を受け取ることがあります。
まとめ
pandas 3.0では文字列の列がstr型になり、dtype == objectでの判定は黙ってFalseになります。astype(str)の後に"nan"と比べて欠損を除く書き方も通りません。今はpd.api.types.is_string_dtype()で文字列の列を判定し、欠損はisna()/notna()で扱い、数値化はpd.to_numeric(errors="coerce")に任せる書き方にそろえます。こうしておけば、欠損の表現がNaNでもpd.NAでも同じように動きます。定期実行するスクリプトは専用のvenvに入れ、pip freezeで版を固定し、冒頭で想定外のメジャー版なら止めるようにしておくと、更新で壊れても翌朝のログで気づけます。動かす場所は、軽い収集なら共有サーバーのcron、ブラウザを使う処理ならVPSのsystemd timerが目安です。あわせてrobots.txt・利用規約・アクセス間隔の確認も欠かさないでください。