pandas 3.0では、文字列の列の既定がobjectからstr(StringDtype)に変わりました。スクレイピングで集めた表をdtype == objectやastype(str)で処理しているスクリプトは、エラーを出さずに前処理だけ飛ばすことがあります。cronやsystemd timerで毎日回していると、pip install -Uした翌朝から壊れたCSVが黙って積み上がります。この記事では、pandas 3.0での文字列判定と欠損の扱い、そしてサーバー側でバージョンを固定して動かし続ける方法を、動くコードで説明します。

pandas 3.0で dtype == object の判定が通らなくなる理由

以前の書き方:dtypeの名前で文字列の列を探していた

pandas 2系までは、文字列の列はobject型(中身を問わず何でも入る型)として読み込まれていました。そのため、次のように「object型の列=文字列の列」とみなして前処理するコードが広く使われてきました。

# pandas 2系まで通っていた書き方
for col in df.columns:
    if df[col].dtype == object:
        df[col] = df[col].str.strip()

df["price"] = df["price"].astype(str).str.replace(",", "")
df = df[df["name"] != "nan"]

1つ目のループは、全列のうちobject型の列だけ前後の空白を取り除いています。2つ目は価格を一度文字列にそろえてからカンマを外し、3つ目はastype(str)で欠損が"nan"という文字列になる前提で、その行を捨てています。

3.0で何が変わるか

pandas 3.0では、スクレイピング結果から作ったDataFrameも、read_csvで読み込んだ表も、文字列の列はstr型になります。すると上のコードは次のように振る舞います。

書き方

pandas 2系

pandas 3.0

df[col].dtype == object

文字列の列で True

文字列の列で False。strip が黙って飛ばされる

astype(str) した後の欠損

"nan" という文字列になる

欠損のまま残る

== "nan" で欠損を除く

除ける

一致しないので欠損行が残る

どれも例外を出しません。前後に空白が付いたままの商品名で重複判定がずれる、欠損行がCSVに残る、という形で後から気づくことになります。自分の環境でどちらの挙動になるかは、次の2行で確かめられます。

python3 -c "import pandas as pd; print(pd.__version__)"
python3 -c "import pandas as pd; print(pd.DataFrame({'a': ['x', None]})['a'].dtype)"

2行目がobjectなら従来の挙動、strなら3.0の挙動です。移行の細かい仕様は、pandas公式ドキュメントの3.0の変更点(What's new)と文字列型の移行ガイドで確認してください。

今の書き方:is_string_dtype() と isna() で判定する

実行環境

  • Python:python3 -Vで確認。pandas 3.0が対応するPythonの範囲は公式のインストールページで確認してください。requests 2.34系はPython 3.10以上を公式サポートしています
  • パッケージ:pip install "pandas>=3,<4" requests beautifulsoup4

"pandas>=3,<4"と範囲を付けるのは、今回のような「メジャー版の切り替わりで挙動が変わる」事故を避けるためです。動作確認が済んだら、後述の手順で完全な版番号に固定します。

コード全体

import sys
import time
from datetime import date

import pandas as pd
import requests
from bs4 import BeautifulSoup
from pandas.api.types import is_string_dtype

# (1) 想定外のメジャー版で動いたら、処理せずに失敗させる
if int(pd.__version__.split(".")[0]) != 3:
    sys.exit(f"pandas {pd.__version__} は想定外です(3系で検証済み)")

URLS = [
    "https://example.com/prices?page=1",
    "https://example.com/prices?page=2",
]
HEADERS = {"User-Agent": "price-collector/1.0"}


# (2) 取得:表の行を辞書のリストにする
def fetch_rows(url: str) -> list[dict]:
    res = requests.get(url, headers=HEADERS, timeout=(5, 30))
    res.raise_for_status()
    soup = BeautifulSoup(res.text, "html.parser")
    rows = []
    for tr in soup.select("table.price-list tbody tr"):
        cells = [td.get_text() for td in tr.select("td")]
        if len(cells) >= 3:
            rows.append({"name": cells[0], "price": cells[1], "stock": cells[2]})
    return rows


# (3) 加工:dtypeの名前ではなく「文字列の列かどうか」で判定する
def clean(df: pd.DataFrame) -> pd.DataFrame:
    for col in df.columns:
        if is_string_dtype(df[col]):
            df[col] = df[col].str.strip()
            df[col] = df[col].mask(df[col] == "")  # 空文字は欠損に寄せる

    # (4) 欠損は isna()/notna() で見る。"nan" という文字列とは比べない
    df = df[df["name"].notna()].copy()

    # (5) 数値化:文字列のまま加工してから to_numeric に渡す
    df["price"] = pd.to_numeric(
        df["price"].str.replace(r"[^\d.]", "", regex=True),
        errors="coerce",
    )
    df["in_stock"] = df["stock"].isin(["在庫あり"])
    return df


def main() -> None:
    rows = []
    for url in URLS:
        rows.extend(fetch_rows(url))
        time.sleep(3)  # 相手のサーバーに連続でアクセスしない
    if not rows:
        sys.exit("行が1件も取れませんでした(ページ構造の変化を確認)")

    df = clean(pd.DataFrame(rows))
    df.to_csv(f"prices_{date.today():%Y%m%d}.csv", index=False)
    print(f"{len(df)} 行を保存しました")


if __name__ == "__main__":
    main()

ブロックごとの説明

  1. 版の確認:pandasのメジャー版が3でなければsys.exit()で終了します。終了コードが0以外になるので、systemdやcronのログに「失敗」として残ります。黙って違う挙動で動くより、止まって気づける方が被害が小さく済みます。
  2. 取得:requestsでページを取り、BeautifulSoupで表のtdを拾います。timeout=(5, 30)は接続5秒・読み込み30秒の上限で、相手が応答しないときに定期実行が永久に止まるのを防ぎます(理由はrequests timeout忘れ|AIコード2026年10月で詳しく書いています)。
  3. 文字列の列の判定:pd.api.types.is_string_dtype()は、列がstr型でも従来のobject型(中身が文字列)でもTrueを返します。dtypeの名前に依存しないので、pandas 2系で動かしても3.0で動かしても同じ列が処理されます。mask()は条件に合う値をその列の欠損表現に置き換えるので、欠損の表し方を自分で指定する必要がありません。
  4. 欠損の判定:3.0の既定のstr型と、明示的にdtype="string"を指定した列とでは、欠損の表し方(NaNかpd.NAか)が異なります。isna()/notna()はどちらでも正しく判定できるので、== "nan"やis np.nanのような比較は書かずにこちらに統一します。
  5. 数値化:astype(str)で一度そろえる必要はありません。文字列の列のまま.str.replace()で数字以外を外し、pd.to_numeric(errors="coerce")で変換できない値を欠損にします。isin()は欠損をFalseとして扱うので、在庫フラグが常に真偽値になります。

pandasの書き方が版の切り替わりで変わった例としては、error_bad_lines削除|AIコード2026年10月も同じ構図です。古い記事やAIが出したコードをそのまま使うと、どちらも引っかかります。

サーバーでpandasのバージョンを固定する手順(venv・requirements.txt)

固定の手順

定期実行するスクリプトは、システムのPythonに直接pip installせず、専用の仮想環境(venv:プロジェクトごとに分けたPython環境)で動かします。

cd /home/username/scraper
python3 -m venv .venv
.venv/bin/pip install "pandas>=3,<4" requests beautifulsoup4
.venv/bin/python collect.py          # 手で1回動かして結果を確認
.venv/bin/pip freeze > requirements.txt

pip freezeは、今その環境に入っているパッケージをpandas==X.Y.Zの形で完全な版番号付きで書き出します。動作確認できた組み合わせをそのまま記録するのが目的なので、版番号は自分で書かずにこの出力を使ってください。どの版が入ったかは.venv/bin/pip show pandasのVersionで確認できます。

更新するときの手順

  • 本番の.venvでpip install -Uしない。更新は別のvenvを作って試す
  • 試験用のvenvで同じスクリプトを動かし、本番が出したCSVと行数・列・欠損の数を比べる
  • 差が無い(または意図どおり)と確かめてからrequirements.txtを更新し、本番の環境をpip install -r requirements.txtで作り直す
python3 -m venv /home/username/scraper/.venv-test
/home/username/scraper/.venv-test/bin/pip install -U pandas requests beautifulsoup4
/home/username/scraper/.venv-test/bin/python collect.py

定期実行の設定(systemd timer と cron)

どちらも、venvの中のpythonをフルパスで指定するのが要点です。python3とだけ書くと、システム側のpandasが使われます。

# /home/username/.config/systemd/user/scraper.service
[Unit]
Description=price scraper

[Service]
Type=oneshot
WorkingDirectory=/home/username/scraper
ExecStart=/home/username/scraper/.venv/bin/python collect.py

# /home/username/.config/systemd/user/scraper.timer
[Unit]
Description=run price scraper daily

[Timer]
OnCalendar=*-*-* 06:00:00
Persistent=true

[Install]
WantedBy=timers.target

Persistent=trueは、サーバーが止まっていて実行時刻を逃した場合に、起動後に1回追いかけて実行する設定です。有効化はsystemctl --user enable --now scraper.timer、結果はjournalctl --user -u scraper.serviceで見られます。冒頭の版チェックで止まった場合もここに残ります。ログアウト後も動かすにはloginctl enable-linger usernameが必要です。

cronしか使えない環境では次のように書きます。

0 6 * * * cd /home/username/scraper && /home/username/scraper/.venv/bin/python collect.py >> /home/username/scraper/log.txt 2>&1

2>&1でエラー出力もログへまとめています。これが無いと、版チェックで止まった理由がどこにも残りません。

毎日動かし続ける場所の選び方:手元PC・共有サーバーのcron・VPS

書いたスクリプトをどこで動かすかで、「止まる条件」が変わります。

場所

向いている処理

止まる条件

手元のPC(launchd・タスクスケジューラ)

試運転、数日分の収集

スリープ・フタを閉じる・電源断。実行時刻にPCが起きていないと飛ぶ

共有レンタルサーバーのcron

requests+BeautifulSoupだけで済む軽い収集

実行時間・メモリの制限を超えたとき。事業者側のPython更新でvenvが使えなくなったとき。pipで入れられるパッケージやPythonの版を選べない場合がある

VPS(systemd timer)

Selenium・Playwrightなどブラウザを動かす処理、常駐が要る処理

ディスクの空き不足。OSのアップグレードでシステムのPythonのマイナー版が変わり、それを元に作ったvenvが壊れたとき(venvを作り直せば戻る)

Macの手元で試すなら、launchdの登録方法はlaunchd定期実行はbootstrapで|2026年10月にまとめています。ただし手元のPCは「起きている間しか動かない」ので、毎日欠かさず集めたいデータなら共有サーバーかVPSに移すのが前提です。どこに置いても、今回の版固定と冒頭の版チェックは同じように効きます。

取得先サイトへの配慮:robots.txt・利用規約・アクセス間隔

毎日自動で動かすということは、相手のサーバーに毎日アクセスするということです。次の3点は必ず確認してください。

  • robots.txt:取得するパスが拒否されていないかを、標準ライブラリで確認できます
  • 利用規約:スクレイピングや自動取得を禁じていないか。公開ページでも「自由に取得してよい」とは限りません
  • アクセス間隔:ページごとに数秒空ける(上のコードのtime.sleep(3))。並列で一気に取らない。必要な頻度以上に回さない
from urllib.robotparser import RobotFileParser

rp = RobotFileParser("https://example.com/robots.txt")
rp.read()
if not rp.can_fetch("price-collector/1.0", "https://example.com/prices?page=1"):
    raise SystemExit("robots.txt で拒否されているため取得しません")

直近の動きとして、Googleは2026年9月2日にウェブ検索のスパムに関するポリシーを更新し、スクレイピング行為について明記しました。国内では個人情報保護法の改正法が2026年7月10日に成立し、罰則規定は2027年1月17日に先行施行されます。個人名や連絡先のような個人情報は、取得の対象にしないのが安全です。また、公式APIが提供されているサイトでは、まずそちらを使うことを検討してください。アクセス制限や認証を回避する目的の工夫は、この記事の範囲外です。

関連する選択肢

毎日決まった時刻にスクリプトを動かすだけなら、共有のレンタルサーバーでも足ります。cronが使えるプランを選べば、自分でOSを管理する必要はありません。

レンタルサーバー エックスサーバー

※ 広告を含みます(A8.net)。リンク経由でお申し込みがあった場合、手数料を受け取ることがあります。

まとめ

pandas 3.0では文字列の列がstr型になり、dtype == objectでの判定は黙ってFalseになります。astype(str)の後に"nan"と比べて欠損を除く書き方も通りません。今はpd.api.types.is_string_dtype()で文字列の列を判定し、欠損はisna()/notna()で扱い、数値化はpd.to_numeric(errors="coerce")に任せる書き方にそろえます。こうしておけば、欠損の表現がNaNでもpd.NAでも同じように動きます。定期実行するスクリプトは専用のvenvに入れ、pip freezeで版を固定し、冒頭で想定外のメジャー版なら止めるようにしておくと、更新で壊れても翌朝のログで気づけます。動かす場所は、軽い収集なら共有サーバーのcron、ブラウザを使う処理ならVPSのsystemd timerが目安です。あわせてrobots.txt・利用規約・アクセス間隔の確認も欠かさないでください。