requestsでのページ取得に限界を感じることが増えてきた。そらまあ、普通の人へ見せるためにページ組んでんのに、ロボットに収集させたくないよな。わかるよ。
ってあたりでAIなんちゃらが盛り上がり、驚き屋の皆さんがあちこちからデータを掠め取って己の成果にしようと目論んでいるわけです。セキュリティ意識も倫理観ももちあわせないことを「非エンジニア」とかいうキーワードで糊塗しようとしているあたりが小賢しい。
ともかくそいつらがScraplingとかで騒いでて、ふーんそんなのあるんだ、と触ってしばらく経った。結論、別にこれ要らないなーということで、手元の玩具を書き直したりしている。
epubつくってkindleで読むためのやつの一部をScraplingによる動作にさせちゃってたんだけど、これをやめる。
取得はcurl_cffi、ドキュメントの操作は従来通りBeautifulSoupにやらせる。
「こんなオールインワンみたいな道具を使うかなあ」
って疑問を抱えながらScraplingを触ってたんだけど、やっぱあの違和感はだいじにしないとダメだった。
帯とタスキっす。
というか、Scraplingの実態は curl_cffi
（と Camoufox
）+ lxml
だから、個々に使ったらよかったんじゃねで済む話だった。
楽しようとして、かえって手間を増やしちゃった。