2023/05/12

スクレイプAppプラン失敗の巻



やりたかったこと

 プレミアムバンダイのサイトにスクレイピングをかけて、ガンプラの在庫をチェックし増減したらツイッターに投稿する。

できなかったこと

 JavaでJsoup使ったサンプルコードを作ってみたんだけど、プレバンでGETするときにtimeoutになってしまってた。cURLを使っても同様の事象になった。多分サーバ側でクロールはよろしくないと拒否ってるのだろうと判断。ヘッドレスブラウザを使うことも考えられたが成功したらしたでバンナムさんから怒られそうな気がしてならないのでこのプランはキャンセル。

0 件のコメント:

コメントを投稿

スクレイプAppプラン失敗の巻

やりたかったこと  プレミアムバンダイのサイトにスクレイピングをかけて、ガンプラの在庫をチェックし増減したらツイッターに投稿する。 できなかったこと  JavaでJsoup使ったサンプルコードを作ってみたんだけど、プレバンでGETするときにtimeoutになってしまってた。cUR...