MENU
  • このブログに関して
  • 特集アーカイブ
    • Windows更新情報
    • Windows11使いこなし
    • Windows 10使いこなし
    • macOS/iOS/iPadOS更新情報
    • macOS使いこなし
    • iOS使いこなし
    • Webブラウザ更新情報
  • ソフトウェア
  • Windows
  • Mac
  • iOS
  • セール
PCやMacの性能を100%発揮
ソフトアンテナ
  • このブログに関して
  • 特集アーカイブ
    • Windows更新情報
    • Windows11使いこなし
    • Windows 10使いこなし
    • macOS/iOS/iPadOS更新情報
    • macOS使いこなし
    • iOS使いこなし
    • Webブラウザ更新情報
  • ソフトウェア
  • Windows
  • Mac
  • iOS
  • セール
ソフトアンテナ
  • このブログに関して
  • 特集アーカイブ
    • Windows更新情報
    • Windows11使いこなし
    • Windows 10使いこなし
    • macOS/iOS/iPadOS更新情報
    • macOS使いこなし
    • iOS使いこなし
    • Webブラウザ更新情報
  • ソフトウェア
  • Windows
  • Mac
  • iOS
  • セール
  1. ホーム
  2. Webサービス
  3. A guide to preventing Webscraping - Webページのスクレイピングを防ぐための統合ガイド

A guide to preventing Webscraping - Webページのスクレイピングを防ぐための統合ガイド

2018 8/31
Webサービス
2018年8月31日 2018年8月31日
  • URLをコピーしました!

Pexels photo 67112

「ウェブスクレイピング」とは、ウェブサイトからから情報を抽出するコンピューターソフトウェア技術のこと。

インターネット上に存在する情報から必要なデータを取り出すことができる便利な技術ですが、情報を提供する側からすると、利用されたくない場合もあるかもしれません。

今回紹介する「A guide to preventing Webscraping」は、このウェブスクレイピングを防ぐためのさまざまな方法を解説する英語のドキュメントです。

開発者JonasCz氏によってStackOverflowに投稿された回答の拡張版とされ、CC-BY-SA 3.0のもと自由に変更、リミックス、共有してよいとされています。

目次

ウェブスクレイピングを防ぐ技術

同ドキュメントは、ウェブスクレイピングを防ぐためには、実際のユーザーやサーチエンジンからのからのアクセスを容易に保ったまま、スクリプトやツールによるデータの取得を困難な必要があると説明しています。

この上で具体的にスクレイピングを防ぐために以下のような手法をリストアップしています:

  • ログとトラフィックのパターンを監視する。 異常なアクティビティはアクセスを制限する。
  • 登録とログインが必要なサイトにする。
  • クラウドホスティングやスクレイピングサービスのIPアドレスからのアクセスをブロックする。
  • エラーメッセージを出力しない。
  • Captchasを使用する。
  • テキストを画像として提供する。
  • 完全なデータセットを提供しない
  • APIを利用させない

Pexels photo 706500

またHTMLパーサーとスクレイパーを抑止する方法として以下の方法をリストアップしています:

  • HTMLを頻繁に変更する。
  • ユーザーの位置情報に基づきHTMLを変更する。
  • 頻繁にHTMLを変更する。
  • 偽のデータをページに追加する。
  • スクレイパーを検出した場合偽のデータを提供する。
  • User Agentが空や間違っている場合リクエストを受け付けない。
  • User Agentがスクレイパーのものの婆リクエストを受け付けない。
  • リファラヘッダをチェックする。
  • CSSや画像をリクエストしない場合本当のブラウザではない。
  • Cookieを使用する
  • JavaScriptとAjaxを使ってコンテンツをロードする。
  • マークアップなどを難読化する。

それぞれの項目の具体的な方法はドキュメントに掲載されていますのでご確認ください。なおその他法的な手段を検討するなど、非技術的な方法も掲載されています。

ウェブスクレイピングをなんとかして防ぎたい方にとっては参考になる情報といえそうです。

Webサービス
scraping Web
よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!
  • ポモドーロテクニックを実践できる生産性向上タイマー「Be Focused Pro」がセール中の本日のアプリセールまとめ
  • iPhone XSとApple Watch Series 4の公式画像が流出

関連記事

  • Gmailの開発者、AIによってGoogleの検索ビジネスが2年以内に崩壊すると予言
    2023年2月1日
  • Adobe Creative Suite 6のライセンス認証期限が1月31日から再延長
    2023年1月31日
  • Microsoft、TeamsやOutlookの障害を調査中
    2023年1月25日
  • イーロン・マスク氏、広告無しのさらに高価格なTwitter Blueサブスクリプションを示唆
    2023年1月22日
  • Twitter、全てのサードパーティアプリを禁止すると正式発表
    2023年1月20日
  • Twitter、サードパーティアプリのブロックを公式に認める
    2023年1月18日
  • 無料動画配信サービス「GYAO!」がサ終
    2023年1月17日
  • Tweetbotが一時的に復活してまた死ぬ。Twitter側の意図的なブロックが確定か?
    2023年1月16日
スポンサーリンク
サイト内検索
特集アーカイブ
  • Windows更新情報
  • Windows11使いこなし
  • Windows 10使いこなし
  • macOS/iOS/iPadOS更新情報
  • macOS使いこなし
  • iOS使いこなし
  • Webブラウザ更新情報
Feedlyに登録

登録お願いします!

follow us in feedly

人気記事
  • Lp logo 3 1000x657 質問に対し流暢な日本語で回答してくれる「ChatGPT」が公開 - 試し方はこちら
  • S 20230125 112030 Microsoft Edgeに「ウィンドウの分割」機能が導入。2つのページを同時に閲覧可能に
  • S 20221123 111042 Windows 11のタスクトレイ時計の秒表示を有効にする方法
  • S 20230119 111028 Microsoft、Windows 11 22H2でシステムの復元ポイントがアプリを破壊する事を確認
  • S 20221206 204658 メニューバーから対話できる「ChatGPT for Mac」がリリース
  • S 20210923 114221 Windows 11で「管理ツール」を開く方法
  • S 20220219 172234 【Tips】iPhoneで撮影した特定の写真だけをiCloudに保存する方法
  • Mac mini M2 2023 【悲報】M2搭載ローエンドMac miniとMacBook ProのSSD速度は前世代より低下
  • Img3File M1/M2/Intel MacでWindows 11を実行できる「UTM 4.1」
  • S 20230127 111050 Windows 11 Version 22H2用のプレビューアップデートKB5022360が公開 - タスクバー検索やIMEの不具合修正
カテゴリー
タグ
Amazon Android App Apple applewatch appsale Chrome Edge Firefox Git Github Google iOS iPad ipados iPhone iPhone6 iphone7 iphone8 iTunes JavaScript Kindle Linux Mac MacBook MacBookPro macos Microsoft Nintendo OS X OSX Parallels Rails Ruby Sale Steam Swift Twitter VMware Windows windows7 windows10 windows11 Wine Yosemite
新着記事
  • 【2/28まで】Amazonのオーディオブック聴き放題サービス「Audible」が2ヶ月無料になるキャンペーンが実施中
  • 【2023年2月分】Kindle月替わりセールが更新 - 「超雑談力」などが対象
  • elementary OS 7が正式リリース - アプリ入手性の改善や設定の改良など新機能多数
src256
ソフトアンテナを開発しています。

Windows/Mac/Linux全部使用中。ソフトウェア、ハードウェアいろいろなモノに興味があります。

好きなエディタはEmacs。好きな言語はRubyです。


srcw.net
  • プライバシーポリシー

© 2022 ソフトアンテナ

目次