Google、robots.txt仕様のWeb標準化目指す

2019年7月5日 20:49

小

中

大

印刷

記事提供元:スラド

 Googleが、検索エンジンなどのクロールボット(クローラ)に対しクロール禁止などの指示を出すためのファイル「robots.txt」の仕様の標準化を目指すことを発表した(ドラフト案ITmedia)。

 robots.txtの仕様は「REP(Robots Exclusion Protocol)」や「Robots Exclusion Standard」などと呼ばれている。多くのクローラはこのファイルを確認してクロール頻度やインデックスの制御を行っているが、標準化されていないためにクローラによって解釈が異なったり、一部のクローラのみが認識するディレクティブが存在するといった状況になっていた。

 あわせてGoogleはrobots.txtを解釈するためのライブラリ「robotstxt」も公開している。

 スラドのコメントを読む | ITセクション | テクノロジー | Google | ソフトウェア | インターネット | ロボット

 関連ストーリー:
Apple、Applebotの存在を公式ドキュメントに記す 2015年05月08日
Googleの「killer-robots.txt」、創業者2人に対しては「Disallow」を指定 2014年07月07日
XCOM GLOBALの情報流出事件でrobots.txtが話題に 2013年05月28日
Disallow:/iraq ― ホワイトハウスの robots.txt 2003年10月28日

※この記事はスラドから提供を受けて配信しています。

関連キーワードGoogle

広告

広告

写真で見るニュース

  • 研究グループが開発した世界最小のクロック回路を搭載したチップ写真(写真:東工大の発表資料より)
  • 新型フィット・e:HEV HOME(画像: 本田技研工業の発表資料より)
  • (c) 123rf
  • シャポー市川リニューアルのイメージ(JR東日本都市開発発表資料より)
  • 「Audi City紀尾井町」の店内の様子。(画像: アウディ ジャパンの発表資料より)
  • 愛犬専用トイレ(画像: 関西エアポートの発表資料より)
  • アルマ望遠鏡が撮影した連星系「HD101584」周辺のガスの広がり (c) ALMA (ESO/NAOJ/NRAO), Olofsson et al. Acknowledgement: Robert Cumming
  • フィリピン・セブ (c) 123rf
  • 新素材の買い物袋デザインイメージ。(アインホールディングス発表資料より)
 

広告

ピックアップ 注目ニュース