レス数が1000を超えています。残念ながら全部は表示しません。

くだらない質問はここに書き込め！なんでもアリ16

529 ：名無しさん＠お腹いっぱい。 ：02/11/04 02:28

>>528
> robot.txt無視すると何か問題があるんですか?>>526
サイト運営者を怒らすかもな。

530 ：名無しさん＠お腹いっぱい。 ：02/11/04 02:31

>>528
robot.txtは、robot系のagentは、来ちゃだめっていう
事が書かれてるテキスト。wgetもrobotに分類されるか
ら、本当は、robot.txtに従わないといけない。
従うかどうかについては、神士協定だから、無視するな
ら自己責任でって事を>>526は言ってるんだと思う。

read.cgi ver5.26+ (01/10/21-)