連番のＨ画像を一気にダウンロードする

1 ：たのも〜 ：2001/01/10(水) 15:02

最近、PGFをコレクション始めたのだが、httpで連番のファイルを一気にダウンロードする
ソフトやスクリプトがあれば教えてけれ。

172 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:14

>>171
Perlとかを使えば、HTMLファイルからURLを抽出するのは単なる文字列の抽出なので、
慣れれば簡単にできますよ。この機会に正規表現とか覚えるのもいいかも。

173 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:23

grep して sed >> list して (これを何回かやって) wget -i list

174 ：173 ：2001/08/26(日) 01:24

ガガーソ。こんな書き込みでスレをageてしまうなんて初めての経験だ…

175 ：普段は　エロ系 ：2001/08/26(日) 01:32

凄い！　２ちゃん　の危機で　UNIX初めて覗いたけど　なんか凄い
で　PGF　一応全タイトルと　WAVファイル持ってます
１さん
でも　簡単に　入手するより　きっと　過程が楽しいのでしょうね
皆様　凄いわ！

176 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:44

過程なんか楽しくねーよ。

177 ：名無しさん＠お腹いっぱい。 ：2001/08/26(日) 01:51

過程 "も" 楽しい。

178 ：普段は　エロ系 ：2001/08/26(日) 01:53

あ　そうなの（＾＾;;

179 ：名無しさん＠お腹いっぱい。 ：2001/08/26(5) 29:00

「インターネットニンジャじや、一発じゃ。」
と無粋な流れを無視したコメントを残しておく。

（そして反発を買う。）　　ﾜｸﾜｸ・・・・うふ。





　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　ラブ。

180 ：では反発 ：2001/08/26(5) 31:00

sed で複数 html からリスト作って wget で取得の方が遥かに早いです

181 ：180 ：2001/08/26(5) 32:00

ていうか、書き込み時刻がめちゃくちゃだな

182 ：名無しさん＠お腹いっぱい。 ：2001/08/26(5) 34:00

こここれは？？

183 ：名無しさん＠お腹いっぱい。 ：2001/08/26(5) 34:00

32:00って＿＿＿＿＿＿＿＿＿？

184 ：test ：2001/08/26(5) 43:00

test

185 ：名無しさん＠お腹いっぱい。 ：2001/08/26(5) 44:00

やっぱおかしいな

186 ：名無しさん＠お腹いっぱい。 ：2001/08/26 06:02

だめ?

187 ：名無しさん＠Ｅｍａｃｓ ：01/08/26 09:17

test

188 ：名無しさん＠Ｅｍａｃｓ ：01/08/26 09:18

自治age

189 ：名無しさん＠お腹いっぱい。 ：01/08/26 11:59

27 名前：名無しさん（新規） 投稿日：2001/08/26(日) 11:56 ID:9kvbOGiQ
　　◎
　　┣−-┓
　　｜AGE｜
　　┣−-┛
　　｜
　　｜
　Λ｜Λ
（・∀・）ｲｲ!
（　　　　）
｜　 つ　｜
（＿＿）＿）

190 ：名無しさん＠Ｅｍａｃｓ ：01/08/26 13:17

perlのモジュール使ってhtmlからリンク先を抽出するのは
どうやればいいんですか？

191 ：名無しさん＠お腹いっぱい。 ：01/08/26 13:23

>>190
wgetでできるだろうがスカポンタン

192 ：名無しさん＠お腹いっぱい。 ：01/08/26 13:28

やり方はいろいろあると思うが HTML::Parser モジュールを使うと
XML でいう SAX のような感じの処理で <A HREF="XXXXX">...</A>
の XXXXX の部分を抜きだせるはず

193 ：名無しさん＠Ｅｍａｃｓ ：01/08/26 13:33

>>191
wgetで出来るとは知りませんでした。調べてみます。
再帰転送のことではないですよね？

194 ：名無しさん＠お腹いっぱい。 ：01/08/26 15:10

httpgetというスクリプトがあって、
それで再帰的にリンク先のファイルを取得できるみたいよ。
まあwgetでいいわけだけど。
参考にしてみれば?

195 ：名無しさん＠Ｅｍａｃｓ ：01/08/26 16:38

>>194
httpget取って来て見てみました。
確かにリンクを抜き出す関数がありました。感謝です。

196 ： ：01/09/05 22:02 ID:ssMW8tkM

197 ：名無しさん＠お腹いっぱい。 ：01/09/06 07:42 ID:t/5EHQk.

rtsp://hoge.hoge/stream.rm のストリーミングビデオを
ファイルに落とすのはどうすればいい?

198 ：名無しさん＠お腹いっぱい。 ：01/09/06 12:12 ID:RQop.hqE

>>197
http で落とせたような気がする

199 ：名無しさん＠お腹いっぱい。 ：01/09/16 11:54

age

200 ：名無しさん＠お腹いっぱい。 ：01/09/17 23:34

正直言って、zsh と wget で大抵の事は出来るような気がする。
今までそれ以上の手間が必要な連番ダウンロードには出会った事がない。

201 ：犬板 ：01/09/18 11:14

>>200

じゃぁここはどーやって落すの?
ｈｔｔｐだとどっかあさってに吹っ飛ばされるのだが…

http://japanese.asian-house.com/ura/1999-10/Mintshower.html

202 ：名無しさん＠お腹いっぱい。 ：01/09/18 12:10

>201
あきらめる。
んで、他のトコから落とす。

203 ：名無しさん＠お腹いっぱい。 ：01/09/18 18:19

>201 zsh -c 'wget --referer=http://japanese.asian-house.com/ura/1999-10/ japanese.asian-house.com/ura/1999-10/1030_m[01-52].jpg'

204 ：名無しさん＠お腹いっぱい。 ：01/09/18 18:20

間違えた。{01..52}ね。

205 ：名無しさん＠Ｅｍａｃｓ ：01/09/18 23:48

refferer

206 ：名無しさん＠お腹いっぱい。 ：01/09/27 05:19

for i in `jot -s ' ' 30 1`; do i=`printf %03d $i`; for j in 1 2 3 4 5; do wget -nd -nH http://210.155.134.217/phpdmm/m/mdc${i}/mdc${i}jp-${j}.jpg; done ; done
ハァハァ

207 ：名無しさん＠お腹いっぱい。 ：01/09/27 22:36

bash$ for n in `seq -f %02g 8 12`
bash$ do
bash$ echo ero$n.jpg
bash$ done

ero08.jpg
ero09.jpg
ero10.jpg
ero11.jpg
ero12.jpg

こんなんどう？

208 ：名無しさん＠Ｅｍａｃｓ ：01/10/04 01:10

>>207

140で既出

209 ：1 ：01/10/04 01:41

このところ忙しくて裏本リンクサイト見てなかったら数冊の新刊本がでてた。
一冊一冊取ってくるのは面倒なので、寝る前に一括して取ってくるスクリプトを
考えてます。とりあえずそれぞれの連番のリストファイルはlistとして作っておいて、各裏本用のフォルダーをxxx.dirにおいておくとして以下のようなスクリプ
トをつかってます。とりあえずうまくいってますが、サイトが変わるとrefererの
問題などが考えられると思います。皆様のお知恵を拝借したいと思います。

#!/bin/sh
for i in *.dir
do
cd /home/username/urabon/$i
cat list | xargs wget
done

210 ：名無しさん＠お腹いっぱい。 ：01/10/04 18:04

>>209
フォルダーと言ってしまったな...

211 ：1 ：01/10/05 00:59

>>210
ばればれ? by Kyon2

212 ：名無しさん＠お腹いっぱい。 ：01/10/05 01:21

$ lftp http://www.iy-n.org
lftp> get *.jpg

ってのがまだないな。

213 ：(ﾟoﾟ) ：01/10/05 01:59

このサイトはみなさんのインターネット環境の
スピードを計ってくれます。また、遅いと思う
人は設定を少し変えることによって無料で
スピードを早くすることができます。
お金を出す前に一度試してみては
いかがでしょうか。上がりの計測も可能です。

http://cym10262.omosiro.com/

214 ：名無しさん＠お腹いっぱい。 ：01/10/05 22:28

>>209
>サイトが変わるとrefererの問題などが考えられると思います。

1さんお帰りなさい。

referer等の情報を保持したリストを読み込めるwrapperを書くのがいいのでは。
reget, getright, iria 等のリストが読み込めると嬉しいっす。

215 ：名無しさん＠お腹いっぱい。 ：01/10/05 22:41

>>212
でlftpの威力をはじめて知った。

216 ：名無しさん＠お腹いっぱい。 ：01/10/13 09:46

定期age

217 ：名無しさん＠Ｅｍａｃｓ ：01/10/18 07:14

破損jpegの検索とかできない?

218 ：名無しさん＠お腹いっぱい。 ：01/10/18 07:59

>217
i) ImageMagick
$ identiry broken.jpg
identify: Corrupt JPEG data: premature end of data segment (broken.jpg) [No such file or directory].
broken.jpg JPEG 510x750 DirectClass 8-bit 5120b 0.1u 0:01

ii) libjpeg
$ djpeg broken.jpg >/dev/null
Premature end of JPEG file

nonzero statusで死ぬ分djpegの方が便利かも。

219 ：名無しさん＠Ｅｍａｃｓ ：01/10/19 02:22

>218 サンキュ

for I ;do
for J in `find "$I" -iname \*.jpg` ;do
djpeg "$J" >& /dev/null || wget -xc -T30 -t0 "$J"
done
done

220 ：名無しさん＠お腹いっぱい。 ：01/10/24 01:13

djpeg 使うのなら、jpegtran も便利。それなりに修復してくれる。

for i in *.jpg; do
jpegtran $i > h || mv -v h $i
done

read.cgi ver5.26+ (01/10/21-)