２ちゃん画像落としまくりスクリプト

1 ：1 ：01/10/23 19:39

２ちゃんねるに貼ってある画像リンクを追い、
jpgをかき集めるスクリプトを作ってみました。

http://www.ninnin.net/

※perlとwgetが必要です。
※Windows,Macでは動きません。

2 ：名無しさん＠お腹いっぱい。 ：01/10/23 19:49

windows で perl も wget も動くはずだが。

3 ：1 ：01/10/23 19:50

fork 使ってるからActive perlでは動かないのですよ。
cygwin上なら動くかも（ためしてないけど）

4 ：1 ：01/10/23 19:53

追記：
MacOS Xなら動きますよ
（10.1ならwgetを入れなきゃだめだけど）

5 ：名無しさん＠お腹いっぱい。 ：01/10/23 19:56

ｸﾞﾛ画像ｺﾜｲﾖ(；´д｀)

6 ：1 ：01/10/23 20:03

例えばモー娘板で
一回スクリプトを実行すると
約８００枚の画像が収集できます。

7 ：名無しさん＠お腹いっぱい。 ：01/10/23 21:11

UNIX板的にはどうかと思うがサンクス１

8 ：ソースコード読まずにカキコ ：01/10/23 21:15

Σ（ﾟдﾟｌｌｌ）ｶﾞｰﾝ
アイドル画像板でやったら最初の画像が葉っぱ隊だった
しかも何かループしてて同じ画像だけ取ってるっぽい。
42枚しか収集できなかった。

9 ：UNIX すごい。 ：01/10/23 21:21

MacOS X ですがやってみました。
こんなこともできるんですね。目からウロコです。
中にはとても重たいサーバーがあるので、可能であれば
タイムアウトのパラメータも追加されるとうれしいです。
（３０秒以上反応が無かったらスキップして次、など）
perl スクリプトとか詳しくないのに勝手言っちゃってすいません。

10 ：名無しさん＠お腹いっぱい。 ：01/10/23 21:27

cygwinのperlでも動いた。

ただ $down デフォルトは、せめて2くらいに
しておいた方が良くないかい? もしくは固定とか。
サーバに申し訳なくて5は指定出来ん。

11 ：名無しさん＠お腹いっぱい。 ：01/10/23 21:34

mpegも落としたいが....
醤油みたけど直すのメンドイな

12 ：名無しさん＠お腹いっぱい。 ：01/10/23 22:19

こういうのは自分で書いた方が良さげ。

13 ：1 ：01/10/23 23:39

1です。

>>8
アイドル版ならもっと集まるはず。取得スレ数リミットをもっとあげてみよう。

>>9
wgetのパラメータをいじればできます。現在の設定は２分です。
今後調整します。スクリプトの１５３行目をいじれば変更もできますよ。

>>10
その通りですね。次回のバージョンから少し下げます。

>>11
73,74,84行目の.jpgを.mpgに変更すればＯＫなはずです。

14 ：名無しさん＠お腹いっぱい。 ：01/10/23 23:44

ｶﾞ━━(ﾟДﾟ;)━━ｿ!
よろこびいさんで半角板いったらなんもなかった

15 ：名無しさん＠お腹いっぱい。 ：01/10/23 23:47

おおお、すごいね。ガンガン落とせるよ。でも鯖の負荷がすごそう
なのでsage進行の方が良いかな…。

ところで、これで落とした画像を閲覧するスクリプトとか、
どうやって作るんだろう？　手動でeeで見てるんだけど、再帰的に
.jpgファイルを見るスプリプト？とかありそうなんですが。

16 ：名無しさん＠ＸＥｍａｃｓ ：01/10/24 01:00

やっぱ wget を fork して…ってのはみんな書くのね(笑)
ウチの環境だと wget は 2 個くらい fork するのが一番
効率が良かったかなぁ。
# fork しすぎると timeout して、
# まともに取れなかったりして…


>15
find ./ -name '*.jpg' -exec display \{\} \;
とか?
XEmacs の dired も、よく使いますけど。。。

17 ：名無しさん＠お腹いっぱい。 ：01/10/24 01:08

迷惑画像URLリストとか、どこかにないでしょうか。
フィルタリングしたいですよね。

18 ：名無しさん＠お腹いっぱい。 ：01/10/24 01:26

find ./ -name '*.jpg' |xargs ElectoricEyes

19 ：名無しさん＠お腹いっぱい。 ：01/10/24 01:36

半角板のDATってどこにあるす？ つーか何もないのはおかしいよね。

20 ：名無しさん＠お腹いっぱい。 ：01/10/24 01:41

>>15
スクリプトじゃないけどgqviewとかpicviewとかじゃだめなん？

21 ：124 ：01/10/24 03:03

こんなことができるのは常時接続の人たちですか?

22 ：うひひ ：01/10/24 09:28

>>21
情事切実な人だな。

23 ：名無しさん＠お腹いっぱい。 ：01/10/24 10:38

>>19
半角板だと
$ita = http://okazu.bbspink.com/ascii/
の設定でＯＫなはず

24 ：名無しさん＠お腹いっぱい。 ：01/10/24 13:07

ｈｔｔｐ://とか
ttp://
みたいにあえてコピペ用になってる物も
落とせる？

25 ：名無しさん＠お腹いっぱい。 ：01/10/24 13:28

>>17
同意．

でも，迷惑画像っつーのは人によって異なるからね，一概には．．．
画像分析して妙に赤が多いのはハネるとかは欲しいかも．

26 ：1 ：01/10/24 13:59

>>24
むろんＯＫです。
"ttp://"でひっかけてます。

27 ：1 ：01/10/24 14:01

>>25
その機能はつけたいんですけどね・・・
でも赤くない死体画像もあるし・・・

こういう時に１ｃｈのレス評価システムは
使い勝手があるんだな、と感じます

28 ：名無しさん＠ＸＥｍａｃｓ ：01/10/24 14:16

半角っていえば、天使とか鳥とかの半角用語？を含むURLをサポートしたスクリ
プト書いた人居る？漏れは諦めた(w
これ、できたら結構凄いよな…

29 ：名無しさん＠お腹いっぱい。 ：01/10/24 23:33

>>28
同意。ぜひ1にはがんばってもらいたい。

30 ：名無しさん@Ｖｉ ：01/10/25 01:42

たしかに画像フィルタは便利かもしれませんが、
個人的にはこのスクリプトは画像をダイジェストできることに
特化して欲しいです。

できれば追加して欲しい機能
1.URL は違うけどファイル名が同じ場合のファイル処理
2. キーワードを追加( tp:// とか ｈｔｔｐ:// など)
3.スレッドのスキップ（先頭から５０個目のスレッドから開始など）
4. いっそのこと MPEG ファイルも対象に。

スレッドのスキップはスクリプトに追加して作ってみました。
もし希望があれば送ります。>1

31 ：名無しさん＠お腹いっぱい。 ：01/10/25 01:59

スレをどこまで読んだか記憶して、次回はそれ以降だけを読むとか、
落としたファイルのアドレスを記録しておいてそのファイルは二度と落とさないとか
そういう機能がないと、毎日同じファイルをダウンしてきてしまうと思うのですが
どうよ？

32 ：1 ：01/10/25 11:38

>>30
ご意見ありがとうございます。
検討して次期バージョンに反映します。

>>31
んーと現在の仕様では、同じファイルの画像が
ローカルにあればダウンしないようになっていますので、
毎日同じファイルをダウンしてしまうというのはないです。
ただ落としたファイルのアドレスを記憶とかしてたほうが、
２回目以降の効率は良いですね。

33 ：名無しさん＠お腹いっぱい。 ：01/10/26 00:26

コレ使うとスレの荒れ度がわかるね
荒れてるスレは死体画像多い。
あとなぜかペットの画像も多いＮＥ！

34 ：名無しさん＠お腹いっぱい。 ：01/10/26 05:38

wgetでいいじゃん。

35 ：名無しさん＠お腹いっぱい。 ：01/10/26 11:16

>>34
そういう説もある。
ttp://追えないけどね

36 ：名無しさん＠お腹いっぱい。 ：01/10/26 16:55

OSXにwget入れるのに小1時間かかりました。
でも成功、すごいぞUNIX、ありがとう＞1

read.cgi ver5.26+ (01/10/21-)