Ычан: [d | b / bro / hr / l / m / mi / mu / o / ph / r / s / sci / tran / tu / tv / x | es / vg | au / tr | a / aa / c / fi / jp / rm / tan / to / vn / vo]
[Назад]
Ответ в нить
Имя
Animapcha image [@] [?]
Тема   ( ответ в 13127)
Сообщение flower
Файл 
Пароль  (для удаления файлов и сообщений)
Параметры   
  • Прежде чем постить, ознакомьтесь с правилами.
  • Поддерживаются файлы типов 7Z, BZ, BZ2, GIF, GZ, JPG, MO, MP3, MP4, OGG, OGV, PDF, PNG, PSD, RAR, SVG, SWF, TXT, WEBM, WEBP, XCF, ZIP размером до 5000 кБ.
  • Ныне 3488 unique user posts. Посмотреть каталог
  • Максимальное количество бампов нити: 500
1232196524841.png - (135.84KB, 415×335)
13127
No. 13127    
Предлагаю написать граббер, который будет искать все треды на досках ычана/доброчана и скачивать из них пикчи, гифки, вебмки в одну папку. Сколько годного арта и прочих интересностей по чем зря пропадает.
Развернуть все изображения
No. 13129    
Ну, это не так уж и сложно сделать.
No. 13134    
>>13129
Кот бы взялся только.
No. 13135    
>>13134
Я тут нашел для форчана, вот такую бы сделать под наши борды. А то на форче один мусор, а не пикчи.
http://sourceforge.net/projects/ychan/
No. 13136    
gov-nyashek.jpg - (103.57KB, 838×1024)
13136
а как ты будешь няшек от говняшек отличать?
No. 13138    
>>13136
Никак, просто соберу всё в один большой черный мешок, а потом буду вылавливать алмазы из говна.
No. 13141    
>Сколько годного арта и прочих интересностей по чем зря пропадает
~0
No. 13144    
Место быстро забивается, я гарантирую это.
No. 13156    
Ну что, кто-нибудь пишет?
No. 13158    
>>13156

choose your destiny:

а) да
б) нет
в) наверное
г) ни в коем случае
No. 13159    
>>13156
wget -mk -w 20 http://site.name.here/
No. 13163    
Tetris-VeryFirstVersion.png - (3.81KB, 638×385)
13163
>>13156 да, я пишет.
No. 13167    
>>13163
Ну и что же ты пишет?
No. 13175    
>>13167 штуку, которая как в ОП-посте. Заодно потыкиваю Electron (в девичестве atom-shell), давно собирался его потыкать, да все незачем было.

Как только это можно станет запустить и не умереть тотчас же от крови из глаз — покажу.
No. 13183    
download.jpg - (118.08KB, 1280×720)
13183
>>13175
へえー. Посмотрел, что такое этот atom-shell, так значит ты на node.js делаешь? Ну, в принципе, ничего, там и парсер легко подключить. С гуем будет шоль?
Но всем этим atom-shell и nw.js ОЧЕНЬ не хватает режима, как в py2exe — чтобы собирался только консольный exe-шник.
No. 13191    
>>13183 с гуем, да. wget без гуя уже написали ведь.

Консольный экзешник в Электроне можно собрать, кстати. Т.е. он не будет инхерентно консольный, просто собирай экзешник и не открывай никаких окон. console.log пишет в stdout.


Also, prorgress updaet: у меня приключилась жизнь, поэтому ничего не делал, поделаю сегодня. Файлы скачивает, в дедупликацию пока не может, ссылки искать может (но не ищет).
No. 13219    
>>13191
Как успехи?
No. 13224    
Файл
удалён
>>13191
Пинг.
No. 13255    
Нафиг так жить.
No. 13295    
Ну я то сделал.

теперь сижу думаю зачем? стендалон решение никому не нужно.
No. 13297    
>>13295
Слыышь! Давай выкладывай.
Не нужно никому как раз лишняя Облачность и чужие сервера.
No. 13300    
>>13297
скоро выложу. Отладку на Б делаю, а там 18к картинок. так что у меня это занимает некоторое время.

надеюсь установку модулей из CPAN ты осилишь
No. 13301    
1445287650997.jpg - (163.13KB, 650×531)
13301
>>13300
Осилю, если какие-ниюудь особые версии не надо ставить, а всё по-дефолту.
Так ты другой человек, что ли, не >>13191?
Фуму.
No. 13302    
>>13301
Нет, я другой человек.

готово можно тестировать\использовать:
http://pastebin.com/aJbTK8ph

модули которые нужно ставить: LWP, Getopt

К счастью, большая часть логики лежит на самой вакабе, поэтому на проверку дуплей можно забить, просто проверяя имя сохраненного файла.

Как оказалась это архитектурное решение лучше всего подходит.

Должно работать на других досках ичана.

есть Еррор-лог(который на самом деле просто лог-файл) Там можно проверить чо он не осилил открыть, и сколько он итого скачал файликов.

Рекомендую не менять время между запросами, чтобы не словить бан, так как лишняя нагрузка.

на Б будет отрабатывать в перый раз более 5 часов, так как 18к файлов, и около 4 гигов. в следующие разы быстрее, так как он не будет скачивать то что он уже скачал. Но так как там 60 тредов, то это как минимум 20 минут.

Можно запускать по крону, говоря ему имя доски.

Должно работать на других досках кроме б, но я не проверял.

каждую доску он складывает в свою папку, которую создает.

Пожелалки можно писать в тред.
No. 13303    
>>13302
Поправь описание, куча ошибок.
No. 13304    
>>13303

Ну я плохо пишу на Ангельском. Т_Т
No. 13376    
анон, ну как результаты? норм все, ченить еще пилить надо?
No. 13377    
анон, ну как результаты? норм все, ченить еще пилить надо?
No. 13385    
>>13377
А я ещё не запускал, лол.
Удалить сообщение []
Пароль  
[Mod]