Не плохо бы еще добавить, чтобы грабер и swf фйлы с e621.net сохранял

няша. уже два часа пытаюсь вытянуть с девиантарта хоть какой-нибудь лист. Вроде и категория небольшая, но граббер уже за 2000 страниц перевалил. как? ведь уже больше 1000. И вообще несколько раз http 500 выскакивала. Вообще хочу возможность ограничения загружаемых картинок.

Кстати при нажатии на отмену список уже загруженных файло вне сохраняется. это неправильно. почини

у меня все

>>4305
Надо будет релизнуть. Скинь пару страниц с swf'ками.
>>4309
Ты бы ключслова оставил для тестов.
А при отмене списки да, не остаются. Вообще я начинал делать проверку на "догруженность", сохраняя в файле страницу, на какой закончилась загрузка, и сделать возможность догружать с недогруженной. Но функция не очень нужна была, т.к. обычно не составляло проблем получить полный список, и другие проблемы с прогой были, поэтому так и осталось не сделано. Надо будет доделать.

>>4305
лол, уже не надо, просто ключевого слова "swf" достаточно.

Стал загружать только первые 10 страниц на пиксиве. Что не так?

И еще нужна опция автоматической загрузки в нужную папку сразу после загрузки списка файлов. Очень удобно если на ночь запускать.

Сегодня проснулся - загрузка списка остановилась где-то на 7к+ файле. в логе Socket Error (номер не помню). Уже загруженный список не сохраняет, кнопка Grab! не активна. Пичаль.

>>4420
Ах да. PIXIV

>>4393
dono, все работает (pixiv, ключ qb). Может по ключу и нет больше 10 страниц?
>>4420
Закачка пикч или именно загрузка списка? Там же предложение продолжить должно было появиться. А вообще это обычное дело, т.к. пиксив тоже не резиновый и выдает ошибки время от времени.
Про то, что недогруженный список нельзя сохранить, тоже писал. Не предназначена прога для работы с неполными списками.

Извините, куны, но я еще долго не буду ничего доделывать. Как ни возьмусь за что-нибудь, что-то происходит, на что приходится переключать внимание. Так что на данный момент забросил я софтину. По крайней мере, скоро отпуск (должен быть), тогда поглядим.

>>4443
Это стандартный жизненный цикл подобных программ. Посмотри, сколько человек забросили до тебя.

>>4446
Ага, в этом я с тобой согласен. Эта программа у меня долго житель. Вообще начал я ее делать еще в начале 2009го, тогда она выглядела пикрелейтед. Лежала почти год, затем за месяц (во время безделья на сессии) я ее привел к текущему виду.
Она мне и такой нравится, и я получил довольно много опыта, ради которого я всем этим занимался. Если бы сейчас я все начал с нуля, я бы начал по другому.

Внезапный бамп. На пиксиве снова поменялась разметка, залил с фиксом.
http://files.mail.ru/TAX6O3

>>4585
Грабер охуенен! Пиздец, как я раньше мог жить без него!!?
P.S. WTF с девиантом?

>>4585
Простите, как работает переменная "Cnt. filter x"? Что делать после выбора, для применения фильтра?
Хотелось бы отделаться от обнаженки, но не получается. И вариант с логином в аккаунт с сэйф настройками гелбуры кажется невозможен.
Спасибо за граббер!

PS.
Кнопка Grab активна только после полного поиска по тегу?
Если да, то как сохранить первые Х пикчей?

ОН ЖЕ ИЗМЕНЯЕТ ХЭШ КАРТИНКИ!
Скачивалка imagegraber модифицирует картинки, которые скачивает с сайтов и добавляет к ним около 150 байт, после чего MD5 хэш картинки меняется. И вы не сможете теперь сопоставить имя и хэш, и не сможете удалить дубли файлов.
И вообще на кой черт лезть в картинку и что-то добавлять, когда от вас ждут, что вы скачаете ОРИГИНАЛЬНУЮ картинку без модификаций и с хэшем, соответствующим имени???

Нашел баг: некоторые картинки вроде как Not Found, но на самом деле они есть, только расширение у них другое.
graber пытается скачать пикчу с расширением .jpg, а на самом деле у нее расширение .jpeg
Например graber говорит что Error 404 для этой ссылки: http://danbooru.donmai.us/data/83ff3f8472906c722cb8e7ae3630c99c.jpg
Но на самом деле нужно просто другое расширение попробовать: http://danbooru.donmai.us/data/83ff3f8472906c722cb8e7ae3630c99c.jpeg
И такая картинка найдется.
Я думаю, что graber просто скачивает странички и в них ищет md5 картинок, а потом подставляет расширение .jpg и если у картинки другое раширение (нестадартное), то graber обламывается потому что сервер не может найти с расширением .jpg
Наверное надо или изменить алгоритм поиска имен картинок или больше расширений подставлять и проверять.
Кстати найти пропущенные картинки можно введя md5 этой картинки - для выше приведенного примера я нашел ее введя в поле Search:
md5:83ff3f8472906c722cb8e7ae3630c99c

ps. мне тоже не нравится что картинки изменяют свой md5 после скачивания. Автор, пожалуйста, сделай чтобы картиники не менялись. Не надо туда записывать адрес сервера и тэг по которому искали картинки. Все это есть в пути, а картинка пусть остается нетронутой!

>>4712
В этом треде еще сотня реализаций качалок, среди которых есть те, которые делают это правильно, а не через зад. Можешь использовать их.

http://dlg.ruanime.org/

>>4720
Шах и мат.

>>4721
Будто приделать вебморду к любой из качалок в этом треде - большая проблема. Хотя, для качалок на шарпе - наверное да. Причем эта вебморда всего-то парсит результат, полученный через апи и приписывает к нему хостнейм, его все равно нужно вставлять в вгет. >>811, например, делает абсолютно то же самое, но ничего копировать и вставлять не нужно. Ну и главное:
>Danbooru link grabber November 21, 2010
>Первая работоспособная качалка в треде 30.08.2009

>>4724
Я человек, которому просто нужно скачать картинки с буры.
Открываю я твою ссылку: Что это такое? Куда тут чего вводить? Где кнопочка "СКОЧАТЬ БЕСПЛАТНО БЕЗ СМС"?
Открываю веб качалку: 2 листбокса, текстбокс для тегов и заветная кнопочка. А список легко кушается давнлоад-менеджером.

>>4713
Большинство линков умерло. Насчет не через зад - посмотри интерфейсы некоторых качалок.

>>4734
>интерфейсы
>работа с апи
Я не знаю, где ты видишь связь.

>>4735
Если интерфейс сделан очень неудобно или так, что разобраться в нем невозможно, то можно говорить что качалка сделана через зад.

>>4746
Если пользователь не может осилить хелп, в котором 3 параметра, то можно говорить, что пользователь - идиот.

>>4693
Подтверждаю ошибку. Посмотрю сегодня, в чем косяк.

>>4703
Для гелбуры не работает логин, ога, до сих пор не было реквестов на фильтр обнаженки. Завтра тогда залью билд с возможностью логина, только не уверен, что он поможет, т.к. чаще всего фильтрованные пикчи отображаются в блоке с параметром hided, а прога и такие вытаскивает. Придумаю что-нибудь на этот счет.
Cnt. filter должен срабатывать сразу (прямо после изменения значения). Он фильтрует тэги по количеству картинок с этим тегом.

>>4704
Только после полного поиска.

>>4708
До сих пор не было ни одного человека, который таким занимался. Завтра залью билд с галочкой "сохранять тэги в jpg") чтобы можно было оставлять исходный хеш.

Изначально graber был задуман как качалка для пиксива и т.п. нестандартных имейжборд (сейчас это еще деварт и е-хентай), т.к. на то время не существовало нормальных качалок для них. Все стандартнобуры были просто как приятное дополнение по реквестам.

>>4751
>Если да, то как сохранить первые Х пикчей?
uncheck->all.
Выделяешь 10 первых элементво списка.
check->selected.

>>4703
Не совсем понял, но может нужно вписать в тегах (-rating:explicit). Без скобок.

Поcоны, так я не понял, чем лучше всего с Пиксива качать? Вы мне прямо скажите.

>>4756
На пиксиве арта побольше, и не только отборный SUPERYOBA, асло все равно почти весь арт тащат оттуда, так что есть возможность получить арт раньше остальных (или схоронить тот, который удолят авторы через пару дней от жадности). А еще там додзbки выкладывают ^_^. У каждого своя фагготрия.

>>4757
Блджад, да я спрашивал, какой программой лучше всего с него тянуть.

>>4760
В этом треде альтернатив graber`у не выкладывалось.
Есть еще нипонская консольная поделка поделка на нипонском же языке, и надо отдельно еще 3 софтины поставить чтобы запустить эту:
http://nandaka.wordpress.com/2010/01/13/pixiv-batch-downloader/
Еще есть плагин для фурифокса, но как оно работает я не проверял:
https://addons.mozilla.org/ru/firefox/addon/ank-pixiv-tool/

Перезалил грабер:
http://files.mail.ru/UQ25PT

>>4585
>P.S. WTF с девиантом?
fixed. Рекомендую сначала проверять количество результатов по запросу (из-за ограничения 10к результатов сервером) и качать по категориям.

>>4703
>Хотелось бы отделаться от обнаженки, но не получается.
Лучший вариант:
>-rating:explicit
Можешь записать в saved tags чтобы постоянно заново не прописывать.

>>4708
Добавил отключаемый чекбокс "save meta to JPEG".

>>4712
>graber пытается скачать пикчу с расширением .jpg, а на самом деле у нее расширение .jpeg
fixed.

>>4762
>софтины ставить
>BeautifulSoup
Да а где ты увидел 3? Уж не питон, который есть везде, ты имел в виду.

>>4764
Буры грабят только красноглазики, да.

>4763

А почему такая скорость маленькая? Через шлюз где-то что-то?

У меня 100Mbit/s, скачивает со скоростью 50Kb/s.

>>4747
А если боардюзер пишет про хелп которого в программе нету, то он кретин с рождения

>>4763
Кодер-кун, запили, пожалуйста, поддержку http://ponibooru.413chan.net/

>>4770
Ограничение скачки только сервером и твоим каналом. Попробуй прибавить потоков.
>>4773
OMG, оно существует...

>501 сообщений и 134 изображений пропущено. Для просмотра нажмите «Ответ».
Новый тред >>4777

>>4770
>У меня 100Mbit/s,
Я так понимаю, когда у тебя появится гигабитная сетевуха, ты будешь говорить, что у тебя скорость 1000Мбит/с?

нипроебем

op

Вот задался вопросом как легче парсить с e621
Есть тупая закономерность, страницы с id картинокой. Я к примеру хочу качать не по тегам, а по нескольким страницам, к примеру последние 4-5 страниц.
http://e621.net/post/show/
это id поста с картинкой.
Открывая эту ссылку, в коде есть ссылка на скачивание (Download) картинки вида:
/data///###.&&&
** - директории всегда разные
## - название всегда разное у картинки
&&& - ну и формат картинки/файла
К примеру (если отобразится:
<a href="/data/4a/6a/4a6ab4ea6c90fca67447f588bdd6c9cb.jpg">Download</a>

Помню смотрел как задавать параметры грабберу для DLE9 движка, так надо было вставить начало и конец кода, между которыми надо парсить контент. Может так же сделать?
Я к примеру ввожу диапазон Id'ов для ссылкок на посты с картинками, а программа сама находит нужный код и подставив домен сайта, качает картинку/файл.
Помоему простая схема для написания, но увы я не програмист и не понимаю как это реализовывать.
Кто возмется за эту простую прогу? Если уж такой парсер собрали, думаю эту будет легче собрать.
В идеале хотелось бы видеть там несколько строчек для ввода:
от Id и до Id
куда сохранять эти файлы.
Большего и не надо =)

Почему то не все звездочки отобразились,
http://e621.net/post/show/172881
вместо последних цифр были звездочки.

Скачивалка pixiv устарела вроде, а есть более новая версия?

http://410chan.ru/dev/res/4777.html
здесь новые версии и продолжение треда

>>1186
>Fatal error: Call to undefined function curl_init() in localhost\booru\booru.php on line 13
Ок?