>>6110
А кто лиги читает?


Опишу ка я свою проблему.
Мне надоело запускать множество копий одной и той же программы для выкачивания по одному тегу с кучи бурр. Мало того, что программа не позволяет удобно выбрать нужныю борру прямо в окне (Хочется выделять их галками), так ещё и не поддерживается спецефичный синтаксис бурр.
Princess_Mononoke
Хочется скачать всё, что есть по ней. В запросе я явно хочу указывать какое слово основное и побочное. А программа может сама ещё добавлять специфичные теги. К примеру: Искать только по слову Mononoke или по такому "Princess Mononoke" (без пробела). Можно добавить автоматическое исключение результатов с ненужным тегом.


И конечно же заебало открывать много окон, хочется одно окно на одну задачу.

Жду 2.0

Залил Graber 1.1.0.11:

- выключил возможность не включать интервал запросов (query interval) для е/эксхентай;

- выключил возможность не включать интервал запросов между страницами (before getting url) для е/эксхентай;

- поставил минимальный интервал = 1;

- теперь интервал можно указывать в долях секунд (дробным числом);

- добавил обработку предупреждения о слишком быстром листании страниц для е/эксхентай;

- добавил обработку "Ваш IP временно заблокирован" для е/эксхентай;

- добавил обработку закончившихся GP для е/эксхентай;

- добавил обработку пикчки ошибки 509 (наверное, для сравнения использовал размер и MD5 файла). Если все-таки кто-то скажет URL на эту пикчку - буду благодарен.

/ казалось бы какие еще могут быть косяки со скачкой с е/эксхентай, но есть человек, который умудрился получить кучу одинаковых пикч с фоткой неизвестной тян азиатской внешности. Если кто-то еще столкнется с подобным - хотелось бы узнать, что он для этого сделал.

- "переехал" rule34.booru.org на rule34.xxx;

- после ввода логина и пароля через "кнопку с ключиком" старые куки борды будут стерты.


Прямо не знаю, что и сказать.
Разве что - борись с неправильно закачанными пикчами через проверку полученного MD5 файла с сайта. Чекбокс обязателен

>>6118
just like pic related
>так ещё и не поддерживается спецефичный синтаксис бурр
what? что пишешь на буре, то точнехонько подходит и в программе
>А программа может сама ещё добавлять специфичные теги
и музон по настроению включать =_=

>>6119
>Разве что - борись с неправильно закачанными пикчами
too slow
>новый (0.7) новогодний релиз первой версии грабера
>- попытался решить проблему с недокачивающимися файлами, сделав проверку на размер файла после скачки пикчи. Тех, кто сталкивался с проблемой, прошу отписаться после тестирования, т.к. сам я эту проблему никак не смог воспроизвести ( issue #20 , issue #21 ).

>>6120
>what? что пишешь на буре, то точнехонько подходит и в программе
Когда начинаешь качать с нескольких бурр, тогда начинаются проблемы. Неужели так трудно придумать синтаксис запроса с нескольких бурр одновременно? И фильтровать найденное?

>>6120
А можно 2.0a в тред :3 ?

>>6121
но ведь грабер 1.0 не поддерживает мультизагрузку, так что никаких проблем.

>>6122
Он только списки пока и умеет получать.

Братюни, Минитокио далеко не всё качает.

Чобиты - 252 обоины, он нашёл только 131.

Он хапает первую половину каждой страницы (6 строчек по две картинки), а вторую половину пропускает.

>>6126
это потому, что ты заходишь как анон. Все пикчи открываются тем, кто логинится.

>добавил обработку закончившихся GP для е/эксхентай;
Как связаны GP и граббер?

Алсо не делай мультизагрузку. Одна борда - один тег, все. Сам же говорил, что жадность не нужна.

>>6128
Это не GP и граббер связаны друг с другом, это граббер связан с е/эксхентай. Есть возможность качать плономасштабки - есть ошибка не хватающих GP.

Ты не верно мыслишь. По одному тэгу с разных борд тоже есть смысл качать тупо потому, что на разных бордах может не оказаться одних и тех же пикч, тем самым мультизагрузка немного "расширяет рамки". Дубли, по возможности, прога будет стараться убирать (правила будут настраиваться пользователем), ну или в конечном итоге оставит это на пользователя. Другое дело - разрешение качать по "tag = ''". По дефолту я выключу такую возможность, но в новой версии это все равно будет легко обойти в силу универсальности скриптов.

Забей в gelbooru любой тег. Похоже там что-то сломалось.

>>6130
На 2й странице останавливается?

>>6131
Да.

>>6133
>>6085

>>6136
Спасибо.

Как устранить ошибку "query limit exceeded" при скачивании больших галерей с девиантарта? C гелбуры, кстати, скачивает далеко не всё. К примеру, по Слеерам там значится более 900 картинок, а список ссылок около 600. Так по многим тегам.

>>6180
Можно разбить запрос на категории, копируешь ссылку на категорию (пример browse.deviantart.com/digitalart/), вставляешь в редактор категорий, набиваешь так несколько строчек (сам посмотри, если в категории больше 5к пикч, то возьми более глубокий уровень), и врубаешь получение списка. Других способов обойти лимит нет.
Грабер берет строго все, что выдает gui, если в gui этого нет, значит и в грабере нет. Можешь лично посчитать все картинки, если не веришь.
Асло даже API выдает 603
gelbooru.com/index.php?page=dapi&s=post&q=index&tags=slayers

>>6180
на гелбуре засчитываются все удалённые (низкое качество/повторение) картинки. в результате из-за прерываний баннера >>6085 совершенно невозможно узнать, все ли картинки подгрузились в список

>>6186
Кстати, уже хренову тучу времени забываю сделать "тормозилку" с продолжением на этом банере.

Попробовал скинуть весь список тегов с одной бору, выглядящий как облако тегов(пример - http://rule63.paheal.net/tags), и столкнулся со следующей траблой - теги из нескольких слов делятся на слова, а так как таких тегов довольно много, то быстро это исправить вручную нельзя.

Возможно ли добавить в программу или отдельно учет тегов, состоящих из нескольких слов?

>>6220
Я не понел зачем. При поиске все равно все пробелы заменяются на подчеркивания.

Разработчик-кун, с загрузкой с Deviant'a непонятно:
Грабер загружает только версию картинки, которая отображается непосредственно на странице, уменьшеную, а по линку "Download Image" (полноразмерная картинка) не идёт.
Или для этого нужно в грабер ввести логин и пароль для аккаунта на Девианте?

И да - спасибище за столь чудесную разработку!

>>6225
Разлогинился на Девианте, но линк на загрузку полноразмерной пикчи присутствует всё равно. Значит дело не в авторизации, видимо.

Доставьте сслыку на последнюю версию lolibaka parser. Гугл находит только старые версии. Заранее благодарен.

>>6225>>6226
Уже не помню, как там обстоят дела, но вполне возможно. Вообще на этих выходных выпал из реальности и так нифига не сделал, постараюсь сегодня последние фиксы сделать.
>>6231
А он еще обновляется? Здесь в /dev/е инфы что-то не проскакивало.

>>6225
Между прочим говоря, все-таки когда говоришь о проблеме, надо хотя бы 2 вещи указать: ключевые слова для поиска, и ссылка на пикчу, чтобы можно было с ходу посмотреть на проблему =_=

Постоянно высвечивается Read time out. При загрузке ссылок редко, при загрузке картинок 2/3 с такой ошибкой не загружаются, с чем может быть связано?

>>6236
На ore.imouta так. Остальные вроде нормально.

>>6237
Либо у тебя интернеты медленные, либо от имоуты до тебя ответ долгий. Если много потоков стоит - попробуй уменьшить, возможно стоит ограничение канала на один IP, и поэтому скачки по слишком долго "висят".

Наверное, стоит сделать возможность регулировать таймауты.

>>6237
Ах да, и торренты тоже влиять могут :3

>>6238
>>6239
Спасибо, с проблемой разобрался. Виноват был антивирус, сейчас буду крутить настройки.

А можно как-нибудь убрать ограничение длины имени файла? Теги не все влезают даже если качать в корень диска. А еще лучше было бы прикрутить кастомную маску по которой будет составляться имя файла.

>>6233
Извини, протупил.
Пробовал загружать по тегу 343guiltyspark (это автор).
Вот ссылка на всю галерею: http://343guiltyspark.deviantart.com/gallery/?catpath=/
А вот ссылка на конкретную картинку: http://343guiltyspark.deviantart.com/art/Bhagavad-Gita-Visvarupa-Darsana-Pt2-273385811
Собсна, так было со всеми картинками, которые имели ссылку "download image", а на странице отображался уменьшеный вариант.

>>6240
Попробуй сделать название файла длиннее 255 символов. Венда темя мягко пошлет.

>>6244
Я вспомнил, что там не так. Превью по тамбу можно узнать, а вот фуллсайз уже имеет другую ссылку
th03.deviantart.net/fs70/150/i/2011/344 /d/7/ bhagavad_gita__visvarupa_darsana_pt2_by_343guiltyspark-d4irlub.jpg
fc00.deviantart.net/fs70/i/2011/344 /d/7/ bhagavad_gita__visvarupa_darsana_pt2_by_343guiltyspark-d4irlub.jpg
fc04.deviantart.net/fs70/f/2011/344 /2/d/ bhagavad_gita__visvarupa_darsana_pt2_by_343guiltyspark-d4irlub.jpg

В общем, тогда прикручу галочку, с которой скачка станет чуть медленней, но зато с фуллсайзами.

>>6245
Было бы отлично. Спасибо :3

Graber 1.1.0.13 http://goo.gl/Im19g :
- баннер в GUI gelbooru.org теперь благополучно пропускается (не прошло и года же);
- с deviantart.com теперь в первую очередь качаются фуллсайзовые картинки ;
- таймауты теперь можно настроить. 0 = без таймаута.

>>6248
Спасибо, няша!

Докладываю о результатах сохранения с девианта.
Сохранял по тегу redjuice999 (автор) ( http://redjuice999.deviantart.com/ ). Фулсайзы сохраняет ок.
Но не обошлось без нюансов, но уже по другому поводу:

Ввёл в прогу логин и пароль, запустил поиск. Нашлось и в последствии сохранилось 204 картинки.
Однако на девианте поиск выдаёт: "232 most popular deviations of all time for redjuice999". Такое девиант пишет, когда юзер и залогинен и когда разлогинен, но в последнем случае, не смотря на тот же текст о 232-х картинках, в списке невзначай отсутствуют картинки, помеченные как "mature content".
Просмотрев загруженные картинки, действительно не обнаружил тех, которые были mature. Например этих:
http://redjuice999.deviantart.com/art/WATERFRONT-238930334
http://redjuice999.deviantart.com/art/Summer-239015191
Всего у него в галерее 11 mature картинок.
Тоесть, выходит, что нэко-лапа не может залогиниться?

Ну и сразу второй вопрос: можно ли как-то сохранить галерею одного конкретного автора, а не все результаты из поиска? Так, например, в вышеописанном примере в галерее у redjuice999 всего 77 картинок. Тоесть пришлось просмотреть папку с загруженными пикчами и вручную удалить 138 левых, а потом вручную досохранить 11 помеченных как mature.
Но это, наверное, уже вопрос о том, что парсить: либо результаты поиска, либо непосредственно галерею автора.

Так точно, логиниться на деваче он не может, хотя прикрутить не сложно, прикручу тогда в след. версии. Но не факт, что что-то изменится, т.к. грабер выбирает те пикчи, у которых есть параметры оригинальной картинки (superimg_*), чтобы отфильтровывать флешки, тексты и т.п. непонятного содержимого контент, который никак не помечается среди тэгов. Вообще это отдельная тема для медитации.
Качать по автору можно прикрутить, но когда - хз.

>>6129
>Это не GP и граббер связаны друг с другом, это граббер связан с е/эксхентай. Есть возможность качать плономасштабки - есть ошибка не хватающих GP.
Я ничего не понял, зачем ты что-то делаешь с GP, если они не нужны для закачки оригиналов?

>6268
А вот и не угадал, где-то через 10 пикч начинает трясти GP.

>>6277
О как, не знал.

Gtaber 1.1.0.14:

- прикрутил авторизацию на devianart'е. Тем не менее особенной разницы, что и без авторизации, нет. Для входа надо указать хотя бы логин, иначе загрузка начнется анонимно. Воход происходит по HTTPS, поэтому придется скачать и скинуть в папку с программой библиотеки OpenSSL (см. раздел загрузок);



ПО поводу скачивания дополнительного софта - неужели было так трудно СРАЗУ скинуть эту либу в архив с программой?

>>6306
Пишу здесь идеи:

Итак - можно сделать галку для удаления тега, по которому искали из списка тегов добавляемого к имени? (Про более подробное переименование файлов молчу)

Сделаешь возможность добавлять дополнительные параметры в строку поиска? (Пример - сканируем выбранные бору по тегу и ищем с размерами ровно 1920*1200. Или ишем по тегу и скачиваем то, что не содержит другой тег). Эти параметры реализует сама программа.

Кажется гелбору успешно защищается от даунлодеров. Теперь вместо картинок скачиваются ошибки

>>6415
>http://gelbooru.com/[b]thumbnails[/b]/blablabla
Такие дела.

Два вопроса, где кнопка Clear, и может ли граббер искать на эххентае именно по тегу, а не в поиске, т.к. в случае с коротким тегом выдаёт тысячи попаданий.

можно ли исключить из граббинга е621, к примеру, тег gay или female? -female не работает

бамплимит?

http://rule34.paheal.net
НЕ РАБОТАЕТ

>>4777

У меня есть идея. Давайте мы будет выкладывать свои ТОННЫ картинок на хостингах и наши соседи будут их сохранять. А что? Счёт объёма жёстких дисков сейчас идёт на терабайты!

Доставьте исходники, плиз.