>>6278
Будет ли многопоточность? У меня есть куча закладок с авторами с Pixiv`а. И я хотел бы скачать сразу все пикчи, разбрасывая их по папков с именами авторов, конечно.
Что-то подобное в версии 2 планируется? Ах да, если можно, то сделать подключение всех авторов из текстового файла какой-нибудь незаметной кнопочкой или комбинацией клавиш.
Спасибо.

>>6303
Я думал над возможностью в один список закидывать один и тот же ресурс, но с разными параметрами. Но в первой альфе этого не будет, равно как и пиксива, к сожалению. Сделать более менее полный список наиболее важных борд планировал во 2м билде.

На счет выгрузки из списка - возьму на заметку. Что-нибудь вроде скриптового заполнения полей or somthing.

>>6304
Спасибо за ответ.
>Но в первой альфе этого не будет, равно как и пиксива, к сожалению.
Надеюсь, во второй версии это будет. Почитал у вас на гуглкоде, что до выхода второй версии еще чуть-чуть. Будем ждать.

Кажется гелбору успешно защищается от даунлодеров. Теперь вместо картинок скачиваются ошибки

>>6416
Да нет, они просто на какой-то хрен переименовали каталог thumbs на thumbnails.

Два вопроса, где кнопка Clear, и может ли граббер искать на эххентае именно по тегу, а не в поиске, т.к. в случае с коротким тегом выдаёт тысячи попаданий.

>>6478
Крестик с боку рядом с autoscroll (да, надо бы уже подсказку поменять, ото уже куча времени прошла, как кнопки больше нет).
Нет, не может. Надо бы прикрутить.

>>6478
Теперь умеет :3

>>6490
Я тебя люблю. Только всё равно не помогло.
Тэг naz для примера:
http://exhentai.org/tag/naz
Даже в поиске по тэгу попаданий по слову naz много. Грабер можно заставить смотреть галереи именно по тэгу "naz", например брать галереи только с вышеприведенной ссылки?

>>6492
Просто надо быть хитрее. Убираешь поиск по тегу, ставишь поиск по названию, пишешь [NAZ] - все те же галереи.

Просто по одному тегу поиск не предусмотрен, джа. И поисковая система хреново сделана, тупо, изоляция ключевых слов хоть и описана в вики, но не работает.

>>6493
>И поисковая система хреново сделана, тупо, изоляция ключевых слов хоть и описана в вики, но не работает.
Имеется ввиду на е/эксхентае, а не в грабере, грабер такими вещами не занимается =_=

Изменения интерфейса такие, что я не понимаю как скачивать пикчи. почему всё на инглише? почему нет нормального хелпа? Как скачать пикчи, блядь?

Охуеть, теперь значит надо идти в настройки на пункт меню

Save ===> Filename ===> Писать в строку %artist%/%copyright%/%character%/%md5%.%ext% после чего идти во вкладку Downloads ===> Add ===> Твой сайт и тег ===> В верхний пункт Filename опять вписывать эту окололесицу ===> И начинает скачивание.

Отлично, эталонный быдлокод. Это специально сделано, чтобы ньюфаг вообще ничего не мог скачать и надо разбираться 3 часа? Не получилось, я разобрался. Делай ещё сложнее, и ещё лучше сделать этот тред скрытым для всех кто написал менее 50 сообщений, и раздавать коды для активации программы. Так вообще будет заебись.

>>6506
Господи, нет я наврал. Всё ещё сложнее. вписывать надо только %md5%.%ext% это типа имя файла и разрешение, иначе он будет генерить сотню папок.

>>6506
Лол, бро, я уж подумал, что ты воаще наркоман, но вдруг понял, что ты не про кошкограббер.
Извини-извини.
Кстати, особых изменений в том граббере не заметил, в общем-то все примерно так же.
Тебе, кстати, вообще повезло, что на английском. Автор-то француз.

Я видимо наркоман всё же, я не по той ссылке скачал. Но даже я нормален, по сравнению с кодером грабера первой ссылки.

Зачем в новой версии ключик, который появляется во время выбора бур?
Алсо, мелко, конечно, но все же: нет пикчи xbooru.

>>6515
Алсо, как обозвать папку с тегом, по которому ищу? Что-то потыкал - нихрена не вышло.

>>6515
Пока ни зачем. Прикрутил нормальную форму настроек, начал работу над сохранением индивидуальных настроек для каждой буры, что приведет к возможности сохранять логины и пароли для бур.

>>6516
Лол, я забыл этот ключик прикрутить, будет называться $tag$ в следующем релизе.

>Алсо, мелко, конечно, но все же: нет пикчи xbooru.
Страннота, когда я делал иконки у хбуру был значек гелбуры, сейчас уже свой.

Может при обновлении тоже прикрутить Ченджлог?

>>6522
Надо, да все лень придумывать и реализовывать. К тому же ченжлог еще надо писать и дублировать в разных местах. Сделаю когда дойдут руки написать "генератор обновлений", руками что-то лень все это каждую обнову делать.

Хотя, можно проще, надо просто что-то вроде rss-ки для новостей сделать, без привязки обновлений к определенным новостям.

можно ли исключить из граббинга е621, к примеру, тег gay или female? -female не работает

>>6533
Не везде, где есть женщины и геи, стоит тег "женщина" и "гей". Проверил на "rating:s -rabbit -fox", все должно работать же.

>>6524
Можно сделать и так: добавляем txt файл, который апдейтер будет выкачивать вместе с новой версией и потом через блокнот/другой_редактор/окошко_грабера будет его открывать. И в Граббере сделать пункт что-то типа "Показывать Changelog после обновления".

http://rule34.paheal.net
В первой версии сломался. Почини

Вопрос:
Если я самостоятельно буду редактировать профиль бурр, то я смогу добавлять гелборры и данбурры?

Вопрос номер 2:
Когда появятся профиль на Shimmie ?

>>6538
1. Ты имеешь ввиду шаблоны? В общем-то, да, котограббер просто берет список всех *.cfg файлов из папки resources. Но api я еще не берусь описывать, т.к. еще пилить и пилить...

2. На текущий момент я сделал шаблоны для бур, у которых есть внешний api (gelbooru и danbooru), у shimmie я, по крайней мере, не смог нагуглить гайд по api (мб его нет?). Если можешь кинуть мне ссылку - буду рад. Парс по гуи буду делать когда доделаю все основные вещи (осталось авторизация и создание альбомов).

>>6539
>шаблоны
конфиги, вестимо

С пиксива часть альбомов не скачивается, например
http://www.pixiv.net/member_illust.php?mode=medium&illust_id=10273794

Хочу сграбить с гелбуру картинки по одному тегу. Но проблема в том, что он грабит 1ю страницу.

Вот тут еще бред, что граббер грабит максимум 10024 файла, притом что там находится больше картинок. В частности я про Touhou

Почему, я ставлю в фильтре, чтобы ширина была больше 3000, список заметно уменьшается, но если нажимаю "Начать закачку изображений", все равно качаются все 5800, игнорируя фильтр. Что я делаю не так?

>>6574
>"Фильтр" включает настройку фильтра. В данный момент не влияет на закачку (т.е. качаться все равно будут все отмеченные галочкой).
Беда, беда.

В кабинете обвалился потолок, в результате чуть не убило человека (убило бы или сильно покалечило если бы не ушел на обед, лол).
//cool story mode off

Переехали в новое здание, так что скоро снова смогу делать фиксы и допилы в старом режиме.

>>6567
>Graber 1.0.7.33
Бро, скачай новую версию, затесть, потом скажешь, чем все закончилось.

>>6537>>6550
Проверил. Подтверждено. Исправлено.

Так же переименовал имоуту в яндере. Яндере работает по https, так что теперь для нее надо качать OpenSSL библиотеки.

1.1.0.17 http://goo.gl/ExV1q

>>6590
Библиотеки скидывать в папку system32?

>>6591
Можешь и туда, можно просто в папку с программой.

>>6590
Как долго я ждал добавления yande.re. Спасибо.

>>6590
Будет ли функция закачки PNG с яндере, коначана и других?

> (kagami or kagamin or kagamine) -rin -len -ren star, категория: fanart/manga/digital
> поиск на DevianArt
> 1,625 most popular deviations of all time for tesla trooper
> составление листа в NekoPaw
> fanart/manga/digital/, page 68, 1573 pictures
Чому так?

>>6677
Потому, что люди любят скрывать картинки (надпись типа "скрыто пользователем от общего доступа"), а в подсчете они все равно отображаются.

>>6678
Спасибо.

Вот как так я мог сломать возможность закачки в imgbrd-grabber с зерочана? Как же мне её теперь восстановить?
При попытке поиска пишет No result / Too many tags / Server offline
Стоит ли говорить что всё из вышеприведённого не правда, результы были до этого, тега всего два, а сервер точно уж онлайн.

>>6590
добавь пожалуйста фурраффинити?

Подскажите как можно сграбить с fakku.net?

Стив, а есть ли какой нибудь способ грабить картинки с fanpop.com?
Вроде бы галереи вполне логично организованы например от
http://www.fanpop.com/spots/emma-watson/photos
до
http://www.fanpop.com/spots/emma-watson/photos/1113
Лучшее что смог найти это Bulk Image Downloader но он только превьюшки грабит.

В 1.0 версии если только автор сам добавит.
в 2.0 надо раскуривать примеры шаблонов, на их основе можно сваять.

А автор что-то запропал.

xbooru.com отвалилась? Картинки находит, но при скачивании выдает ошибки 404.

Небольшой баг.

Удачи в разработке удобной 2.0

Грабер №1 качает не все пикчи с понибуры, точнее не качает те изображения у которых рейтинг "Explicit", даже если вписать логин и пароль от аккаунта у которого стоит галка на показ данного контента.

>>6738
[b]>все[/b]
[b]Apr 3, 2012[/b]

Да ты ОХУЕЛ БЛЯ
БЫСТРА НА ГЛАВНУЮ ПИСАТЬ ПОЧЕМУ и когда вернешься

когда вернется кодер-кун? хотет фурафинити!

опчик вернись же молю! хочу фурафинити сграбить, а ручками пиздец невыносимо 3:

Братюни, прикрепите animu.ru

Там всё элементарно.

>>6852
сделай сам раз элементарно

поднимаю

Когда уже будут починены обрывы загрузки файл-листа с gelbooru?

>>6881
Дай угадаю - список неожиданно обрывается и больше не обновляется? Как здесь >>6567

>>6882
Ну вот, смотри.
Есть допустим %tagname%, по нему на гелбуре находит 20к картинок. Забиваю тег в граббер, нажимаю "Get", после чего прога находит 10к картинок и по тихому, без ошибки, останавливается. Запускаю второй раз через Full refresh - находит уже 12к картинок, после чего опять обрывается. И так раз 15 поиск останавливается в рендомном месте, пока наконец в один прекрасный момент не соизволит найти все 20к пикч [b]без единого разрыва[/b].

бамп

ОП, я не могу понять, как правильно скачивать этой штукой. Она не ставит расширение файла. А дописываешь %ext% в поле с именем файла, оно ругается, что я не смогу открыть файлы. ЧЯДНТ?

И пошто оно пропускает файлы?

оп на всех забил
ушел, съебался, тред заброшен
смиритесь

>>6909>>6910
Это даже не прога ОПа же.
В ОП посте лишь список самых "развитых" в плане граббинга прог, по сравнению с аналогами.

>>6914
Точнее, прога ОПа идет 2м пунктом.

жду 2.0b

>>6960
К 1й отметке дня рождения может дождешься.

Случайно проходил мимо треда.
Данбору даунлоадер - это хорошо, это я сохранил. Но зачем изобретать велосипед для пиксива, когда давным-давно есть http://nandaka.wordpress.com/ ?

>>6962
где ж ты был 2 треда назад?

А вообще всегда приятнее запускать одни и ту же прогу чтобы делать одно и то же (качать картинки), а не разные для разных мест. Не говоря уже о том, что командная строка уже постарела.

Активно скачиваю пикчи с бур и возникло два вопроса:
1. Возможно ли, теоретически, сделать, чтобы грабер конвертировал все png в jpg и проставлял им теги в метадату? Транспарентных картинок немного, но гораздо удобней будет искать файлы и не понадобятся всякие таблицы.
2. Может ли грабер сам определять рейтинг изображений и добавлять его к тегам? А то случайно 350к пикч перемешал, теперь заново качать придётся.

>>6964
Сейчас хрен поймешь, кто про какую говорит. В этом треде периодически говорят о одной из 3х - imgbrd-grabber, graber 1.0, graber 2.0 (nekopaw). Какую же из них имел ввиду ты?

>>6965
Мне некопашка нравится, но с такими-то функциями готов на любой пересесть.
Впрочем, самостоятельно конвертировать пикчи тоже не проблема, но, опять же, загвоздка, как перенести теги из таблицы в свойства файла. Так что лучше встроенный в грабер преобразователь.

Вопрос немного не по теме, но все же: вот через api booru-подобных движков можно получить рейтинг картинки (safe/questionable/explicit). А можно при запросе через сайт отобразить по тегам картинки с определенным рейтингом?

>>7027
как получить страницу через api знает, а поисковых команд не знает
http://donmai.us/help/cheatsheet
>rating:questionable (или просто rating:q)

>>7031 Ох спасибо огромное! В хелпе на gelbooru такого не нашел
з.ы. А api немного помню, так как писал в свое время свой граббер с преферансом и блудницами, на шарпе. Но в итоге забил

На гелбуре тоже есть же, плохо искал
http://gelbooru.com/index.php?page=help&topic=cheatsheet

Лучей добра ОП-у. Скачал паки со своей вайфу с пиксива и данбуры его неколапой. Годнота.

Господа, а что с exhentai\g.e-hentai?

По разному экспериментировал с интервалами,постоянно спотыкается после 5\10 картинок:
>Connect timed out.

Может неправильно что делаю.

А я вот писал парсер гелбуры на баше, вполне работает - http://pastebin.com/TXGfZFNX
./gelbooru.sh "теги" "куда складывать пикчи"

>>7088
Няшно. Но есть же danbooru-grabber с PKGBUILD'ами и ебилдами, правда он монструозный как слон.

>>7087
Для ехентая это в порядке вещей, они для раздачи пикч используют "волантеров", ака предоставляющих свои компы для размещения пикч на своих винтах. Таких желающих очень дохрена (т.к. дают бонусы), а интернеты у большинства - говно. Поэтому и скачка с них - говно. Если сейчас лагает - скачай позже. Ссылки обновятся.

>>7089
Мне хотелось попробовать попарсить хмл, чтобы меня не стошнило, я выбрал хмл с двухмерными няшками. Да и написание скрипта заняло не сильно больше времени, чем я бы потратил на гугл и чтение мана.

>>7097
Я тоже писал danbooru grabber на bash :3. Он работал, но был гораздо примитивнее твоего. Перешёл на готовое решение, благо даже пакет есть.

>>7099
P.S. Только я его делал, чтобы научился работать с регулярками, какой треш угар и содомия там были, можешь сам представить.

>>7088
Только заметил, что кусок строки не скопипастил. 33 строчка должна оканчиваться на

-n | while read url; do

, а не на

-n$

.

>>7099
У меня по сути он тоже довольно примитивный, просто в цикле запрашивает страницу с пикчами по тегу и выкачивает с нее все. Больше занимает проверка на установленные зависимости хотя тоже сделано слегка криво. Там еще и первая страница два раза грузится, от чего можно избавиться. Но это уложнит скрипт, поэтому сейчас добавил просто &limit=0. Вот исправленная версия - http://pastebin.com/1akFtyfR

>>7100
Регулярками парсить хмл это то еще мучение, да.

так оп-то где? жив вообще?

>>7166
а чего хотел-то?

>>7167
фуррафинити хочу чтобы добавил

>>7167
кстати почему ограничение на e621 стоит в 1000 страниц? можно ли поправить?

>>7180
у фуррафинити тут дооолгая история. Его геморройно реализовать как в 1й версии, так и во 2й. В прочем, до выхода 2.0.2, думаю, будет добавлен.
>>7185
Исправил.

>>7186
исправил...а где взять? когда выложишь?
>В прочем, до выхода 2.0.2, думаю, будет добавлен.
примерные сроки какие?

>>7188
во 2й версии это называется "автоматические обновления".
>примерные сроки какие?
ДО того (или, возможно, одновременно), как будет реализована альбомная группировка. Джа, это самый точный срок, точнее сказать затрудняюсь.

>>7190
спасибо
тогда жду ФА

>>7190
Еще можно исправить ponibooru, а именно совсем убрать, ибо сайт скоро закроется, вроде как derpiboo.ru стал его наследником.

>>7203
Какой-то буру-на-рельсах. Еще что-то новое.

>>7206
Оригинальный движок данбуры на рельсах же.

>>7221
не данбуры, шимми вылитый, только кусками поменяли переменные, авторизацию, и очень сильно правила хранения файлов.

Привет кунаааааааа
У тебя в программе не реализована возможность грабить пикчи как в прошлой версии со всеми тегами в имени? Или я что то не так настроил?
[b]$tag$ ключевые слова, которые указаны в поле "тэг"[/b]
[i]это мне не подходит[/i]

>>7314
Лол, я думал, что все равно этим ключем никто не пользуется, зачем он нужен. Прикручу тогда в следующем релизе.

Няша, ты там вроде обещал прикрутить закачку по списку авторов Пиксива.
[i]тот-кун-с-огромным-списком-автором-на-пиксиве[/i]

>>7327
Блядь, ну почему на автобусе нельзя ББ-коды использовать то?

>>7327
Идей сейчас и так больше, чем времени на их реализацию. И, в целом, уже знаю, как каждую реализовать, но написать времени нет. Каждый раз, когда появляется свободное окно, сажусь и думаю, за что бы в этот раз взяться. И все вроде полезно и нужно.
Да и нельзя пока с пиксива качать, альбомы не поддерживаются...

>>7222
Только сейчас заметил( 2.0.1.8), что для derpiboo.ru список строится только для первых 30 изображений пропуская скрытые теги, хотя вроде и авторизация вбита в грабере, да и правила на самой буре включены на показ.

>>7449
Точно, есть такой баг. И это не скрытые тэги, а только первые 2 страницы результатов. Баг появился после того, как ресурс где-то посеял кнопку "Last" в навигаторе. Собсно, сейчас занимаюсь реализацией "неявного" получения списка, т.е. когда не известно, когда закончится список. В этом случае скорость получения списка будет зависеть от того, какое количество ссылок на страницы можно получить загрузкой одной страницы (короче, как в старой версии).

>>7450
хотя, возможна и не работа правил на отображение скрытых по умолчанию тэгов. Во время логина у них остается куки с сессией, даже если сессия и не действительна, поэтому при неудачной авторизации программа может посчитать ее удачной (т.к. куки с содержимым появляется). Надо будет сделать другой способ проверки удачности авторизации (по содержимому страницы).
Тем не менее, если указывать корректные данные, то правила учетной записи применяются правильно.

>>7451
Сейчас еще раз проверил. При логине качаются скрытые теги, возможно в прошлый раз все же не доглядел и без авторизации поиск картинок сделал. Так что тут мое упущение.
И еще тут заметил, что некоторые картинки он (грабер) пропускает, а некоторые качает привьюшки. В итоге полноразмерных всего 3-4, а остальные маленькие. Допусти для тега "photo_finish" не качаются 3 файла с ошибкой: "Cannot create file... Системе не удается найти указанный путь"

>>7453
закинь ссылки на пикчи с ошибками (желательно post_url), я еще не до конца изучил, как подбирается имя файла preview<->url в booru_on_rails, поэтому возможно, что просто имя для файла создается с ошибкой.

>>7454
Добрался до ПК, думал ссылок накидаю, ага щаз. В общем грабер (2.0.1.9) совсем перестал искать пикчи по тегам. Версия 2.0.1.5 тоже не ищет, походу это из-за вчерашнего обновления дерпибуры.

>>7463
ага. Вчера хотел посмотреть, что можно исправить, а он на профилактике оказался. Надо смотреть, что поменялось и править.

[b]Добавил $tags$, но сделал это крайне хреново.[/b]
1. Нет подсказок куда это самое N втыкать, но можно додумать самостоятельно, что после тега. Терпимо
2. Нельзя ли сделать автоматический выбор длинны строки тегов? Чтобы длинна имени полностью влезала в ограничения ОС.
3. Если просто указывать $tags$ в названии файла - половина скачек отвалится с ошибкой.


%posted%
НЕ работает. Искомая строка для сохранения пикч
C:\$tag$\$short$\%posted%_$fname$_$tags$4.$ext$

>>7533
> C:\$tag$\$short$\%posted%_$fname$_$tags$4.$ext$
Это связано с rule34.paheal.net ? Я на других сайтах не проверял.

СПИЗДИ ХОРОШИЕ КНОПКИ БЛЯДЬ. НИХУЯ НЕПОНЯТНО. Приходится ждать до появления подсказок. Неужели так трудно было сделать кнопки с подписями? Я хочу на слова мышкой нажимать, а не на наркоманские кнопки без подписей.

$short$
Не работает для rule34.paheal.net .
Файлы не помещаются в папку с именем $short$.

>>7533
1. Действительно, в подсказке в самой проге пропущено, тем не менее на вики все довольно прозрачно. Поправлю.
>$tags[(N)]$
2. Лол, ты не поверишь, но у ОС нет методов узнавания, какая длинна имени допустима, есть только документация, где написано, что "в такой-то файловой системе макс. длинна - такая-то". Точнее, как предел, есть функция, которая может сказать, можно ли создать файл с таким-то именем. По факту в разных каталогах длинна может быть разной.
Хотя таки да, надо прикрутить, просто при больших массивах задержка на перепроверку становится заметной, поэтому не спешу с этим.

>>7535
Потерялся в двух с половиной кнопочках?

>>7533>>7534>>7537
$short$ для rule34.paheal поправил.

>>7542
> Потерялся в двух с половиной кнопочках?

Ага. Это у тебя оригинальное решение проблем - лень найти нормальные иконки для кнопок - оставим как есть. А кнопки с подписями создать нельзя?

>>7552
Да нет, просто никогда не считал это проблемой.

1. Как на счет добавить в строку, по которой ищем, последние 5-10 вариантов поиска?
2. + Парочку вариантов в путь сохранения. Там даже кнопки ПО УМОЛЧАНИЮ нет.

Будет ли прикручена возможность скачивать флешки с бурр? (Например с е627)

>>7575
С бур с апи качает, как я знаю.
>>7574
Первая идея уже есть в планах, вторую добавил.

Хе-хе, блин. Хотел во время отпуска пописать граббер, но планам, как известно, бывает не суждено сбыться.

>>7576
Когда начнешь добавлять идеи - запили к этим идеям опции в настройках. Пускай будет для несогласных

Когда фураффинити будет добавлен?

>>7589
Лучше nabyn.com добавьте, там хотя бы мусора меньше.

>>7588
В новом билде на этой неделе уже будет.

>>7591
спасибо, уже годы жду
[spoiler]ЧТО БЛЯТЬ ЗА КАПЧА, ЧТО ЗА АНИМЕ БАБЫ, ВЫ ЕБАНУЛИСЬ ЧТО ЛИ НА ГОЛОВУ ПОЛНОСТЬЮ?[/spoiler]

>>7599
>[spoiler]
Но в этом разделе их нет.

Похоже, наврал, не будет на этой неделе билда. Расковырял движек, а назад собрать не успел, такие дела.

>>7610
когда уже бляяя?

как избежать?

22:07:09 http://rule63.paheal.net/image/13901.jpg: HTTP/1.1 404 Page Not Found
22:07:11 http://rule63.paheal.net/image/10422.jpg: incorrect filesize

>>7633 Как только так сразу, честно. На работе работать заставляют, дома интернеты сломаны, тестить не выходит. Вот и получается тягомотина безпроглядная.
>>7634 Надо по другому. Даешь ключевые слова, по которым ищешь. Я воспроизвожу ошибку и исправляю. Чисто на телепотическом уровне могу сказать что-то вроде "это же пахеал, пахеал тормозит".

О!

Добавьте, пожалуйста, поддержку Google.Картинки - я хочу по запросу, например, Cozy Room, скачать обойму из 500 картинок, не открывая каждую почём зря, тратя рабочее время.

// classic mode off.

>>7635
>Надо по другому. Даешь ключевые слова, по которым ищешь. Я воспроизвожу ошибку и исправляю. Чисто на телепотическом уровне могу сказать что-то вроде "это же пахеал, пахеал тормозит".
ну хуй знает
как это сейчас воспроизвести
вроде искал обои с klonoa выбрал все доступные борды - посыпались ошибки

>>7640
В таком раскладе скорее всего верно заявление про "пахеал тормозит". Подобие решения будет когда будут зеркала, но это только в том случае, если такая же картинка найдется на другом ресурсе.

>>7642
да не может быть такое, сплошные форбидены! вообще по любому тегу, ты сам посмотри - а на ресурсах тег без проблем ищется и просматривается

07:39:17 http://www.minitokyo.net/search?q=Kaiketsu_Zorori: HTTP/1.1 404 Not Found
07:39:18 http://zerochan.net/Kaiketsu_Zorori: HTTP/1.1 404 Not Found
07:39:18 http://rule34.xxx/Kaiketsu_Zorori: HTTP/1.1 404 Not Found
07:39:18 http://tbib.org/Kaiketsu_Zorori: HTTP/1.1 404 Not Found
07:39:18 https://yande.re/post/index.xml?limit=100&tags=Kaiketsu_Zorori: Could not load SSL library.
07:39:18 http://wildcritters.ws/post/index.xml?limit=100&tags=Kaiketsu_Zorori: HTTP/1.1 403 Forbidden
07:39:37 http://www.minitokyo.net/search?q=Kaiketsu_Zorori: HTTP/1.1 404 Not Found
07:39:37 https://wildcritters.net/wc/post/index.xml?limit=100&tags=Kaiketsu_Zorori: Could not load SSL library.
07:39:38 http://zerochan.net/Kaiketsu_Zorori: HTTP/1.1 404 Not Found
07:39:38 http://wildcritters.ws/post/index.xml?limit=100&tags=Kaiketsu_Zorori: HTTP/1.1 403 Forbidden
07:39:38 https://yande.re/post/index.xml?limit=100&tags=Kaiketsu_Zorori: Could not load SSL library.
07:40:16 http://www.minitokyo.net/search?q=Kaiketsu_Zorori: HTTP/1.1 404 Not Found
07:40:18 https://wildcritters.net/wc/post/index.xml?limit=100&tags=Kaiketsu_Zorori: Could not load SSL library.
07:40:18 http://zerochan.net/Kaiketsu_Zorori: HTTP/1.1 404 Not Found
07:40:18 https://yande.re/post/index.xml?limit=100&tags=Kaiketsu_Zorori: Could not load SSL library.
07:40:22 http://wildcritters.ws/post/index.xml?limit=100&tags=Kaiketsu_Zorori: HTTP/1.1 403 Forbidden

>>7642
и еще этот руль34 заебал со своим инкоренкт сайз, понимаю что там порнуха большинство но все же! - вдруг что-то хорошее пропадает

>>7647
- для wildcritters.net и yande.re нужны OpenSSL библиотеки. https://code.google.com/p/nekopaw/downloads/detail?name=OpenSSL_Lib.zip
- wildcritters.ws, видимо, с последнего обновления огородили api на подобии donmai.us, и теперь только зарегистрированные пользователи имеют к нему доступ.
- две странных 404 для rule34.xxx и tbib.org, я вообще не представляю, как у тебя получились такие url. Остальные 404 обоснованны, просто ресурс вместо того, чтобы просто передать страницу без результатов, выдает 404.

С paheal вообще все очень хреново, оттуда, по моему, вообще одновременно больше двух картинок лучше не качать.

Это конечно хитрое шаманство, но 7ка поддерживает возможность отображать прогресс прямо в панели задач. И даже менять цвет соотв. проги на красный при завершении чего-либо в ней.

ГОСПАДЕ, КОГДА?

>>7662
Даже не знал, что кто-то считает эту опцию полезной. Помечу для добавления.

когда релиз с фурафинити?

> ГОСПАДЕ, КОГДА?
Оп, проясни про сортировку скачанного по тегам.
Может добавить в программу функцию разбора скачанного и нормальное отображение нужных пикч по тегам?

И второе: Как скачивать флешки?

>>7685
>Может добавить в программу функцию разбора скачанного и нормальное отображение нужных пикч по тегам?
Нихрена не понял, что ты имел ввиду. Фильтр по тегам что ли?
>Как скачивать флешки?
Как и пикчи. Если это поддерживается на борде.

так когда релиз с фурафинити?

>>7691
Ответ из разряда "как только так сразу" же.

>>7691
Видишь, и года не прошло как твой реквест исполнился.

>>7727
это конечно все здорово, и спасибо, но не пойму как им пользоваться при грабинге галереи
если так же как и всем остальным - по тегам - смысла в таком добавлении ноль, ибо теги на фа дело стодвадцатьпятое, и стоят они от силы на 500 работах да и то, нечто вроде "мале-фемале"

>>7728
Извини, ео граббер не предназначен для качания "от суда и до обеда". Ты бы сразу сказал, я бы не парился. Я при написании первого граббера эту мантру, наверное как минимум пару раз в месяц повторял. Можно качать по тэгам, можно по автору, по фаворам автора. Считаю, что этого за глаза.

>>7728
Возможно есть еще какие-то особые параметры выборки, которые я мог не учесть? Как ты понимаешь, скачку ВООБЩЕ без выборки я реализовывать не буду.

Не обращай внимания на этот >>7729 пост, видимо, сказался хреновой удачности день.

>Можно качать по фаворам автора
как?

утром пробегал, не разобравшись ничего не понял
сейчас посмотрел - есть все, спасибо за старания
надеюсь будет работать

Бамп.

После обновления движка на www.deviantart.com, imagegraber больше не работает с этим сайтом.
Можно будет в последующих версиях это исправить ?

Йо Стиви!

У программы появилась возможность нормально устанавливать теги у скачанного контента?

>>7917
И смотреть скачанное по определенным тегам.

>>7893
Сделаю новый билд старой версии, посмотрю, чего нового, и подправлю.

Извини, Стив, у меня переезд на новое место жительства, поэтому почти забросил граббер. Планирую возвращаться как только все более менее станет стабильно (т.е. по крайней мере когда я смогу хотя бы 1 выходной проводить за компом).

>>6731
> Подскажите как можно сграбить с fakku.net?
Кстати, да. Присоединяюсь к вопросу.

Вопрос в тред
При поиске дублей нельзя сравнивать пикчи по размеру в байтах?

>>8018
По физическим параметрам пока нельзя их сравнивать. Да и по размеру не вижу смысла это делать, периодически размер у пикч может и совпасть, хотя они совершенно разные.

> Для любых API-борд достаточно создать правило md5=md5. С теми же бордами, у которых нет API (и нет возможности узнать хеш-сумму до скачки изображения на винт) придется поизвращаться. Так или иначе, если изображение не имеет поля, по которому происходит проверка, то правило с этим полем будет проигнорировано.

А можно опцию для принудительного скачивания и вычисления неизвестных полей?(md5) И вот после скачивания программа вычисляет нужные параметры и удаляет если дабл. Место на винте и толщина инета позволяют же.

>>8020
Пока нет, но планировал сделать.

>>8019
Используй хеш.

как понимать?

17:10:57 https://wildcritters.net/wc/post/index.xml?limit=100&tags=-fgsfdsfgsfds: Could not load SSL library.
17:10:58 http://wildcritters.ws/post/index.xml?limit=100&tags=-fgsfdsfgsfds: HTTP/1.1 500 Internal Server Error
17:11:10 https://wildcritters.net/wc/post/index.xml?limit=100&tags=-fgsfdsfgsfds: Could not load SSL library.
17:11:11 http://wildcritters.ws/post/index.xml?limit=100&tags=-fgsfdsfgsfds: HTTP/1.1 500 Internal Server Error
17:11:49 https://wildcritters.net/wc/post/index.xml?limit=100&tags=-fgsfdsfgsfds: Could not load SSL library.
17:11:50 http://wildcritters.ws/post/index.xml?limit=100&tags=-fgsfdsfgsfds: HTTP/1.1 500 Internal Server Error

любой тег не качает

>>8133
https://code.google.com/p/nekopaw/wiki/FAQ#Could_not_load_SSL_library

>>8134
здорово
спасибо
но я все равно получаю ошибку:

18:04:41 http://wildcritters.ws/post/index.xml?limit=100&tags=-shshshshhshs: HTTP/1.1 500 Internal Server Error
18:06:47 http://wildcritters.ws/post/index.xml?limit=100&tags=-shshshshhshs: HTTP/1.1 500 Internal Server Error

что за лимитх100? ограничение на 100 страниц что ли? как обойти?

вообще ни 1 файл не качает оттуда

>>8135
limit=100 - значит, что 100 пикч на страницу.

Какая-то повальная мода пошла - блочить доступ к API всем, кто не залогинился. Вот widcritters.ws тоже этим заразился. Создай акк вроде fgsfds и паролем password и залогинься из проги, или можешь подождать, когда выйдет версия, не использующая API. Или воспользуйся первой версией проги, там принципиально не используются API.

>>8139
вроде что то качает но

05:12:54 http://wildcritters.ws/http://wildcritters.ws/data/570e06409ee86f352533f46b3ec91962.png: HTTP/1.1 404 Not Found
05:12:54 http://wildcritters.ws/http://wildcritters.ws/data/642f1e9b251eaad64fe9f01d834b45ba.png: HTTP/1.1 404 Not Found
05:12:54 http://wildcritters.ws/http://wildcritters.ws/data/1a2aee5e38016926b035dfde21d7bdc5.png: HTTP/1.1 404 Not Found
05:12:54 http://wildcritters.ws/http://wildcritters.ws/data/23ade3b84e29476becc06cf3a0c75a1e.jpg: HTTP/1.1 404 Not Found
05:12:55 http://wildcritters.ws/http://wildcritters.ws/data/cd8038f9a8b0af6fc27781f316c1c7a8.png: HTTP/1.1 404 Not Found
05:12:55 http://wildcritters.ws/http://wildcritters.ws/data/93d7d3a2e5aa7f0766fa178c1f7bf2c4.jpg: HTTP/1.1 404 Not Found
05:12:55 http://wildcritters.ws/http://wildcritters.ws/data/dc81fdd33dc1af08038d9a7a65e3195c.jpg: HTTP/1.1 404 Not Found
05:12:55 http://wildcritters.ws/http://wildcritters.ws/data/138652f4b1c07b0a97a48219d40ff502.jpg: HTTP/1.1 404 Not Found
05:12:56 http://wildcritters.ws/http://wildcritters.ws/data/675b94ee279de4d88500491420c770a7.jpg: HTTP/1.1 404 Not Found

и так до бесконечности 50% not found

>>8143
А вот это баг. Некоторые пикчи имеют прямой путь, а другие условный, из-за чего ссылка получается косячной. Надо будет прикрутить проверку на условность ссылки. В понедельник будет.

>>8150
спасибо, жду не дождусь

>>8150
не дождался :<

>>8177
Проверь апдейты же, встроенным апдейтером же.

У меня два тупых вопроса:
Почему количество изображений в списке всегда на 1 больше, чем скачанных?
Некопаш 2.0 не поддерживает сохранение списков и таблиц тегов?

>>8186
1) Пример можно?
2) Да. Должно было решиться, но не решилось пока.

bump

Это типа следующие версии старого BooruChan? Или совершенно другие люди проект делают?
Просто давненько не заходил.

>>8537
Вдохновителем был буручан. Люди другие.

YAY!
Обновление!

> YAY!
> Обновление!
и ещё одно НЕОЖИДАННОЕ обновление!

Сейчас обновлений станет больше. Скоро весна... Активность можно даже проследить. Ближе к весне она выше, а к концу осени ниже.

3 обновы за 24 часа.
Оп решил начать писать код.

>>8578
Ты так часто пользуешься граббером или просто постоянно проверяешь обновления?

>>8579
> Ты так часто пользуешься граббером или просто постоянно проверяешь обновления

Пришло время обновлять мою коллекцию на 100 гигабайт

http://code.google.com/p/nekopaw/wiki/ChangeLog
А почему тут ченчлог не обновляется?

>>8588
лееееееееень.

>>8589
А ты сможешь реализовать обход бана ip (через переподключение к инету) или подстройку режима скачивания для оптимальных под определенную борру? (Чтобы не банилось при скачивание запредельных обьёмов)

2ю часть можно реализовать простой кнопкой - По ДЕФОЛТУ в настройках параметров скачивания каждой борды. Ну или обновлением конфигурационных файлов настроек конкретных борд. В итоге будет 3 вида скачивания для борды (конкретное количество потоков пикч и списка, таймауты и прочее) - дефолтное, подстройка для максимальной скорости на основе дефолтных и заданное пользователем.

тот самый кун

Вот ещё штуки для прикручивания
1. Прокрутка списка скачиваемого
2. Пропадает скорость скачивания пикч (Баг?)
3. отсутствует индикатор времени завершения скачивания (Длинная зеленая полоска прямо в окне программы) с таймерами прошедшего времени и оставшегося времени (примерно).

Можешь не реализовывать

>>8595
>подстройку режима скачивания для оптимальных под определенную борру
Этот вариант уже рассматривается. Так или иначе, ограничения не могут быть определены до тех пор, пока кто-то в них не упрется и не напишет о них.

>>8596
1. Скачка идет не по порядку, для распределения нагрузки скачка идет одновременно со всех ресурсов. Поэтому "прокрутка" у тебя в конечном итоге может стать похожа на прыгание "в конец и назад, и назад в конец... и назад". Для улучшения визуализации отфильтруй по полю "Загружено" Not blank, тогда тебе всегда будут видны только те записи, которые качаются в данный момент.
2. Не понял, пропадание какой скорости ты имел ввиду. Если это ограничение скорости скачки, то там действительно был баг, запрещающий вводить значение больше 50. Визуально скорость закачки нигде не отображается, только общий размер и сколько скачано на данный момент. Думаю как-нибудь отобразить эту инфу.
3. Невозможно рассчитать. Нет возможности определить размер всех файлов заранее не делая кучу бесполезных запросов, особенно с учетом того, что далеко не все ресурсы поддерживают даже докачку. Ресурсы имеют разную скорость скачки и т.д. В общем, потребуется огромное количество времени чтобы реализовать подгон всех нужных фактов для расчета, и при этом расчет все равно будет жутко не точным.

1. Твоя идея хорошая - воспользуюсь. Но это таки не то. Я пока буду молчать пока не сформирую нормальное требование.

2. В заголовке окна общая скорость скачивания и прочая инфа. Можно самому редактировать и вставлять нужное.

3. Точный расчет и не нужен. Достаточно определить средние параметры и показать примерное время завершения. Вот тебе простая формула - берем скорость скачивания файлов - количество файлов в секунду, определенную по предыдущим 15-30 секундам, и рассчитываем примерное оставшиеся время.

А вот она же в боевом раскрасе

>>8597
>>8598
Упс. Пропадает скорость в табличке скачивающихся файлов.

>>8598
3. Но зачем она тогда нужна? Это же как вендовый расчет, который за минуту может десять раз поменять результат с нескольких секунд до нескольких часов.

>>8599
Не было там такого никогда же.

Даблклик по файлу в таблице не открывает файл изображения.
Правая кнопка по файлу не открывает ничего.
При наведении на файл не появляется ни привью, ни параметров, ничего.

>>8600
3. Чем больше программа скачала файлов - тем больше точность расчета скорости скачивания. И со временем она будет рости. (Берем в расчет примерно одинаковый их обём и скорость инета)

Проблемы с определенеием времени возникнут только при банах, ошибках, потерях связи и прочих нерешаемых событиях.

Сейчас 6:41 в моём городе. Я не спал всю ночь и смотрел фильмы. И тут такая мысль. Сколько людей РЕАЛЬНО ПОЛЬЗУЮТСЯ ТВОЕЙ ПРОГРАММОЙ? а?
Скольким людям она интересна:? Сколько будут её рекомендовать другим:? Словно ОП позабыл о слове РЕКЛАМА.

Сука. Я немного зол, что труды автора пропадают в куче анонимов и не допиливаются сообществом.
Может создать пару тредов на соседних бордах? Ограничимся сначала русскоязычными просто для рекламы в рунете среди битардов не?:
И второе. Запили опцию для сбора статистики. Или окно специальное. Или отдельную опцию. Ты и все пользователи должны знать ареал твоей программы по странам и количество людей использующих её.

Пора спать, я давно не спал. Мой друг отрицает её полезности изза скачивания целой кучи ненужного мусора

Тут недостаточно слов. Оп пишет программу, которую я использую, в одиночку. Мне жалко автора, а автору потраченного времени не? У тебя есть люди для помощи в разработке программы:? Для написания справок и перевода на другие языки? Автор все делает сам и многое делает криво.

Пичаль

Нет пикчи с грустной Ювао, держи пока такую
это пока единственная моя помощь кроме упреков
пичаль вдвойне

>>8603>>8604
Изначально так сложилось, что собиральщики пикч разделились на две стороны.

Одни качают массово. По разным причинам. Например, так проще просматривать. Ненужное можно просто shift+delete, и всю годноту оставить. Или же мусор можно не удалять, а перекинуть в другую папку, не понятно, что может пригодиться битарду в определенный момент жизни. Кому-то даже нравится "любительская" рисовка.
Другие же привыкли "браузить интернеты" в поисках сокровищ, просматривают тысячи страниц одну за другой, сохраняя на винт только самое годное по одной штуке. Кто-то привык скачивать паки, которые уже обработаны и рекомендованы к использованию другими собирателями мусора. Кто-то вообще говорит, что "21й век, хранить пикчи на винте уже не тренд". Каждый пусть решает для себя сам.

Если бы мне было жалко времени, я бы не допиливал. Это хобби. Мне это нравится. Да и вообще, я это делая для себя, а не для пользователей, и пользуюсь программой сам :3. По сути, это мой способ получать экспириенс в соответствующей сфере программирования. Как Стив в соседнем треде, который пилит крузис.

Мне, в общем-то, все равно, сколько людей пользуется этой программой, собирать донаты и фапать на рейтинги никогда не думал, особенно с такой-то концепцией. Можно же что-то по-моднее выбрать, чем собирание картинок? Мне достаточно того, что люди пишут письма и советуют всякую лабуду, которой я смогу укомплектовать программу, когда-нибудь.

Новая версия в прыщах не на работает, печаль.
Qt бы вместо фреймворка и С++ вместо языка программирования.

>>8606
Раньше работало. Значит, в прогрессе прикрутил какую-то фичу, после которой перестало. Возможно, какая-то фигня типа подсветки прогресса на панели задач в OS W7.

>>8606
Но для linux есть danbooru-grabber.

>>8608
>danbooru-grabber
Скрипт только для danbooru-верстки? Не, лучше я сам напишу.

>>8609
Он может в любые danbooru и gelbooru-подобные борды.

>>8605
http://www.derpiboo.ru/

МАМКУ СВОЮ УКОМПЛЕКТУЙ

>>8612
Поправлено.

Набор странностей ресурсов пополнился не выставлением протокола перед //domen.name/.

Это новая фмча данбору или новый баг граббера?

>>8634
Граббера, появился пока прикручивал ГУИ-мод для использования в санкаку. Поправлено.

Вряд ли тут таких много, но тем, кому повезло обновиться до версии 2.0.1.33, придется перекачать граббер :3
Надо бы как-то автоматизировать проверку ключевых функций граббера, чтобы такие ошибки не повторялись.

Няшки-няшки! Допустим я нашел фейсбукостраничку, где очень много няшных фоточек. Есть ли в природе какой-нибудь инструмент, чтобы я мог их оттуда выкачать? Постоянно залезать в опера драгонфлай за ссылкой уже рука устала.

>>8670
https://addons.mozilla.org/en-US/firefox/addon/downthemall/

А, у тебя же опера, вот попробуй
http://userjs.org/scripts/general/enhancements/extra-download-links

>>8670 Не забудь выложить пакъ.

>>8673
Что ты мне за неработающее старьё 2006 года подсунул? Нужен даунлоадер фейсбуковых альбомов, если ты не понял.

>>8678
Вот уж не думал, что в /dev/ когда-то придется такое постить...
https://www.google.com/search?q=facebook+album+downloader
Какое оригинальное решение, не правда ли?

>1.1.0.22
Хотел скачать все пикчи по одному тегу с пиксива.
Почему граббер видит лишь первые 4 страницы?

>>8720
Не знаю, 1я версия давно уже не сопровождается.
И даже догадаться не смогу, т.к. тэга, по которому ты искал, я не знаю.

>>8721
А какая сопровождается?
Тег: 初音ミク

>>8724
Вторая.

Проверил твою проблему. На пиксиве завелся какой-то "no results" глюк, из-за которого на рандомной странице может не появляться никаких результатов. Не уверен, фича это или нет. Вот граббер и натыкается на него, после чего встает.

Привет Стив,

Я тут свой велосипед потихоньку пилю.
Смысл такой, грабим пикчи, но с превьюшками.
Всё это баловство написано на C# и работает только на 7х и 8х окошках. Висту не пробовал, если там есть поддержка .Net4.5 то должно работать.

Вопрос, велосипед интересен или мне дальше медленно пилить для себя?
Если кто хочет пощупать и оп не против оставлю ссылку позже.

>>8605

>Одни качают массово. По разным причинам. Например, так проще просматривать. Ненужное можно просто shift+delete, и всю годноту оставить. Или же мусор можно не удалять, а перекинуть в другую папку, не понятно, что может пригодиться битарду в определенный момент жизни. Кому-то даже нравится "любительская" рисовка.
Другие же привыкли "браузить интернеты" в поисках сокровищ, просматривают тысячи страниц одну за другой, сохраняя на винт только самое годное по одной штуке.

Во, я ко вторым отношусь, хотя среди тех картинок что мне внезапно нравятся бывает и любительская рисовка. С моей точки зрения писать такой граббер жуткая трата времени :3 Я как-то написал себе граббер гелбуру по тэгам и страницам (ну это два-три десятка строчек на питоне), поиспользовал его несколько дней и понял, что выбирать понравившиеся картинки из папки с накачаным мусором более утомительно, чем сразу качать понравившееся из браузера.

>>8839

Знаешь, я бы себя спросил - а почему бы не смотреть эти превьюшки в браузере. В масс-загрузчиках для некоторых людей есть смысл, но чем загрузчик с превьюшками так сильно отличается от браузера, что его надо использовать.

>>8839
Пили для себя, все равно через полгода надоест и ты бросишь это дело. В этих тредах каждый пробует написать такую штуку. Уже больше десятка написали, вроде.

>>8840
На самом деле я где-то посередине.
Открывать кучу табов в браузере, а потом сохранять пикчи по одной надоедает. Для этого на самом деле и написал.
И не совсем по одной, и не совсем масс-загрузчик.

>>8846
Пол года уже есть, фичи добавляются по принципу: А почему бы и нет? Так как для себя, сохрани время на отркывании и сохранении n+ табов, всё работало почти сразу.
Единственное что не работает это sankaku, так как им захотелось переписать всё и API у них нерабочий, а писать html парсер для двух сайтов, как-то не знаю.

Поэтому и спрашиваю если кому интересно, уровень "для себя сойдёт, вроде нормально" уже пройден.

Если всё-таки у Стива будет свободная минута поломать велик, соус на github.com/earlnuclear/DanbooruBrowser
Там скачать дллку и ехе, масс выделение как в окошках в файлобраузере.

Тред помониторю, если тихо, то уйду обратно на гитхаб.

>>8839 Стив

>>8839
Добавь ведение локальной свалки с проверкой на контрольную сумму, чтобы можно было смотреть и схороненное в офф-лайн режиме, с распределением схороненного по формату имени. И добавление ресурсов еще.

Добавление ресурсов уже есть, я не все сайты проверяю на работоспособность, но стандартные данборы, гелбору, яндере подобные должны работать.

Локальная свалка двух типов, одно куда просто тупо высасываются картинки.
Вторая, что-то нардоде 'favourites', но её надо допиливать. В принципе к ней и можно прикрутить проверку по контрольным суммам и поиск тоже, возможность сохранять файлики с красивыми именами тоже есть.
Выкидывает файлы: сайт ид таг1 таг2.....формат покуда разрешает окошковский формат на длину имён файлов + директория.

Кстати такая идея свалки оправдывает себя намного лучше того что уже есть с favourites. Спасибо за идею, как прикручу парсер на sankaku, буду перепиливать. Там конечно есть некоторые вопросы по производительности, но если припрёт то sqllite никто не отменял.

Оп, почему мне кажется, что интерфейс в первой программе был удобнее и качественнее сделан? Просто посмотришь на неё и видишь, что 1.0 качает быстрее. Единственного, что её не хватает - скачивать с кучи ресурсов одновременно.

Я сейчас буду обновлять свою коллекцию арта и буду изливать в сей тред всю ненависть к скорости скачивания и программе.

>>8872
Он не удобнее и не качественнее, он просто проще.

>>8874
Ну не знаю. они одинаковы по простоте. Жалко, что ОП не добавил в 1ю версию функционал второй версии.

И вопрос в студию: при скачивании 2000пикч с 3х борд почему остановилось скачивание на последних процентах? Это связано с особенностью http://rule34.paheal.net/ ?

Вот тебе идея ОП:
Придумай шутку для обновления скачанного - обновления тегов в скачанном и докачивание отсутствующего. Чтото вроде файла со списком в папке.

>>8875
Если ошибок нет, то хз. Нужны примеры. На тормознутых сайтах закачки могут просто зависать (внешне, на самом деле там идет обмен пакетами по несколько байт, из-за чего соединение не отваливается по таймауту). Пахеалцы вполне из этого рода ресурсов.

>>8876
Давно в планах, т.к. было в 1й версии, но нужно садиться и делать. Раньше свободного времени было хоть отбавляй, из-за чего проект развивался довольно быстро, а теперь сменил работу и приходится действительно работать :/

Реквестирую возможность сохранения и выбора путей к картинкам. Что-то вроде закладок. Так как сортирую награбленное либо по персонажам, либо по художникам, а иногда по тайтлам, то приходится выбирать путь отличный от стандартного, типа:
c:\grab\title
c:\grab\artist
c:\grab\character
после чего указывать подпапку с названием.
Надеюсь суть просьбы ясна

>>8891
Работает, просто нужно сохранять форматы через редактор. Сначала думал, что будет лучше, если сохранять только выборочные пути, т.е. специально сохраняемые через редактор, но теперь думаю, что лучше сохранять все подряд, и оставлять в списке ~5 последних использовавшихся.

Автор, перестала работать закачка изображений с FurAffinity по галереи пользователя.
При попытке закачки, в логе ошибок пишет это: IOHandler value is not valid.
Надо бы починить!

>>8959
Подправлено.

>>8962
Спасибо, автор!

Автор, никуда не уходи. Может граббер нужен не каждый день, но когда нужен он должен работать. Постоянство — Высшее качество в интернете. Популярными становятся сайты и программы, которые без перебоев работают и обновляются в течении долгого времени.
Няшек и радостей тебе а ещё льда

По тегу "dragon's crown" или "dragon's_crown" при использовании более одного ресурса программа начинает вываливать все содержимое, без учета тега. При использовании одного ресурса, некоторые не работают вообще.

Версия 2.0.1.48а

>>8973
как внезапно твой апострофов поломал все ресурсы. Косяк, да.

Большое спасибо за исправление ошибки с апострофом.

ПИКРЕЛЕЙТЕД

>>9093
И? В чем суть проблемы?

Автор nekopaw, ответь пожалуйста, насколько реально для тебя сделать грабер фоточек из фейсбука? Последнее время всё чаще сталкиваюсь с желанием выкачать косплейфото какой-нибудь няши, но уже на втором десятке начинает надоедать рыскать в opera dragonfly в поисках прямого линка.

>>9102

Я не автор этой хрени, но скрипт для парсинга и скачки картинок элементарно написать для почти любого сайта.
Алсо как обычно эти скрипты нужны только дрочерам.

>>9103
Ты имеешь ввиду кфг файл для этой программы или отдельный скрипт на каком-либо языке? В любом случае, если ты действительно можешь, то будь добр, напиши оный для фейсбука и выложи сюда.
Если нет, то ты сам знаешь, кто ты тогда.
Дрочер

>>9104

Пусть тебе дядя Вася бесплатно пишет.

>>9102>>9104
А выше по треду посмотреть или гугл использовать никак?

Ой, извините, я забыл, что я сюда уже постил, и забыл, как вы отреагировали. Так что не обращайте внимания, я удаляюсь.
9102 и 8670-кун

Слушайте, я ничерта не понимаю.
Скачал я новую версию граббера, ужаснувшись от нового интерфейса, и попробовал скачаьб что нибудь с гелбуры. Но он мне начал выдавать incorrect filesize.
Ну, я полез за старой версией, но она выдала тоже самое.
В чём проблема?

>>9126
incorrect filesize говорит, что сервер оборвал соединение до того, как файл \на самом деле\ докачался. Возможно, у тебя слишком медленные интернеты и слишком много потоков скачивания? Проверил у себя, все окей.

>>9128
И в самом деле. С соседского вайфая всё грузится, а вот 3г модем не позволяет качать. Чёрт.

Автор кошкограббера - няшка, его мать - милашка. Обожаю бекапить ей интернеты.

>>9138

>его мать - милашка. Обожаю бекапить ей интернеты

o.O

Грабер не воспринимает файлы залитые на пиксив после 11 марта

>>9177
Поправлено. Теперь закачка с пиксива станет дольше.

>>9189
Не помогло

>>9192
Теперь точно исправлено.

У кого-то день дурака был позавчера, а у меня сегодня...

>>9195
Да, все отлично. Спасибо.

>>9148
Респект автору выражаю. Я с большой радостью своё скриптоговно на баше выкинул, обретя эту программу.

>>9095
В том, что не должны дублироваться ресурсы откуда скачивается.



http://milf.booru.org

>>9211
Должны. С одного ресурса по разным тегам и настройкам, нэ?

Как получить название папки для сохраниения файлов в стиле "2012.04.07" ? Возможно ли употреблять теги для времени вне %posted:yyyy-mm-dd% вот таких конструкций?


И 2е - программа не хочет сохранять путь, куда в прошлый раз закачивались изображения. Ничего не работает

>>9241
>Возможно ли употреблять теги для времени вне %posted:yyyy-mm-dd% вот таких конструкций?
В точности как ты написал. Мог бы просто попробовать перед тем как написать. :)
>не хочет сохранять путь
Баг, подправлю.

Вне зависимости от количества потоков в настройках, при построении списка chan.sankakucomplex.com выдает "Too many requests - please slow down..."
Версия - 2.0.1.51a,
Тег - fran

>>9277
Ваш интернет из ту фаст, сделайте ваш интернет медленнее. Поставь один поток. На данный момент это лучшее, что я могу посоветовать. У тебя граббер умудряется листать на одном потоке быстрее, чем то позволяет слоупочные санки.
Над искусственными паузами, которые гарантируют определенное время между запросами, я работаю. Пропущенные из-за ошибки страницы можно перезагружить (после завершения загрузки списка начать загрузку списка снова).

>>9279
>Ваш интернет из ту фаст, сделайте ваш интернет медленнее.
Раньше интернет был ту слоу, теперь ту фаст. Дожили, лол.

В любом случае, спасибо. Добра тебе.

>>6278
Nekopaw написан на Pascal? Да ты волшебник. Без шуток.

>>9281

Да тут вообще заповедник паскальщиков. В то время, как пацаны на нольчане, в зависимости от уроня аутизма, ориентации и гендерной идентификации пишут на хаскеле, лиспе, сишке, плюсах, джаве, сишарпе, питоне и руби, обитатели этой борды дружно насилуют паскаль.

>>9284
Но ведь Нульчан давным давно помер от химиотерапии.

Спасибо за обновление.

>>9281
Мой профессиональный язык на текущий момент. Начал писать на нем и соответствующими компонентами чтобы лучше понять подводные камни. Думаю, весьма повсеместная практика. Когда необходимо будеать что-то писать, напр. на C#, начну новый проект на нем, скорее всего. Практический смысл очевиден же.

>>9315
Что-то вроде бампа получается :)

Автор, снова перестала работать закачка по галерее пользователя с FurAffinity и deviantART.
Когда пытаюсь качать, в логе ошибок пишет это: Could not convert variant of type (OleStr) into type (Double).
Спасай!

Поправлено.

>>9333
Всё равно не работает, с FurAffinity по прежнему не качает. Вышеуказанная ошибка пропала, но после нажатия кнопки "завершить" — ничего не происходит. Список изображений не формируется.

Pixiv отвалился похоже, не создается список - после нажатия завершить, открывается окошко списка и ничего не происходит.

Тег レイレイ версия 2.0.1.56а.

>>9339
Баг был в другом. Для добавления e-shuushuu ужесточал правила группирования тэгов, изменения оказались не совсем совместимы со старыми условиями. Поправил скрипт под новые правила.

>>9344
Снова изменился шаблон. Влепили javascript по середине страницы, и он почему-то криво обрабатывается xml-парсером (на нем содержимое документа обрывается). Завтра разберусь.

idol.sankakucomplex сломался, больше 20 результатов не выдает. Ошибок не пишет.

>>9374

Угу. В этот раз проблема в парсере. Он слишком консервативен и наглухо глохнет, если использовать << скобки не по назначению (для определения тэгов, а не в качестве внешнего текста). Блин, за 3 последних года санки первые, кто использовал скобки вот так, т.к. за все эти три года (или сколько там уже грабберу?) такая ошибка ни разу не возникала. Придется чинить там, где не сломано. В целом, решил переписать парсер так, чтобы он переваривал все популярные тупости верстальщиков.

>>9376
У тебя свой парсер html? Зачем? Просто используй нормальную DOM-библиотеку.

>>9378
Идеология "использовать как можно меньше внешних ресурсов". Я и SSL библиотеки не стал бы использовать если бы была возможность. Кроме того это меня все равно не спасло бы от ошибок там, где они должны быть (т.к. я не могу каждый раз говорить авторам ресурсов их исправлять), но в этом случае я бы отвечал "используемые мной библиотеки так не могут, исправить не смогу", а не "допишу свой парсер и тогда он сможет обходить эту ошибку".

>>9379
Любишь велосипедить? Молодец, далеко пойдешь. До ближайшего <<.
Я хуею с вас, школота.

>>9383
3 года на рынке написания велосипедов :( Почему-то все известные миру крутые качали с фреймворком и дллками, не жили дольше .5 лет после появления на свет, не говоря уже о том, чтобы они могли качать больше чем с 2.5 бур. Видимо, они все открыли себе скрипты на перле и больше такой хунтой не занимаются.

>>9388
Потому что авторы из них выросли.
Писал качалку в 2009

>>9391
Не иначе как после написания первой качалки авторы начинают чувствовать себя серьезными разработчиками. А как известно, серьезные разработчики делают только серьезные вещи, нэ.

>>9383

Регеэкспы? Не, не слышал.

>>9395
Ты парсишь хтмл регекспами? Да ты просто классический дебил.

>>9393
Нет, просто больше нет интереса писать качалки, потому что одну уже написал.
После качалки обычно пишется жаббер-бот какой-нибудь.

>>9399
Но почему просто не взять один из 10ков давно сделанных, или сотен не доделанных, с открытым кодом на куче разных языков и диалектов?

>>9401
потому, что там школьно-студенческое говно

>>9398

Если писать скрейпер на питоне, прекрасный суп, который использует регеэкспы, проще в использовании чем какой-нибудь меканайз. Где твой бог теперь.

>>9401

Тащемта с таким подходом уже все написано, зачем вообще что-то писать. Алсо забавно, буржуи пишут ирс-боты :3

>>9379
> ошибок там, где они должны быть
Ошибка в твоём парсере, не поддерживающим стандарт. Если браузеры эту страницу отображают, значит с ней всё в порядке, и любая DOM-библиотека с ней бы справилась.

>>9403
А то, что пишет человек, перед этим в первый раз написавший качалку, которая может не больше чем любая другая до него, конечно, будет чем-то лучше?

>>9406

>Ошибка в твоём парсере, не поддерживающим стандарт. Если браузеры эту страницу отображают, значит с ней всё в порядке

Зысь нигга сериос?

Браузеры спецально делают так, что бы они прощали отклонения от стандарта, если браузер что-то поддерживает, это не значит, что это стандарт. Браузеры например прощают отсутствие заголовка в штмл, декларации типа скрипта и т.п.

>>9408
Это всё не критично. Короче, дай ссылку на проблемную страницу, попробую скормить её expat и tagsoup.

>>9406
Только вот браузер не все обрабатывает так, как мне надо. Например популярная ошибка с использованием символов-изоляторов в изолированных тем же символом строках (title='It's_hammer_time_'). Согласно стандарту ошибкой считается весь "лишний" текст за закрывающим ', и мы проебываем всю нужную нам строчку. Мне бы пришлось сначала исправлять html-страницу, а затем скармливать ее стандартизированному html-парсеру. В такой ситуации велосипед ничем не хуже библиотеки с костылями, особенно если учесть, что разница лишь в интерпретации текста. Или даже лучше, т.к. велосипед можно в любой момент переписать и дописать.

>>9404
Адресую тебя к верхнему ответу здесь:
http://stackoverflow.com/questions/1732348/regex-match-open-tags-except-xhtml-self-contained-tags

>>9411

Пусть напишут авторам прекрасного супа что бы те срочно удалили либу.

>>9409

Я к опу и его парсеру никакого отношения не имею.

>>9404
Растолкуй мне смысл своего поста, пожалуйста. Ты тонко намекаешь, что этот твой суп - бесполезное говно от обгвидков, не могущих даже парсер осилить?

>>9407
Нет, будет таким же говном. Смысл не в продукте (грабберы никому нахуй не нужны), а в процессе. В наработке опыта.

>>9413
Мне доводилось работать с кривым html. Связка tagsoup+hxt терпела, в частности, все издевательства зоев над вакабой. Некоторую роль тут, возможно, сыграла ленивость языка и библиотек, многие отступления от стандарта могут просто игнорироваться, если проблемные места явно не используются.

>>9415
Т.е. автор кучи брошенных проектов как бы имеет преимущество над автором одного постоянно дорабатываемого проекта в опыте?

>>9417
Я хуею с того, что у тебя происходит в голове, парень.

>>9418
А я пытался разобраться в том, что творится в твоей. С твоей же точки зрения выходит, что не доводить никаких дел до конца, а лишь поверхностно пробегаться по тем же местам, на которых остановились все до тебя - это что-то полезное и приносит опыт. Писать велосипеды даже в опытных целях, и дорабатывать калькуляторы сверх того, что может любой другой калькулятор - верх школотронства. Хотя успешные почему-то после того, как бросать качалку, берутся за ирк-бота, будто в нем больше пользы чем в качалке. Оказывается, внезапно, даже эти успешные люди были школололками когда-то. А особенно смешно, что при всей этой каше в твою голову даже ни разу не пришла мысль, что это может делаться просто потому, что это /интереснее/, чем копипастить десятки давно до тебя сделанных вещей, а велосипеды делаются не для того, чтобы с помощью них делать работу, с которой справится сторонний продукт в два раза лучше, а для того, чтобы глубже разобраться в принципах его работы, потому, что это /интересно/. Я кажется как минимум раза по два в каждом новом треде пишу, что я этот проект начинал для себя в исследовательских целях, а "качество" и т.д. будут прилагаться по ходу дела, поэтому я строго придерживаюсь поставленных в начале проекта принципов и игнорирую предложения "порекломировать на других бордах" или "пособирать статистику, кто и откуда пользуется".

Сколько даже в /dev/'е автобуса уже побывало авторов, которые радостно объявляли о рождении своего великого творения, скрещенного из горстки примеров по использованию известных фреймворков и библиотек. Нахрена они показали свое детище миру и бросили гнить на 100х страницах после 10ка постов о багах и просьб об улучшении? Они поняли, что так признания не добиться? Поняли, что им не интересно писать того, за что взялись? Поняли, что для того, чтобы попытаться реализовать чужие просьбы, примеров по использованию не хватает и нужно думать своей башкой? Хотя, вполне вероятно, как большинство начинающих авторов, они просто не могут сконцентрироваться на чем-то одном, им хочется браться сразу за все, потому, что все интересно.

И почему-то в /dev/ разных анонимных борд всегда находятся знатоки, которые говорят "Зачем ты пишешь велосипеды? Используй dll'ки, там все давно за тебя написано!", "Все взрослые программисты уже давно не занимаются тем, чем занимаешься ты", "Будущее за Хаскель!". Будто на анонимной борде кто-либо когда-либо выступал не с очередным велосипедом (а чаще всего это тред про "ищу программистов, которые реализуют то, что я придумал" или "а как вывести hello world в консольном приложении?").

>>9422
>С твоей же точки зрения выходит, что не доводить никаких дел до конца, а лишь поверхностно пробегаться по тем же местам, на которых остановились все до тебя - это что-то полезное и приносит опыт.
Вот именно с этого я и хуею. Поскольку это ложная посылка, дальше читать не имело смысла.

>>9422
tl;dr: ОП написал самый крутой проект за историю этой борды, и мнение остальных неудачников ему просто не интересно. Расходимся.

Споры спорами, а я благодаря автору некопава только что закончил еще один пак, на этот раз Йоруичи. За что ему спасибо.

Вот эта >>9422 Мокона всё правильно сказала.

_один из авторов, которые радостно объявляли о рождении своего великого творения, скрещенного из горстки примеров по использованию известных фреймворков и библиотек, понявших, что для того, чтобы попытаться реализовать чужие просьбы, примеров по использованию не хватает и нужно думать своей башкой_

А тем временем 1.1.0.22 накрылся пиздой

ERR
ERR
ERR
ERR
ERR
ERR
ERR
ERR
ERR
ERR
ERR
ERR
ERR
ERR
ERR
ERR
ERR
ERR
ERR
ERR
ERR
ERR
ERR
ERR
ERR
ERR
ERR

Ну и что это такое?

>>9539
У меня аваст таким же образом отреагировал на мой уже много лет использующийся utool portable.

Оп, я внимательно посмотрел на настройки программы и так и не нашел отдельных настроек для каждой борру по потокам и скоростям скачивания. Запилишь?

Я очень хочу те же самые настройки, что и в основной конфигурации, только отдельно для каждой доски. Вообще непонятно зачем нужен сейчас чекбокс наследовать конфигурацию.

>>9612
Просто потоки и т.д. относятся к конфигурации программы, а к конфигурациям борд относятся "тэг" и "путь сохранения". Предполагалось, что моут быть другие настройки, поэтому опция на всякий случай была добавлена.

Могу прикрутить частное кол-во потоков и задержки между страницами/пикчами. А скорость контролировать в частном порядке нет особого смысла, эта опция нужна для того, чтобы не забивался канал пользователя, а не ресурса, а ресурсы самостоятельно регулируют твою скорость доступа.

Разработчик-кун, данбура опять тупит и на этот раз отказывается выдавать листы более, чем в 100 пикч.

>>9642
Самая бредовая ситуация, которая может возникнуть при работе с "обновляемым" фреймворком - имена ключевых слов меняются на "более красивые", а в итоге старый код перестает работать. В API данбуры тэг "total_count" поменяли на "total-count" и в итоге подсчет кол-ва страниц отвалился.

>>9616
> Могу прикрутить частное кол-во потоков и задержки между страницами/пикчами.

Сделай пожалуйста. Буду очень рад этому

>>9616
> Могу прикрутить частное кол-во потоков и задержки между страницами/пикчами.
Сделай пожалуйста. Буду очень рад

Восстановление активности планируется на 17е+ число, со вчерашнего дня не в городе, и не будет 10 дней. Думаю, к тому времени и настроение появится.

Реквест нормального граббера с тумблеров.

Здравствуйте, дайте пожалуйста ссылочку на грабер для exhentai и т.п. а то это пи*ры не православные поставили новую защиту и теперь старенький грабер 1.1.0.2 уже не грабит, я в трауре((((

>>9682
На моей памяти старый граббер был один такой.

Почините для Exhentai!
Ну пожалуйста!

Всё очень плохо. Без хентаеграбера и жизнь не мила. Есть вероятность того, что появится 1.1.0.23?

>>9704
В 1й нет. Планировалось в недалеком будущем запилить на 2й.

А запись тегов в метаданные jpg в ветке 2.х будет?

>>9706
Планировалось. Будет ли - это вопрос другой. Хрен его знает. Вообще, опция средней пользы.: 1) теги берутся в подавляющем большинстве только с буруборд, на других бордах такая инфа не собирается (ибо неоткуда); 2) эту инфу можно записать только в JPEG файлы, ни один другой формат не поддерживает записи метаданных такого характера;

Давненько тут не был. Подскажите, а что это за новый неколапка граббер? В чем различие со старым добрым?

>>9729
В текущих реалиях он работает.

С pixiv можно брать тэги, с e-hentai по моему тоже.
Но не хотелось бы, чтобы по умолчанию файлы как-то изменялись - ведь тогда изменится md5 хэш файла.

>>9734
Это 3я беда записи в EXIF.

Автор, а добавь такую функцию чтоб на FurAffinity можно было и из папки Scraps арт вытягивать.

>>9665
>>9762

Добаулено.

оффпост: у одного у меня выработался страх перед переходом строки при написании сообщений? Все время тянет нажать shift + enter чтобы случайно не отправить пост из-за всех этих дурацких служб сообщений. Что-то вроде привычки нажимать и shift+ctrl и sift+alt последовательно при каждом переключении раскладки.

>>9762
>>10038
Работает, спасибо.

>>10039

>9762 25.06.2013
>10038 27.06.2013
300 постов? За два дня? На моем автобусаче?

Ёлы-палы, посоны, всё поломалось. (Да, слоупок)
Пичаль-бида.

Ожидать ли в ближайшем (относительно) будущем, что к Graber 2.0 прикрутят exhentai и g.e-hentai?

>>10057
Да. Сейчас одна из приоритетных задач.

>>10042
Глазастый. Я ловил 9999 :3
С ходу выпало 9777, так ещё лучше получалось, с тройным-то дном (Сырно, да по всему Союзу...), но слишком поздно заметил фатальную ошибку в названии (少女の氷点 — хотя что-то похожее и было одним из вариантов).

Я вот прямо чувствую, что зря спрашиваю, но нет ли способа, качая галерею с deviantart, сохранять папки в галерее? Возможно, для этого предусмотрен какой-то тег?
Алсо, программа-то приятная, спасибо, автор-няша :3

>>10204
Какие папки? Категрии? Или что ты имеешь ввиду?

Есть три поля дополнительных: category - полный путь до изображения; highcategory - верхний уровень изображения; lowcategory - нижний уровень. Оно?

>>10207
Мм, ну вот если ты откроешь почти любую галерею пользователя на девиантарте, то слева увидишь колонку, озаглавленную Gallery folders.
Например, здесь http://dreamfloatingby.deviantart.com/gallery/ (прости, пожалуйста, если оскорбил твое эстетическое чувство, рандомный профиль же) есть папки Night and Day, Midnight, Ann и так далее. Нет ли возможности качать эти папки в разные папки на диске? Пробовал использовать в качестве тега название папки, не всегда работает.

>>10220
>если оскорбил твое эстетическое чувство
не парься, я все равно там только кирпичи увидел.

Пачкой разбить на коллекции не получится, в лучшем случае смогу только дать возможность качать каждую коллекцию по отдельности, в этом случае я смогу "запомнить", из какой коллекции получаемые пикчи.

Ну, это было бы неплохо, конечно. Буду ждать, заранее большое спасибо.

Что есть для Пиксива

Exhentai пока никак?

А можно добавить поддержку Вконтакте в imgbrd-grabber?

>>10338
Спроси его.
Не уверен, что он вообще знает существовании вк (равно как любой другой рус. соц. сети).
Не считая того, что этот граббер не качает ни с чего, что не похоже на данбуру или гельбуру.

>>10339
Как будто бы во Вконтатике есть что-то, не репостнутое откуда-нибудь.
Или >>10338 хочет фоточки друзяшек качать?

Няша, спасибо за g.e., потестим. И добавь http://elderscrollsbooru.booru.org бура по ТЕСу.

Запилите гайд по имейдж грабберу, а то я скачал последнию версию и нихуя не понял.

>>10375
http://code.google.com/p/imgbrd-grabber/wiki/GettingStarted

Спасибо за ТЕСобуру.
>Maybe I should add something like "download from %generic%.booru.org" feature;
Было бы шикарно. Есть на примете еще http://vinesauce.booru.org/

В тредик уже писали по поводу поломки e621 ?

>>10403
В дополнение:
Вот моя строка тегов. По поводу её
2013.09.04 $tag$\$short$\$nn$ $tags(7)$.$ext$
1. Можешь добавить тег для такой даты? Или пояснить мне как её получить?
2. $nn$ начинает добавлять числа 1,2,3 и по порядку. Я хочу тег, который выводит числа в таком формате: 00001, 00002, 00003 etc

>>10359
>>10378

На страничке проекта на коде.гугл нет инструкций по самостоятельному добавлению новых бурр. Хотя такое возможно

Есть ли возможность к imgbrd-grabber добавить функцию скачивания пикч, пришедших в личные сообщения на deviantart`е ?
Было бы очень удобно, сохранять все накопившиеся арты пачками.

>>10403
Поправлено.

>>10404
>1. Можешь добавить тег для такой даты? Или пояснить мне как её получить?
Для какой такой даты? Ты хочешь сегодняшнюю дату получить? Никак, но идея хорошая. Добавлю ключ $date$ в след. версии.

>00001, 00002, 00003 etc
https://code.google.com/p/nekopaw/wiki/NekopawGUI#Name_formatting
$nn:.u5$

>>10405
Да, это возможно, но там самодельный скриптовый язык, который, вестимо, мало кому захочется изучать :) Хотя словарик по языку все равно надо написать, джа. Для самостоятельного изучения он всегда был доступен в виде примеров скриптов всех ресурсов в папке resources.

>>10408
imgbrd-grabber'ом же вроде нельзя грабить DArt.

>>10411
Ошибся. Я имел в виду nekopaw grabber.

>>10408
Не знаю, как настроить у себя такую лабуду. Напиши краткую инструкцию чтобы я мог "воспроизвести".

>>10405
>>10410
Не знал, что можно свои добавлять. Прикрутил себе vinesauce.booru.org, спасибо.

Няша, спасибо за exhentai. Но твой граббер2 лист сохранять умеет или я не понял, где это?

>>10417
Есть поле ввода логина/пароля. Уже первый шаг.
Потом малость поскриптокодить так, чтоб граббер мог видеть "девианты" в личке, чтоб он понимал ссылки подобные таким
http://www.deviantart.com/messages/#view=deviations%3A21670283
В поисковый модуль добавить выкачку артов, пришедших в личку.

Скрипт от ховерзума (не знаю, поможет иль нет)
var hoverZoomPlugins = hoverZoomPlugins || [];
hoverZoomPlugins.push({
name:'deviantART',
prepareImgLinks:function (callback) {
var res = [];
$('a[data-super-img]').each(function () {
var _this = $(this),
url = this.dataset.superImg;
if (options.showHighRes && this.dataset.superFullImg)
url = this.dataset.superFullImg;
_this.data().hoverZoomSrc = [url];
res.push(_this);
});
hoverZoom.urlReplace(res,
'a:not([data-super-img]) img[src="deviantart.net/fs"], [style="deviantart.net/fs"]',
/\/(fs\d+)\/\d+\w+\//,
'/$1/',
':eq(0)'
);
callback($(res));
}
});

>>10430

Запили пару слов как качал с exhentai\g.e-hentai.
У меня выдает пикрелейтед.

>>10430
Пока не умеет.

>>10433
вставлять нужно ссылки от альбомов. Можешь вставить сразу список ссылок, если используешь tag list. Собсно, сейчас думаю над подсказкой, что нужно вводить, ото сейчас для некоторых бур без ченжлога не разберешься.

>>10432
Вообще-то, я спрашивал, как эту лабуду настроить на девианте, а не как ее реализовать в своей программе.

Я хотел узнать, что нужно сделать, чтобы эта фигня начала у меня накапливаться. Т.е. что это, подписка на какие-то уведомления, добавление в какую-то группу? Или люди прямо тебе в личку шлют картинки? Мне нужно сделать себе свои собственные посты в инбоксе чтобы распарсить результат.

>>10442
Да, подписка на обновления (или вступление в группу, без разницы).
Например это сообщество http://all-world-works.deviantart.com/
кнопка Watch, в появившемся окне должна стоять галочка напротив "Deviations".
Через некоторое время, в личку должны поступать свежедобавленные в группу арты.
http://www.deviantart.com/messages/#view=deviantwatch

Санки поломались? Граббер находит все изображения по тегу, но продолжает листать страницы до 1000, ничего не находя.

2.0.1.83, тег bayonetta

>>10452
Одминистрации ресурса кажется забавным, что ссылка в металинках с пометкой "last" указывает на страницу №1000. Поэтому и листает. Изо всех сил стараются усложнить жизнь своему ресурсу, заставляя скрипты листать каждую страницу чтобы просто узнать, сколько страниц найдено по тегу.

Автор-кун
пс Зерочана не качает дальше 100й страницы из-за неправильных ссылок, пофикси пожалуйста :3

>>10516
Автор-кун тоже не может, и вовсе не из-за неверной ссылки. http://www.zerochan.net/Cross-Over?p=101

Так что там с альбомами пиксива, все еще не работают? Я все ссылки из журнала ошибок заботливо схоронил в отдельный текстовый файл, в итоге у меня на руках 400 ссылок на альбомы, и бросать жалко и вручную собирать влом.

>>10590
И давно оно не работает?

>>10591
А уже пофиксили, чтоль? Я не знаю, я вчера скачал Nekopaw v2.0 и запустил, оно на все альбомные ссылки выдало ошибку "Размер не соответствует". Сейчас я уже нашел альтернативу и собранную коллекцию нескачавшихся ссылок докачиваю через PixivDownloader.

>>10604
Нет, не работает, сам только увидел. Просто интересно, сколько времени никто не говорил о проблеме или не пользовался пиксивом.

>>10604
Баг появился сравнительно недавно (после недавних обновлений), поэтому, похоже, тыпервый его обнаружил. Поправлено.

Объясните, в каких случаях на гелбуре выскакивает таймаут в 10 секунд?

>>10609
Ошибка "таймаут" или рекламная пауза на просмотр баннера?

>>10610
>или рекламная пауза на просмотр баннера?
Скорее всего это. Нужно еще ждать 10 секунд вроде, точно не помню.

>>10611
Обычно рекламная пауза выскакивает сразу же после первой искомой страницы, а затем примерно каждые 100 или около того страниц/запросов.

>>10612
>а затем примерно каждые 100 или около того страниц/запросов.
А как там определяется, сколько я сделал запросов/загрузил страниц? По кукисам, или ip?

>>10613
i don't know, lol

Попробовал написать парсер гелбуры на перле, вот результат.
http://pastebin.com/qaqauFUR
Сделано, конечно, по быдлокодерски, но щито поделать.

>>10615
> вместо gelbooru API обращается непосредственно к веб-страничке
> парсит html регулярками
> хардкод
Typical perl codes.

>>10619
> парсит html регулярками
Будто что-то плохое. Мне, покрайней мере, так удобней.
> вместо gelbooru API обращается непосредственно к веб-страничке
Я хотел сделать с использованием API гелбуры, только я не разобрался, как определить конечную страницу изображений, чтобы завершить программу.

>>10620

>Будто что-то плохое.
Nothing at all. Keep going.

>>10620
http://www.codinghorror.com/blog/2009/11/parsing-html-the-cthulhu-way.html
Это уже такой мем среди шарящих.

>>10615
http://pastebin.com/SR4Vrd6R
Немного подправил. Теперь используется API гелбуры. Теги и путь к папке указываются в качестве аргументов командной строки.

>>10620
> Будто что-то плохое.
Да нет, что ты. А попробуй, кстати, включить в имя файла дату его загрузки, и, если есть увеличенная копия этого файла, загружай её вместо обычной. Регулярками, разумеется.

>>10619
> хардкод
Щито?

>>10630
это когда ты вместо входящих извне параметров ты используешь "жестко забитые" в код параметры. Так мне сказал гугол.
Ну, как хардсаб или зарддам, только в программировании.

>>10630
А погуглить трудно?

v 1.1.0.22
C chan.sankakucomplex.com при попытке даунлода отдаёт пикрелейтед.

>>10698
Всегда удивляла проблема людей с пониманием ошибок ненахождения библиотек. В данном случае довольно очевидно, что у тебя недоустановлено что-то, что устанавливает в системе данную библиотеку. Напр. qt framework.

>>10682
>v 1.1.0.22
Больше не сопровождается.

>>10699
>Больше не сопровождается.
А ге тогда последнюю взять?

>>10700
*где

>>10701>>10700
>nekopaw grabber: code.google.com/p/nekopaw/

А для hentai-foundry можно закачку из раздела Scraps добавить?

>>10723
можно. Собсно, закончил один из больших патчей, так что в ближайшее время пока буду допиливать набравшиеся реквесты.

>>10726
Спасибо.

Что-то не работает выкачка скрапсов >>10723. Любую из трёх опций выбираю, в итоге всё равно ищет только в основной галерее.

>>10735
А, похоже, понял, в чем разница. Я добавил поиск в скрапах через продвинутый поиск, а ты, видимо, ищешь в работах автора. Допилю.

>>10736
Да, по автору искал. Спасибо.

>>10443
Видимо, далеко не в ближайшем будущем. Не удается получить какой бы то ни было прямой доступ к данный на странице. Данные генерируются жаваскриптом, и реквест/респонд не цепляется фаербагом, а концентрация .js'ов на страницу слишком высока, чтобы искать среди всего этого реализацию. Прикручивать "реальную" обработку явы ради этого я, очевидно, не буду. Такие дела.

yande.re самозаблочился для русских IP, он доступен через иностранные прокси. В Московии по большей части так же запрещен доступ к санкам, донмаи и гелбуре. Судя по тенденциям, впн и прокси скоро станет обязательным для скачки картинок. Интересно, когда начнут устраивать облавы на "коллекционеров" картинок с лоликоном?

>>10768
Ну значит пора добавлять в программу функционал соответствующий. Хотя мне кроме сейфбуры и не нужно ничего, да и оттуда паки еще приходится чистить вручную.

>>10768
Да брешут они все, у меня все открывается, даже яндере, а уж он-то от провайдера не зависит.

>>10768
Гелбора есть в списках, данборы нет. Остальные не знаю. Облавы начнут устраивать на рашкоюзеров, решивших выложить свое добро в паблик.
>>10769
Прокси вроде есть. Функционал pptp добавлять - вообще пушка.

санки выдают соотвествющую плашку (доступ к запрашиваемому ресурсу ограничен), гелбура с данбурой пока работает. Видимо, у разных провайдеров разная степень слоупочности. Яндере вчера выдавал 403, но сегондя вроде ожил.

>>10768

Какие-то рашкопроблемы у вас.

Насколько сложно прикрутить поддержку SOCKS-проксей? В связи с последними блокировками было бы очень полезно иметь такую функцию.

>>10778
добавлено

>>10784
Спасибо большое :3