>>4777
Собрал бы все рабочие качалки и поместил в оп-пост.

>>4779
Чиочую этого кот бы сделал-куна
еще один кот бы сделал-кун

Там уже просил, на всякий случай и здесь попрошу кодер-куна добавить поддержку http://ponibooru.413chan.net/

>>4784
Ух, ты. Какой хороший сайт. Запомнил.

Реквестирую поддержку http://www.zerochan.net

А с ii.booru.org ваша качалка работает?

>>4784
Здесь http://files.mail.ru/4SN7YX . Там косяк с explicit и questionable пикчами. Специально прога не лезет на страницу с подробностями, поэтому миссаются.

>>4787>>4788
Если не завтра (работаю), то послезавтра.

>>4789
Спасибо. А если в тэгах прописывать специально, всё равно не?

>>4790
Ссылка на пикчу определяется по тамбу, в тамбе пикча левая, а по ссылке на страницу пикчу не определишь (если, конечно, не загрузить эту страницу и не посмотреть, но для этого надо дофига допиливать, а так лень :/).

>>4791
Было бы кошерно напрячь тебя этим на досуге, но всё равно спасибо, не буду зажираться. Респект тебе от всех руброни.

>>4792
Да загонялся в свое время, сейчас только на доделках :) .

C g.e_hentai.org связаны две проблемы:

1) После поиска выдается предварительный список сетов, в котором нужно пометить нужные темы (сэты). Но их может быть много и неудобно каждый кликать чтобы поставить галочку. А кнопка "Check" в заголовке неактивна - серого цвета и не нажмается. То есть нельзя выделить все и нажать Check - нужно долго кликать мышкой на каждом чекбоксе.

2) g.e_hentai.org выдает такое сообщение из-за слишком быстрых запросов:
"Your IP address has been temporarily banned for using automated mirroring/harvesting software and/or failing to heed the overload warning. The ban expires in 57 minutes 0 seconds"
Можно ли ввести медленный режим, чтобы вставлять между запросами какой-то интервал (может даже в настройках подбирать его величину)?
На нем много всего хорошего, а скачать очень трудно.

Пишу g.e_hentai.org т.к. этот адрес здесь забанили и банят по айпи тех, кто его пишет... (маньяки)

imagegraber v. 10734, 10735, 10736
Никак не могу понять - почему 12.06.2011 картинки с g.e_hentai.org раскладывались по подкаталогам с именами сетов, а сейчас (15.06.2011) сваливаются в одну кучу в одном каталоге. И имена файлов другие.

Было бы очень здорово, если бы graber умел записывать все теги, связанные с картинками в какой-то текстовый файл (txt/xml/html)
Надежнее всего сохранять файл рядом с файлом добавляя расширение, например 01.jpg.xml - т.к. у некоторых картинок не уникальные имена. Но можно и записывать в один большой файл или один файл в каталоге. Главное - чтобы все теги сохранялись, а картинки не изменялись.

g.e-hentai.org убран из спамфильтра, если что.

>>4807
sqlite и md5/sha1.

Как обычно, когда ты имеешь планы, в советской россии планы имеют тебя. Поэтому задерживаюсь с ыыбурой и зерочаном.
>>4799>>4806
Проверю, поправлю.
>>4807
Вообще-то можно сохранять список, там формат csv.

>>4812
>Вообще-то можно сохранять список, там формат csv.
А, да, совсем забыл, там все тэги в куче, а для каждой пикчи указан порядковый номер тэга. Тогда придумаю что-нибудь.

Перезалил http://files.mail.ru/98XZA3

>>4787>>4788
Добавил.

>>4799
1) Теперь можно делать check
2) Добавил поле для ручного ввода минимального промежутка времени между запросами, но все-таки рекомендую уменьшить количество потоков.

>>4806
Нашел только проблему, при которой при сохранении грабер путал ехентай с е621 (следовательно после загрузки не правильно определял метод скачки), пофиксил.

>>4828
Спасибо!

Под вайном не работает. Жаль.

>>4828
С g.e_hentai.org оказалось проблема с настройками - как только удалил .ini файл, заработало - стало раскладывать по подпапкам.

Проблема у g.e_hentai.org в том, что когда программа пытается делать много запросов (даже просто к вебстраницам), то блокируется IP адрес.
То есть задержка должна быть даже когда собирается список изображений. А может вообще количество обращений с одного IP ограничено?

>>4811
База была бы неплохо, но труднее вытаскивать оттуда, да и поодержку базы данных лепить только ради этого имхо слишком. А вот сsv-подобный формат прост, даже лучше чем xml.

>>4830
Зачем тебе под вайном, когда в предыдущем треде тысячи нативных?

>>4834
>поодержку базы данных лепить только ради этого имхо слишком
>sqlite
>3 строчки кода и 1 дллка

http://files.mail.ru/E17E4C

>>4807
Можно сохранять список в виде цсв: имя файла;тэги через пробел.

Подправил баг, при котором с ыыбуры оценка и рейтинг попадали в тэги.

>>4834
Задержка между запросами во время загрузки 3 сек, качается в 1 поток (последовательно).
Скорее всего есть промежуток времени(прим. 1 мин.) при превышении которого считается, что человек на такое не способен.

Когда graber пытается создать подкаталог с именем альбома, которое содержит знак "?" или другие запрещенные символы, - он обламывается и пишет ошибку (картинка конечно пропускается).

>>4853
Странно, вроде делал проверку на запрещенные символы, проверю.

А можно сделать так, что с нескольких имеджборд прога скачивала?

>>4864
кажется можно 2 или 3 проги одновременно запустить

Можно, но не удобно =

Я к тому, что выделил нужные имджборды, поставил качать и ушел по делам/пошел спать...

>>4876
Так делать плохо, тупо. А вообще хотел замутить загрузку нескольких списков подряд, но забил со временем.

Ясно... А возможно ли устроить скачивание с http://minitokyo.net/ ?

Все-таки при скачивании с g.e-hentai.org graber пытается создавать папки со знаком вопроса в имени сета. Например при запросе:
Ookiku nattemo Fate
Получаются ошибки:

24.06.2011 15:51:11 Line: 0, http://kim9.hentaiverse.net/ehg/image.php?f=7b1c6f08665cd0ad0febf9e10b99368c00e4da09-189657-1200-841-jpg&t=363588-b3ab6f2a2c256b6d3daec0c9cfb0dd43e759
3bce&n=000.jpg Cannot create file "C:\graber\downloads\Ookiku nattemo Fate\g.e-hentai.org\(C79) [FASTEST LAP (MIO)] Ookiku nattemo Fate ga Sukidesuka? (Mahou Shoujo Lyrical Nanoha)\000.jpg". The filename, directory name, or volume label syntax is incorrect
...........
...........
...........
24.06.2011 15:51:33 Line: 26, http://kim9.hentaiverse.net/ehg/image.php?f=2cd5ebf44744eab96bcb60b16ec5f57e1b9330fd-321954-1119-1600-jpg&t=363588-3e73d7df78a1fefef01cd7f42fa8d78ced0
9822d&n=022.jpg Cannot create file "C:\graber\downloads\Ookiku nattemo Fate\g.e-hentai.org\(C79) [FASTEST LAP (MIO)] Ookiku nattemo Fate ga Sukidesuka? (Mahou Shoujo Lyrical Nanoha)\022.jpg". The filename, directory name, or volume label syntax is incorrect


И такое в очень многих сетах - там часто в названиях сетов используются вопросы и других недопустимые для названий папок символы.

Добавьте по возможности.
http://www.animepaper.net/
http://www.animewapers.com/

При работе в пиксивом прога создаёт список только на 10 страниц, т.е. всего 200 файлов. Раньше лимит был в 1000 страниц. Нельзя ли это как-то исправить?

>>4898
У меня все в порядке. Ключевые слова какие используешь?

>>4902
Странно, попробовала включить программку на другом компьютере, и там она действительно замечательно работает. А вот на моём компе создание списка по абсолютно любому тегу обрывается на 10 странице, и хоть ты тресни! У меня такое чувство, что мой IP был внесён в какой-то чёрный список, для которого ограничены некоторые функции. Ладно, придётся теперь через другой комп списки создавать…

Стив, проверь как у тебя качает со safebooru. У меня качает только миниатюры, которые даже не скачиваются корректно...

выдает "29.06.2011 1:02:43 Line: 5, /data/8d/6f/8d6f9be577bdb5ded2068f75623a4ab1.jpg Unknown Protocol" при скачивании с е621
пофиксите

>>4903
Сотри файл с настройками - у меня тоже были другие глюки пока не стер файл settings.ini

>>4913
Да, кажется именно safebooru подставляет для graber'a вместо картинок заглушку, а при открытии в браузере всё нормально.

И еще хотелось бы фикса для g.e-hentai.org с его недопустимыми именами сетов

Это потому, что в список добавляет локальные, а не абсолютные инет-адреса.
Наверное ты говоришь о e621.net - у меня то же самое. Исправить можно записав на диск список, потом заменив в текстовом редакторе /data/ на http://e621.net/data/ и потомзагрузить этот список - далее запустить скачивание и скачивать.
Но хотелось бы фикса в самой программе graber.exe
К сожалению автор где-то делся ;)>>4905

>>4914
Ой у меня все ответы перемешались в сообщении Ж) Придеца вам напрячь мосх чтобы прорчитать ;)

>>4914
Удаление settings.ini не помогает.

>>4917
Если это из-за слишком частых обращений, тогда попробуй увеличить интервал запросов на странице Download. А если его нет там, - тогда в текстовом файле settings.ini найди queryinterval=1 и увеличь цифру. К сожалению, я не знаю единицы в которых он задается. Если это секунды, то всё просто, а если миллисекунды - тогда умножай на 1000 чтобы получить секунды.

Возможно, твой богиньский инет на этом компе слишком хорош - и скорость скачиванияч или запросов превышает допустимые для pixiv.

Если не получится не огорчайся - вот тебе вместо картинок
---------/)/)-------
-------(':'=)------
----(")(")..)-----

Уезжал из города, постараюсь в ближайшие дни новый билд с фиксами запилить.
>>4920
Там пробрема с пиксивом, а не ехентаем. Не могу сказать, что не так, т.к. не могу воспроизвести ошибку. Я тоже тэстю на 8мбитах, так что скорость вряд ли имеет место.

>>4921
ой хорошо.

а мегабиты мегабитам рознь - это вот игроки хорошо знают. скорость иожет быть и 20 мегабит, а пинг слишком долгий.

http://thedoujin.com Вот здесь тоже как-бы сеты, но реализованы они как бы в виде цепочек следующий/предыдущий - если нажать Edit, то там в полях они указаны, а еще там указано название в полях Title или Source.

>>4921>>4925
Думаю, тут действительно не в интернете дело, ибо во-первых он у меня относительно медленный, а во-вторых когда я пробовала запускать на другом компьютере программу, выход в интернет был тем же самым, но тогда всё работало.

>>4925
Очевидно. Но если пиксив не чувствует разницы между 10мс между запросами, то и <1мс вряд ли будет ругаться. Да и не возможно такое, т.к. минимальное время запроса примерно ~200мс тупо из-за самого пиксива. Список же получается последовательно по 1й странице.

>>4928
Какой-то геморройный способ качать додзи. Ведь есть е-хентай.

Перезалил
http://files.mail.ru/F3Y8A0

>>4895
Внезапно, не оказалось вопросительного знака в валидаторе имен, поэтому он его пропускал. Починил.

>>4913
Раньше в е621 формат строго соответствовал донмаи и бехойми, сейчас же вместо полного пути ссылки они использую короткий (без доменного имени). Поправил.

Новых бур пока не добавлял.

Можно устроить скачивание определенного количества артов? Т.е. указал число, допустим 30, он и нашел тебе 30 картинок?

>>4937
Но зачем?

>>4937
Можно же просто в списке выделить 30 картинок или сколько захочешь

Что-то с g.e-hentai.org по-прежнему проблема блокировки айпи из-за скорости скачивания.
Я поставил задержку на максимум (10), но это совсем не заметно.
Особенно быстро перебираются страницы при пропуске уже имеющихся файлов. Тогда сайт блокирует доступ с сообщением

An Error Has Occurred
You are opening pages too fast, thus placing a heavy load on the server. Back down, or your IP address will be automatically banned. (Strike 0)

А у graber это показывается как статус MISS и он... продолжает пропускать изображения до конца списка.

Короче говоря - задержку нужно настраивать в Settings и в миллисекундах. И эта задержка должна касаться всех, абсолютно всех обращений к сайту, включая запросы вебстраниц и запросы GET. Это проще сделать в виде "фильтра", через который будут пропускаться все внешние запросы - фильтр будет притормаживать очередь запросов.

>>4941
Верно. Я забыл добавить задержку для пропускаемых файлов, мой фейл. Поправлю в ближайшее время.

>>4943
Нет, при пропуске паузу поставить я не забыл. Косяк оказался несколько глубже. Переработал процесс очередей, сейчас вроде все должно годно работать.

http://files.mail.ru/6QIQU9

Объясните плиз вот на danbooru.donmai.us если искать по тэгам shota или loli то выводятся куча страниц, но они пустые - без картинок. А картинки с этими тэгами точно есть. Почему так?

>>4948
Оплати преимум и будут картинки.

нет, серьезно? а почему именно эти тэги?

Привет программист-кун. Парочка вопросов:
1. К этой программе вообще планируется инструкция? Ничего непонятно же! .А если и понятно, то только некоторые вкладки.
2. Русификация планируется?
3. Не скачивает с фуррибоору е627. Что делать?
(Список файлов выкачивается, но он не верен)

>>4951
Серьёзно. За премиум ты получишь лолей и шот.

>>4952
это самая понятная прога которую я пробовал

>>4953
и давно такие ограничения на danbooru.donmai.us ?
особенно по этим тэгам?

>>4952
>3. Не скачивает с фуррибоору е627. Что делать?
Скачать последний билд. Как минимум в последнем билде все хорошо.
На ангийском ведь понятнее же! Даже инструкция не нужна! А вот если была на русском, то пришлось бы подробный гайд по работе писать.

>>4956
>Cute, work-safe images of fully clothed girls should not be tagged as loli -- that is what the <a href="/wiki/show?title=child">child</a> tag is for.</p><p>Images tagged as loli cannot be seen without a privileged account. This is due to the advertisers not wanting their ads being seen alongside loli images. See <a href="/forum/show/4987">forum #4987</a> for further details.</p><p>If you are not sure whether or not a post should be tagged as loli or shota, ask in the <a href="/forum/show/33650">loli/shota check thread</a>.

Хорошо скачивание пошло.
А теперь объясни как пользоваться 2й вкладкой с метаданными.

От мануала на английском/русском не откажусь.

>>4965 интерфейс интуитивно понятен же

>>4959
>А вот если была на русском, то пришлось бы подробный гайд по работе писать.

Тогда запили всплывающие подсказки на английском. Ну не знаю я о + и - вставки тегов в файл. И о метаданных ничего непонятно же

>>4968
Метаданные получаются только у стандартнобур (гелбуру, данбуру, имоута и т.д. на тех же движках). Для каждого тега ведется счет, сколько раз он попадал в список. Можно фильтровать по количеству совпадений (cnt. filter). После выбора нужных тегов можешь выбрать пикчи с этими тегами (check/uncheck->by tag), дадут выбрать 2 варианта выборки: присутствие хотя бы 1го тега (or) или всех (and).
Не сделал для остальных бур потому, что тэги необходимо было брать со страницы каждой отдельной пикчи, а это пиздец как удлиняет процесс загрузки и приводит к самым непонятным глюкам (на пиксиве у меня постоянно менялась кодировка, дня 3 пытался пофиксить и потом просто выпилил функцию).

>>4968
В общем случае "чтобы можно было и сохранять и не сохранять". Если учитывать определенный частный случай, то при сохранении тэгов в файле хэш будет отличаться от оригинала.

Мануал постараюсь на выходных запилить (на русском).

>>4968
кстати, арт по вакфу.

>>4969
и тэги не все сохраняются, а только те, которые в запросе были

>>4971
Нет, все, что заданные каждой отдельной пикче.

>>4973
а сохранение их отдельно в файл xml/csv/txt ожидается?

>>4959
а есть ли способ узнать что-нибудь о спрятанных картинках - имя, md5, тэги?

>>4974
>а сохранение их отдельно в файл xml/csv/txt ожидается?
С 38го билда есть. >>4838

>а есть ли способ узнать что-нибудь о спрятанных картинках - имя, md5, тэги?
Спрятанные пикчи, равно как и инфу о них, могут видеть только премиумы. Можно прикрутить возможность логиниться из-под проги. Кроме данбуры есть и другие борды.

http://cosplay.paheal.net/
http://rule63.paheal.net/

Может и их для коллекции добавить в список:?

>>4976
>>а сохранение их отдельно в файл xml/csv/txt ожидается?
>С 38го билда есть. >>4838

А я настройки для этого не вижу. Есть опции сохранять в JPEG и в имени файла. А в отдельном файле нету.

На gelbooru некоторые картинки названы по md5 хэшу, например
8dfe7c85f4bdbcc8d06077173dbb621a.jpeg
3ad6b72c31fa81b505b46b2667b12b10.jpeg
66852cb659c3a1bf79ea3260f569838b.png

а некоторые - по-непонятному:
1295987708ed59f54da288abc7d4602fed4ca28b.png
66b63fdb10c959a4efc46fe182f7bb385dfbd898.jpg
что это за хэш?

>>4982
Попробуй сохранять список, выбери вариант "имена с тэгами".

Почему при сканировании по тегу с большим кол-вом пикч(2к+) на гельбуре скан останавливается на 50-70% от их количества, указанного на самой гельбуре и показывает что сканирование завершено?

>>4989
Ух, а у тебя зоркий глаз! И точно - сейчас сравнил по тэгу eyes_closed - gelbooru.com показывает что картинок 40000+ , а graber находит только
Так что не половина, а даже меньше - по другим тэгам. Gelbooru дальше 10000 картинок искать не хочет, если попробовать в конец пройти - оно пишет
> Unable to search this deep in temporarily.
То есть временно не может искать так глубоко. Вот и вопросик - это временно когда - на месяц или на неделю, а может днем мало, а ночью больше находит? (Хотя вроде нет - я в разное время суток пробовал и 10000 с хвостиком - это предел.)
Можно ли как-то обойти это ограничение? Может через их API интерфейс больше доступно, чем через html?

http://rule34.booru.org/

>>4989

Хотя сейсас подумал - ведь одно дело ограничение порогом 10000, а другое - когда изображений меньше 10000, но все равно graber выдает еще меньше, чем показывает сайт

>>4995
Все просто - пролистай 10 000 страниц и посчитай картинки на каждой странице. На гелбуре тоже не все тэги отображаются, и получается как на данбуре - 100500 пустых страниц.

>>4990
Сделай запрос через API и сравни, можно ли больше 10 000 страниц получить. Думаешь API и html морда у них отдельно работают?

>>4996
А какие тэги запретные на Gelbooru?

>>4997
Программа просто вытаскивает картинки из текста страницы. Если в тексте страницы их нет, значит и в проге нет. Если найдешь то, что есть на буре, но не отобразилось в проге - скажи, автор пофиксит.

Выяснилось, что у g.e-hentai.org в одном альбоме могут быть разные картинки под одинаковыми именами (например 10.jpg в SAMpart1). То есть при создании списка нужно как-то разделять их по подпапкам альбома автоматически, чтобы пути стали уникальными. Причем желательно, чтобы путь был предсказуемым и повторяющимся при повторном создании списка.

И еще - при сборе страниц для создания списка g.e-hentai.org по-прежнему банит:
> Your IP address has been temporarily banned for using automated mirroring/harvesting software and/or failing to heed the overload warning. The ban expires in 59 minutes 7 seconds

Видимо обращения слишком уж частые. Я же говорю - нужно глобальный параметр в настройках сделать с задержкой в миллисекундах, иначе так и придется заплатки ставить все время.
К тому же это позволит вежливо скачивать с бур-сайтов, не напрягая их серверы (вон у некоторых проблемы с хостингом да и ошибки типа Bad Gateway частенько показывает - то есть сайт перегружен).

>>5006
Альбом и есть подпапка. Для такого случая было сделано "при совпадении: переименовать". Хотя по хорошему надо сделать, чтобы прога проверяла совпадения в списке перед скачкой.

>>5007
При получении списка перманентная 1 сек. Не думал, что потребуется больше.

>>5006
А, а так же если убрать галочку "create dirs for albums", то имена будут соотвествовать номеру пикчи, а не ее настоящему названию (типа 352986-2.jpg)

жду обновления
(запил новых борру и инструкции)

А можно добавить опцию, чтобы автоматически нажималась кнопка Retry? Оче нужно

А теги можно сохранять с rule34 ?
Очень хочется

В общем, выхожу на связь.
Новый релиз тут:
http://files.mail.ru/0AJ6RG
- прикрутил возможность выбрать интервал между запросами при получении списка с е-/эксхентая;
- починил закачку с девиантарта (там изменилась разметка для кнопок перехода);
- для руля34.пахеал теперь получаются тэги;
- произвел небольшой косметический ремонт;
- написал гайд. Лежит в двух фоматах: chm и txt в папке программы.

Собирался еще прикрутить 4 буры, но подумал, что и так уже дофига времени прошло с последнего релиза. В след. релизе тогда.

>>5045
Хоть я прогой не пользуюсь, всё равно ты няша.

>>5046
Вероятно, он няшнее няши.

<------------------
В подарок ОПу за новый релиз.

http://why-so-butthurt.ru/
http://welcome-to-omsk.ru/
http://www.oh-you-slowpoke.ru/
--------------------------------
http://macrochan.ru/
http://macrochan.org/
http://rmart.org/

А почему бы и нет? С понями в комплекте будет.

>>5067
Что это?

>>5045
Пулы лучше запили.

Было бы еще хорошо добавить
http://wildcritters.ws/