2й тред ушел в блимит. Старый тред: 410chan.ru/dev/res/4777.html Новый тред будет здесь. imgbrd grabber: code.google.com/p/imgbrd-grabber/ nekopaw grabber: code.google.com/p/nekopaw/
>>6278 Будет ли многопоточность? У меня есть куча закладок с авторами с Pixiv`а. И я хотел бы скачать сразу все пикчи, разбрасывая их по папков с именами авторов, конечно. Что-то подобное в версии 2 планируется? Ах да, если можно, то сделать подключение всех авторов из текстового файла какой-нибудь незаметной кнопочкой или комбинацией клавиш. Спасибо.
>>6303 Я думал над возможностью в один список закидывать один и тот же ресурс, но с разными параметрами. Но в первой альфе этого не будет, равно как и пиксива, к сожалению. Сделать более менее полный список наиболее важных борд планировал во 2м билде. На счет выгрузки из списка - возьму на заметку. Что-нибудь вроде скриптового заполнения полей or somthing.
>>6304 Спасибо за ответ. >Но в первой альфе этого не будет, равно как и пиксива, к сожалению. Надеюсь, во второй версии это будет. Почитал у вас на гуглкоде, что до выхода второй версии еще чуть-чуть. Будем ждать.
Кажется гелбору успешно защищается от даунлодеров. Теперь вместо картинок скачиваются ошибки
>>6416 Да нет, они просто на какой-то хрен переименовали каталог thumbs на thumbnails.
Два вопроса, где кнопка Clear, и может ли граббер искать на эххентае именно по тегу, а не в поиске, т.к. в случае с коротким тегом выдаёт тысячи попаданий.
>>6478 Крестик с боку рядом с autoscroll (да, надо бы уже подсказку поменять, ото уже куча времени прошла, как кнопки больше нет). Нет, не может. Надо бы прикрутить.
>>6478 Теперь умеет :3
>>6490 Я тебя люблю. Только всё равно не помогло. Тэг naz для примера: http://exhentai.org/tag/naz Даже в поиске по тэгу попаданий по слову naz много. Грабер можно заставить смотреть галереи именно по тэгу "naz", например брать галереи только с вышеприведенной ссылки?
>>6492 Просто надо быть хитрее. Убираешь поиск по тегу, ставишь поиск по названию, пишешь [NAZ] - все те же галереи. Просто по одному тегу поиск не предусмотрен, джа. И поисковая система хреново сделана, тупо, изоляция ключевых слов хоть и описана в вики, но не работает.
>>6493 >И поисковая система хреново сделана, тупо, изоляция ключевых слов хоть и описана в вики, но не работает. Имеется ввиду на е/эксхентае, а не в грабере, грабер такими вещами не занимается =_=
Изменения интерфейса такие, что я не понимаю как скачивать пикчи. почему всё на инглише? почему нет нормального хелпа? Как скачать пикчи, блядь?
Охуеть, теперь значит надо идти в настройки на пункт меню Save ===> Filename ===> Писать в строку %artist%/%copyright%/%character%/%md5%.%ext% после чего идти во вкладку Downloads ===> Add ===> Твой сайт и тег ===> В верхний пункт Filename опять вписывать эту окололесицу ===> И начинает скачивание. Отлично, эталонный быдлокод. Это специально сделано, чтобы ньюфаг вообще ничего не мог скачать и надо разбираться 3 часа? Не получилось, я разобрался. Делай ещё сложнее, и ещё лучше сделать этот тред скрытым для всех кто написал менее 50 сообщений, и раздавать коды для активации программы. Так вообще будет заебись.
>>6506 Господи, нет я наврал. Всё ещё сложнее. вписывать надо только %md5%.%ext% это типа имя файла и разрешение, иначе он будет генерить сотню папок.
>>6506 Лол, бро, я уж подумал, что ты воаще наркоман, но вдруг понял, что ты не про кошкограббер. Извини-извини. Кстати, особых изменений в том граббере не заметил, в общем-то все примерно так же. Тебе, кстати, вообще повезло, что на английском. Автор-то француз.
Я видимо наркоман всё же, я не по той ссылке скачал. Но даже я нормален, по сравнению с кодером грабера первой ссылки.
Зачем в новой версии ключик, который появляется во время выбора бур? Алсо, мелко, конечно, но все же: нет пикчи xbooru.
>>6515 Алсо, как обозвать папку с тегом, по которому ищу? Что-то потыкал - нихрена не вышло.
>>6515 Пока ни зачем. Прикрутил нормальную форму настроек, начал работу над сохранением индивидуальных настроек для каждой буры, что приведет к возможности сохранять логины и пароли для бур. >>6516 Лол, я забыл этот ключик прикрутить, будет называться $tag$ в следующем релизе.
>Алсо, мелко, конечно, но все же: нет пикчи xbooru. Страннота, когда я делал иконки у хбуру был значек гелбуры, сейчас уже свой.
Может при обновлении тоже прикрутить Ченджлог?
>>6522 Надо, да все лень придумывать и реализовывать. К тому же ченжлог еще надо писать и дублировать в разных местах. Сделаю когда дойдут руки написать "генератор обновлений", руками что-то лень все это каждую обнову делать.
Хотя, можно проще, надо просто что-то вроде rss-ки для новостей сделать, без привязки обновлений к определенным новостям.
можно ли исключить из граббинга е621, к примеру, тег gay или female? -female не работает
>>6533 Не везде, где есть женщины и геи, стоит тег "женщина" и "гей". Проверил на "rating:s -rabbit -fox", все должно работать же.
>>6524 Можно сделать и так: добавляем txt файл, который апдейтер будет выкачивать вместе с новой версией и потом через блокнот/другой_редактор/окошко_грабера будет его открывать. И в Граббере сделать пункт что-то типа "Показывать Changelog после обновления".
http://rule34.paheal.net В первой версии сломался. Почини
Вопрос: Если я самостоятельно буду редактировать профиль бурр, то я смогу добавлять гелборры и данбурры? Вопрос номер 2: Когда появятся профиль на Shimmie ?
>>6538 1. Ты имеешь ввиду шаблоны? В общем-то, да, котограббер просто берет список всех *.cfg файлов из папки resources. Но api я еще не берусь описывать, т.к. еще пилить и пилить... 2. На текущий момент я сделал шаблоны для бур, у которых есть внешний api (gelbooru и danbooru), у shimmie я, по крайней мере, не смог нагуглить гайд по api (мб его нет?). Если можешь кинуть мне ссылку - буду рад. Парс по гуи буду делать когда доделаю все основные вещи (осталось авторизация и создание альбомов).
>>6539 >шаблоны конфиги, вестимо
С пиксива часть альбомов не скачивается, например http://www.pixiv.net/member_illust.php?mode=medium&illust_id=10273794
Хочу сграбить с гелбуру картинки по одному тегу. Но проблема в том, что он грабит 1ю страницу.
Вот тут еще бред, что граббер грабит максимум 10024 файла, притом что там находится больше картинок. В частности я про Touhou
Почему, я ставлю в фильтре, чтобы ширина была больше 3000, список заметно уменьшается, но если нажимаю "Начать закачку изображений", все равно качаются все 5800, игнорируя фильтр. Что я делаю не так?
>>6574 >"Фильтр" включает настройку фильтра. В данный момент не влияет на закачку (т.е. качаться все равно будут все отмеченные галочкой). Беда, беда.
В кабинете обвалился потолок, в результате чуть не убило человека (убило бы или сильно покалечило если бы не ушел на обед, лол). //cool story mode off Переехали в новое здание, так что скоро снова смогу делать фиксы и допилы в старом режиме.
>>6567 >Graber 1.0.7.33 Бро, скачай новую версию, затесть, потом скажешь, чем все закончилось.
>>6537>>6550 Проверил. Подтверждено. Исправлено. Так же переименовал имоуту в яндере. Яндере работает по https, так что теперь для нее надо качать OpenSSL библиотеки. 1.1.0.17 http://goo.gl/ExV1q
>>6590 Библиотеки скидывать в папку system32?
>>6591 Можешь и туда, можно просто в папку с программой.
>>6590 Как долго я ждал добавления yande.re. Спасибо.
>>6590 Будет ли функция закачки PNG с яндере, коначана и других?
> (kagami or kagamin or kagamine) -rin -len -ren star, категория: fanart/manga/digital > поиск на DevianArt > 1,625 most popular deviations of all time for tesla trooper > составление листа в NekoPaw > fanart/manga/digital/, page 68, 1573 pictures Чому так?
>>6677 Потому, что люди любят скрывать картинки (надпись типа "скрыто пользователем от общего доступа"), а в подсчете они все равно отображаются.
>>6678 Спасибо.
Вот как так я мог сломать возможность закачки в imgbrd-grabber с зерочана? Как же мне её теперь восстановить? При попытке поиска пишет No result / Too many tags / Server offline Стоит ли говорить что всё из вышеприведённого не правда, результы были до этого, тега всего два, а сервер точно уж онлайн.
>>6590 добавь пожалуйста фурраффинити?
Подскажите как можно сграбить с fakku.net?
Стив, а есть ли какой нибудь способ грабить картинки с fanpop.com? Вроде бы галереи вполне логично организованы например от http://www.fanpop.com/spots/emma-watson/photos до http://www.fanpop.com/spots/emma-watson/photos/1113 Лучшее что смог найти это Bulk Image Downloader но он только превьюшки грабит.
В 1.0 версии если только автор сам добавит. в 2.0 надо раскуривать примеры шаблонов, на их основе можно сваять. А автор что-то запропал.
xbooru.com отвалилась? Картинки находит, но при скачивании выдает ошибки 404.
Небольшой баг. Удачи в разработке удобной 2.0
Грабер №1 качает не все пикчи с понибуры, точнее не качает те изображения у которых рейтинг "Explicit", даже если вписать логин и пароль от аккаунта у которого стоит галка на показ данного контента.
>>6738 [b]>все[/b] [b]Apr 3, 2012[/b] Да ты ОХУЕЛ БЛЯ БЫСТРА НА ГЛАВНУЮ ПИСАТЬ ПОЧЕМУ и когда вернешься
когда вернется кодер-кун? хотет фурафинити!
опчик вернись же молю! хочу фурафинити сграбить, а ручками пиздец невыносимо 3:
Братюни, прикрепите animu.ru Там всё элементарно.
>>6852 сделай сам раз элементарно
поднимаю
Когда уже будут починены обрывы загрузки файл-листа с gelbooru?
>>6881 Дай угадаю - список неожиданно обрывается и больше не обновляется? Как здесь >>6567
>>6882 Ну вот, смотри. Есть допустим %tagname%, по нему на гелбуре находит 20к картинок. Забиваю тег в граббер, нажимаю "Get", после чего прога находит 10к картинок и по тихому, без ошибки, останавливается. Запускаю второй раз через Full refresh - находит уже 12к картинок, после чего опять обрывается. И так раз 15 поиск останавливается в рендомном месте, пока наконец в один прекрасный момент не соизволит найти все 20к пикч [b]без единого разрыва[/b].
бамп
ОП, я не могу понять, как правильно скачивать этой штукой. Она не ставит расширение файла. А дописываешь %ext% в поле с именем файла, оно ругается, что я не смогу открыть файлы. ЧЯДНТ?
И пошто оно пропускает файлы?
оп на всех забил ушел, съебался, тред заброшен смиритесь
>>6909>>6910 Это даже не прога ОПа же. В ОП посте лишь список самых "развитых" в плане граббинга прог, по сравнению с аналогами.
>>6914 Точнее, прога ОПа идет 2м пунктом.
жду 2.0b
>>6960 К 1й отметке дня рождения может дождешься.
Случайно проходил мимо треда. Данбору даунлоадер - это хорошо, это я сохранил. Но зачем изобретать велосипед для пиксива, когда давным-давно есть http://nandaka.wordpress.com/ ?
>>6962 где ж ты был 2 треда назад? А вообще всегда приятнее запускать одни и ту же прогу чтобы делать одно и то же (качать картинки), а не разные для разных мест. Не говоря уже о том, что командная строка уже постарела.
Активно скачиваю пикчи с бур и возникло два вопроса: 1. Возможно ли, теоретически, сделать, чтобы грабер конвертировал все png в jpg и проставлял им теги в метадату? Транспарентных картинок немного, но гораздо удобней будет искать файлы и не понадобятся всякие таблицы. 2. Может ли грабер сам определять рейтинг изображений и добавлять его к тегам? А то случайно 350к пикч перемешал, теперь заново качать придётся.
>>6964 Сейчас хрен поймешь, кто про какую говорит. В этом треде периодически говорят о одной из 3х - imgbrd-grabber, graber 1.0, graber 2.0 (nekopaw). Какую же из них имел ввиду ты?
>>6965 Мне некопашка нравится, но с такими-то функциями готов на любой пересесть. Впрочем, самостоятельно конвертировать пикчи тоже не проблема, но, опять же, загвоздка, как перенести теги из таблицы в свойства файла. Так что лучше встроенный в грабер преобразователь.
Вопрос немного не по теме, но все же: вот через api booru-подобных движков можно получить рейтинг картинки (safe/questionable/explicit). А можно при запросе через сайт отобразить по тегам картинки с определенным рейтингом?
>>7027 как получить страницу через api знает, а поисковых команд не знает http://donmai.us/help/cheatsheet >rating:questionable (или просто rating:q)
>>7031 Ох спасибо огромное! В хелпе на gelbooru такого не нашел з.ы. А api немного помню, так как писал в свое время свой граббер с преферансом и блудницами, на шарпе. Но в итоге забил
На гелбуре тоже есть же, плохо искал http://gelbooru.com/index.php?page=help&topic=cheatsheet
Лучей добра ОП-у. Скачал паки со своей вайфу с пиксива и данбуры его неколапой. Годнота.
Господа, а что с exhentai\g.e-hentai? По разному экспериментировал с интервалами,постоянно спотыкается после 5\10 картинок: >Connect timed out. Может неправильно что делаю.
А я вот писал парсер гелбуры на баше, вполне работает - http://pastebin.com/TXGfZFNX./gelbooru.sh "теги" "куда складывать пикчи"
>>7088 Няшно. Но есть же danbooru-grabber с PKGBUILD'ами и ебилдами, правда он монструозный как слон.
>>7087 Для ехентая это в порядке вещей, они для раздачи пикч используют "волантеров", ака предоставляющих свои компы для размещения пикч на своих винтах. Таких желающих очень дохрена (т.к. дают бонусы), а интернеты у большинства - говно. Поэтому и скачка с них - говно. Если сейчас лагает - скачай позже. Ссылки обновятся.
>>7089Мне хотелось попробовать попарсить хмл, чтобы меня не стошнило, я выбрал хмл с двухмерными няшками. Да и написание скрипта заняло не сильно больше времени, чем я бы потратил на гугл и чтение мана.
>>7097 Я тоже писал danbooru grabber на bash :3. Он работал, но был гораздо примитивнее твоего. Перешёл на готовое решение, благо даже пакет есть.
>>7099 P.S. Только я его делал, чтобы научился работать с регулярками, какой треш угар и содомия там были, можешь сам представить.
>>7088Только заметил, что кусок строки не скопипастил. 33 строчка должна оканчиваться на -n | while read url; do, а не на -n$.>>7099У меня по сути он тоже довольно примитивный, просто в цикле запрашивает страницу с пикчами по тегу и выкачивает с нее все. Больше занимает проверка на установленные зависимости хотя тоже сделано слегка криво. Там еще и первая страница два раза грузится, от чего можно избавиться. Но это уложнит скрипт, поэтому сейчас добавил просто &limit=0. Вот исправленная версия - http://pastebin.com/1akFtyfR>>7100Регулярками парсить хмл это то еще мучение, да.
так оп-то где? жив вообще?
>>7166 а чего хотел-то?
>>7167 фуррафинити хочу чтобы добавил
>>7167 кстати почему ограничение на e621 стоит в 1000 страниц? можно ли поправить?
>>7180 у фуррафинити тут дооолгая история. Его геморройно реализовать как в 1й версии, так и во 2й. В прочем, до выхода 2.0.2, думаю, будет добавлен. >>7185 Исправил.
>>7186 исправил...а где взять? когда выложишь? >В прочем, до выхода 2.0.2, думаю, будет добавлен. примерные сроки какие?
>>7188 во 2й версии это называется "автоматические обновления". >примерные сроки какие? ДО того (или, возможно, одновременно), как будет реализована альбомная группировка. Джа, это самый точный срок, точнее сказать затрудняюсь.
>>7190 спасибо тогда жду ФА
>>7190Еще можно исправить ponibooru, а именно совсем убрать, ибо сайт скоро закроется, вроде как derpiboo.ru стал его наследником.
>>7203 Какой-то буру-на-рельсах. Еще что-то новое.
>>7206 Оригинальный движок данбуры на рельсах же.