[WT] [Архив] [Поиск] [Главная] [Управление]
[Совместно с IIchan.ru]

[Назад] [Вся нить] [Первые 100 сообщений] [Последние 50 сообщений]
Ответ в нить [Первые 100 сообщений]
Имя
Animapcha image [@] [?]
Тема   (reply to 773)
Сообщение flower
Файл 
Пароль  (для удаления файлов и сообщений)
Параметры   
  • Прежде чем постить, ознакомьтесь с правилами.
  • Поддерживаемые типы файлов: 7Z, BZ, GIF, JPG, MO, MP3, OGG, PDF, PNG, PSD, RAR, SVG, SWF, TXT, XCF, ZIP
  • Максимально допустимый размер файлов: 10000 кБ.
  • Изображения, размер которых превышает 200 на 200 пикселей, будут уменьшены.
  • Ныне 1618 unique user posts. Посмотреть каталог
  • Радио:

Файл: 125161436960.gif-(1.67KB, 68x150, 1.gif)
773 No. 773 watch    
Здравствуй, Ычик!
Появилась идея разработать Gelbooru downloader.
Суть такова - пользователь задаёт теги, по которым хочет искать, кол-во страниц которые нужно выкачать и папку куда качать.
Программа же будет сама искать по этим тегам и скачает пользователю в папку заданное кол-во пикч.
Потом возможно добавление поддержки других сайтов, вроде danbooru и т.д.
В принципе, я вполне могу взяться за разработку, и скорее всего, смогу сделать такую прогу, но вопрос - нужно ли? Анон, тебе нужна такая прога?
Развернуть все изображения
>> No. 774    
Пригодится. Делай.
>> No. 775    
Нужно.
>> No. 776    
Нужно. На гелбоору есть тонны арта, которые релевантны моим интересам, но качать мне лень и некогда, поэтому тягаю оттуда по мере необходимости.
>> No. 777    
Нужно, делай.
>> No. 778    
Ок, значит будем делать.
Никто не подскажет какой-нибудь поисковой запрос для Gelbooru, который выдаст только одну пикчу?
>> No. 779    
>>778
cacodemon
>> No. 780    
тег "thrall"
1 результат только.
>> No. 781    
Можно за основу взять http://nopaste.info/cee56adf98.html , кстати.
>> No. 782    
POC (ProofOfConcept) версия почти готова,но она качает только первую найденную пикчу.
Правда, почему-то, все ссылки достаются нормально, но пикчи с сервера грузиться не хотят >_<
Буду разбираться, как заработает - обязательно выложу.
>> No. 783    
>>782
Ты лучше сделай, чтобы выдавало список ссылок, а не скачивало первую найденную.
Алсо, венда-онли чтоли?
>> No. 784    
С одной стороны и хорошо, с другой стороны, подобные скачиватели часто используются чрезмерно и нагинают сервер, из-за чего страдают нормальные пользователи.
>> No. 786    
Файл: 125162805936.jpg-(95.02KB, 750x940, 18411.jpg)
786
Хотеть нечто подобное для Пиксива.
>> No. 788    
Так есть такие штуки уже.
Правда скриптец, который я гоняю, скачивает всё что есть по этим тегам, с гибкими настройками прога пригодится, да.
И двачую качалку с пиксива. И сейфбору заодно прикрути.
>> No. 789    
>>783
Первую найденную качает только ProofOfConcept-версия.
Да, венда-онли(пока).
>с гибкими настройками
будут
>И двачую качалку с пиксива. И сейфбору заодно прикрути.
сейфбору сделаем, там вроде с гелбору различий нет.
пиксив - я нихуя не понимаю в лунном, если кто-то объяснит мне, как он устроен, может и будет качалка.
>> No. 790    
Итак, POC-версия готова.
Это очень ограниченная версия, она качает только одну пикчу и её предпросмотр в папку C:\gelbooru_test
Линк на РОС - http://dl.getdropbox.com/u/1474642/galboorudl.exe
Ждите полной версии
>> No. 791    
И, да, иконка временная и извиняюсь за опечатку в названии эксешника.
>> No. 792    
>>790
На чём писал?
Исходники выложи под лицензией WTFPL.
>> No. 793    
>>792
AutoHotkey, потому-то скорее всего и не будет линукс-версии.
Да, знаю, быдлокод.
Исходники будут у финальных версий, сырцы сырых версий я выкладывать не буду.

Насчёт WTFPL - хорошая идея, скорее всего, под ней и буду выкладывать %)
>> No. 794    
Кстати, а это что такое?
http://danbooru.donmai.us/forum/show/19498
>> No. 795    
>>794
Просто еще граббер данборы.
>> No. 796    
>>789
Если не можешь зойрегестрироваться, можешь использовать mylingual.net
>> No. 797    
Файл: 125165572723.jpg-(118.12KB, 480x619, 1250467476735.jpg)
797
Делал идентичную консольную прогу для сайта rule34.paheal на быдлошарпе, она записывала ссылки на изображения в текстовый файл, а оттуда можно было дмастером все быстро скачать, хотел делать виндоблядский интерфейс но жутко гребет, если кому надо могу выложить.
>> No. 798    
>>797
Выкладывай.
В хозяйстве всё пригодится. :3

Алсо, я тут подумал.
Очевидно, что у каждого быдлокодера есть небольшая кучка наработок/программок/классов/библиотек самописных или исправленных||модифицированных и прочего полезного и не очень в быту.
Был бы неплох какой-нибудь сервис, где можно было бы выложить свои небольшие поделия, которые для крупных (CodePlex, Sourceforge и других) как-то не солидно.
>> No. 799    
Файл: Rule34_Console.rar-(18.79KB)
799
>>797
>> No. 802    
Писал скрипт на похапэ, который выковыривал с данборы все ссылки на картинки для нужного тега.
>> No. 803    
Итак, прогресс есть, новая версия качает уже не одно, а два изображения %)
>> No. 804    
>>798
googlecode, например.
>> No. 811    
http://code.google.com/p/danbooru-v7sh-grabber/wiki/Main
>> No. 812    
>>811
Как заставить работать это под виндой?
>> No. 813    
>>803
Жду версия под номером 900.
>> No. 814    
>>813
slfxd

>версия

версию
>> No. 817    
>>812
cygwin + bash же.
>> No. 818    
>>817
Мне это ничего не сказало. Совсем. Можно как-нибудь, совсем для немощных.
>> No. 819    
>>818
cygwin http://www.cygwin.com/
1) Качаешь
2) Ставишь
3) Устанавливаешь в т.ч. bash, curl, что-то там еще (см. внутренности скрипта)
4) запускаешь по манулу на странице в гуглкоде
5) ??????
>> No. 822    
Файл: 125192264930.jpg-(28.42KB, 677x342, 111.jpg)
822
>>819
Скачал. Поставил все с дефолтными настройками. Скрипт засунул в C:\cygwin\home\user
Пытался писать, как в гуглокоде, но что-то видать, оно отказывается со мной сношаться. Вернее ничего не происходит.
>> No. 827    
>>822
Хммм.
ок, я посмотрю его в цигвине сегодня вечерком, как винду загружу.
>> No. 828    
>>827
Спасибо, буду ждать вестей <3
>> No. 829    
>>828
Извини, но я его тоже не осилил.
У меня, например, не работал curl. Вообще никак, т.е. Никаких ошибок никуда не выводилось, ничего - просто curl выдавал пустой выхлоп на любой запрос.
В общем, значит способов запустить это под виндовс нету.
>> No. 830    
>>829
Хм, в теме на данбору (http://danbooru.donmai.us/forum/show/19498) :
>Also i have reports of running it on MinGW for windows, so it most likely should run in every posix-compatible environment.
>running it on MinGW for windows
>MinGW
Что это есть? :3
>> No. 831    
>>830
Ты меня извини, но загуглить по слову mingw и найти mingw.org ты, по-моему, вполне мог.
>> No. 832    
>>831
Мог и даже и пробовал. Результат таков же. Хотя, толком не разобрался в этом деле.
>> No. 833    
Оп, задумка уже стухла?
>> No. 852    
Бамп.
ОП, что с граббером?
>> No. 853    
Файл: 125258589167.png-(9.23KB, 483x190, gelboorudl_beta1.png)
853
>>833
Нет.
>>852
Всё охуенно.

Текущая бета может скачивать до 25 найденных пикч(ровно столько находится на одной странице с выдаче поиска).
Сейчас пытаюсь пофиксить небольшие баги и сделать возможность качать больше 25 изображений.
>> No. 854    
UPD: Теперь граббер может качать любое кол-во пикч(вроде) но пиздец как медленно.
Сейчас буду пытаться снизить кол-во скачиваемых временных файлов.
>> No. 855    
>popoffka
>> No. 856    
>>855
О боже, ты меня деанонимизировал! :O
Теперь буду подписываться так
>> No. 857    
Файл: 125259219814.jpg-(30.14KB, 283x283, d0f2adc170c456cc612230261b633609.jpg)
857
>popoffka
>> No. 858    
>>854
>Теперь граббер может качать любое кол-во пикч(вроде) но пиздец как медленно.
Сколько он одновременно тянет? (пикч).
И да, на гелборе скорость всегда не очень, так что особо не парься.
>> No. 859    
>Сколько он одновременно тянет? (пикч).
Одну, больше встроенными возможностями языка сделать нельзя, так-что буду пытаться реализовыать это через внешние либы.
>> No. 867    
>>859
Скоро ли будет выложено?
>> No. 870    
>>867
К сожалению, есть определённые, пока-что ещё не решённые проблемы, которые необходимо решить до релиза.
Такие дела, да.
>> No. 871    
Файл: 125319246382.png-(266.24KB, 589x813, 1237093414176.png)
871
>>870
Ничего, спасибо за то, что ты делаешь такую нужную программу.
>> No. 874    
Есть такое давно уже. На питоне и кроссплатформенно.
>> No. 875    
>>874
Питон - гавно.
>> No. 876    
>>875
Есть что-то лучшее для кроссплатформенных скриптов? Расскажи-ка.
>> No. 882    
А ссылку на подскажеш?
>> No. 883    
>>876
Кроссплатформенность не нужна.
>> No. 884    
Я имел в виду ссылку на скрипт.
>> No. 886    
>>884
Для данбуру выше кидали, вот для гельбуру http://dpaste.com/96197/

>>883
Пошла нахуй толстота, если по делу ничего сказать не можешь.
>> No. 894    
А есть подобные скрипты для chan.sankakucomplex.com?
>> No. 895    
>>894
Там движок данбуры, замени здесь http://nopaste.info/cee56adf98.html HOST.
>> No. 897    
Благодарствую.
>> No. 904    
>>829
А у меня запустилось, настраивал по этому мануалу:
http://www.linux.org.ru/view-message.jsp?msgid=3665745
>> No. 905    
Файл: 125385214784.jpg-(104.98KB, 667x332, Буфер обмена-1.jpg)
905
Забыл пруф.
>> No. 909    
>>904
А у меня напрочь отказалась сношаться с моей вин7. Или же со мной.
Олсо непонятно, что ты там настраивал.
Можно весь порядок произведенных действий, ось и т.д
>> No. 910    
Файл: 125388388115.jpg-(15.84KB, 666x335, Буфер обмена-1.jpg)
910
>>909
[spoiler]Возможно слегка сумбурно, но не программист.[/spoiler]
ось- Windows XP SP2, Net.Framework и всё, что нужно, папка Cygwin после установки занимает 3,31 ГБ
1.Скачал всё, что было предложено Cygwin, весит около 930 мб.
2.Затем перенёс граббер в папку "C:\cygwin\home\Аноним".
3.Запустил Cygwin, открылось окно , ввёл
>$ sh grab.sh -d -dm 333
для настройки папки, куда загружать.
4.
>$ sh grab.sh -w -u логин -p пароль
, указал свой логин и пароль.
5.
>$ sh grab.sh -d somethingtag
, для начала закачки.
>> No. 911    
>>909
>вин7
Несовместимость, Cygwin совместима с осями до XP.
>> No. 914    
Файл: 125393761871.png-(6.81KB, 669x338, Screenshot00037.png)
914
Запустил cygwin на XP, работает. Но качается довольно медленно (это проблемы Данбуры?) и при попытке скачать по двум тегам выдаёт ошибку 500.
>> No. 916    
>>914
Да скорость очень небольшая и дело в Данбуре, тут ничего не сделаешь. А 500 и у меня выдаёт.

910-кун
>> No. 917    
>>910
>3,31 ГБ
Не хрена себе. Она у меня не больше 50 метров весила установленная.
>Несовместимость, Cygwin совместима с осями до XP.
Бээ... не хочу на xp лезть =\
Спасибо :3
>> No. 921    
>>917
Ну я скачал, всё так, как вроде бы Cygwin позволяет запускать программы для Linux-осей.
>> No. 929    
>>917
http://ru.wikipedia.org/wiki/Сервисы_Microsoft_Windows_для_UNIX
>> No. 949    
>>773
Кстати Оп-кун, как идёт разработка твоей программы.
>> No. 968    
Я полагаю, что ОП-кун забросил программу.
Очень жаль, ведь она пригодилась бы каждому второму Анону.
>> No. 969    
Тред не читал, мимо проходил, видил ссылку на подобную прогу.
>> No. 970    
>>968
Да кому она нужна? Уже есть кросплатформенный скрипт-граббер.
>> No. 971    
>>970
Во, о нем и говорю.
>> No. 972    
>>970
Линк, или хотябы название.
>> No. 973    
>>972
В гугле забанили?
>> No. 974    
>>973
Я даже названия скрипта не знаю, как мне его искать?
>> No. 975    
>>974
Как можно быть таким идиотом? Все скрипты есть выше в _этом_ треде.
>> No. 976    
>>975
>http://nopaste.info/cee56adf98.html
>http://danbooru.donmai.us/forum/show/19498
>http://dpaste.com/96197/

Третья ссылка давно сдохла... Хотя возможно как раз она то и подошла.

Это собсно все что есть в _этом_ треде.
Если ты мне укажешь хоть на один скрипт подхдящий для Gelbooru, я буду тебе благодарен.
Если нет иди гадь в другом месте.
>> No. 977    
>>976
Потому что блядский dpaste удолил, надо же было быть разработчикам такими дебилами, чтобы ставить такое маленькое количество дней по умолчанию.

Вот на ЛNСПоте норм пацаны -- бесконечно по дефолту.
http://paste.lisp.org/display/88256
>> No. 978    
>>977
Спасибо за линк.
>> No. 979    
Файл: 125489022533.jpg-(132.46KB, 667x515, 2009-10-07_081920.jpg)
979
Таки я смог скачать через Цигвин и этот граббер.
Делал все по описанию >>910-куна.
Но скорость закачки просто убивает меня.

Что касается Гелбуры, с нее тоже можно граббить. Далеко не самый удобный и быстрый способ, но кое-как работает.
1. Нужен Firefox и два расширения к нему: Auto Pager и Image Host grabber.
2.Открываем Гелбуру, вбиваем нужный тег.
3. На первой открывшейся странице жмем левую кнопку мыши, выбираем Auto Pager->Загрузить немедленно->Все страницы. Ждем прогруза всех страниц с пикчами.
4.Когда все страницы прогрузились, выбираем Image Grabber->Get all pics on page. Указываем папку.
5.Качаем и радуемся.
Но это, понятное дело, то еще шаманство. Прога ОПа была бы в разы удобнее. Все же надеюсь, что он ее доделает.
>> No. 982    
>>979
Ну из-за таких, как мы любителей дампа, скорость такая и данбоора часто лежит. Я обычно ставлю загружаться и ухожу спать^H^H^H^H^H пить кофе.
>> No. 985    
Файл: downloader_pl.txt-(46B)
985
Анон, я слоу, потому что первый раз за последние полтора месяца на бордах, но на, держи мою однодневную поделку, недавно стояла подобная задача. Правда выкачку так и не дописал, но сохраняет ссылки картинки по тегу в файл, еще плохо обрабатывает обратные страницы(ссылок в 2 раза больше получается). В каких-то дальних планах допилить до нормального состояния, делать картинкам теговые имена, вместо хеша, в общем пообные красявости.
Алсо, вроде работает почти правильно.

Да, если подскажешь кросс-картинкосайтовое решение как с индеспоиска переместится сразу на теги без кучи кода, буду благодарен.
>> No. 986    
Я так же решил написать свой гельбуру довнлоадер, только на PHP.
>> No. 987    
>>986
С сохранением в фалы типа tag1 tag2 tag_3.jpg
>> No. 988    
Пример вывода: http://danbooru.itpaste.ru/780
>> No. 989    
>>988
Красявости это 20 минут написания кода. Да и вывод не сильно нужен, имхо скрипт лучше пускать демоном, чтоб на дохлых каналах не занимал отдельную консольку. Кросссайтовость намного важнее, чтоб и с гелбуры качал и с коначан-подобных, и разных еше. Одна вешь на все случаи жизни.
>> No. 1019    
И как это юзать? Объясните для гуманитария.
>> No. 1023    
>>1019
Читай тред там всё описано.
Если не понял — гугли доки.
>> No. 1025    
>Кросссайтовость
мне нравится это слово!
>> No. 1046    
Судя по всему идея Оп-куна спёклась.

капча с Кёном смотрит недоверчиво.
>> No. 1059    
Файл: 125648016538.png-(88.61KB, 761x538, ang.png)
1059
Будет вам граббер (если не забью, конечно). Пикрелейтед.

Не-ОП-кун
>> No. 1094    
ну как успехи?
>> No. 1102    
Файл: 125674828890.jpg-(202.28KB, 549x360, 124207810949.jpg)
1102
>>1059
Ни в коем случае не забивай. Принимай вагоны нефти авансом.
417 сообщений пропущено. Показаны 100 первых сообщений. [Назад] [Вся нить] [Первые 100 сообщений] [Последние 50 сообщений]


Удалить сообщение []
Пароль  
[Mod]