Но сначала исследуем вопрос. Что всё это значит? Что нам нужно?

Первоначально задача ставится следующим образом:
- имеется достаточно крупная база данных;
- предполагается, что в базе данных находятся некие «скрытые знания».

Необходимо разработать методы обнаружения знаний, скрытых в больших объёмах исходных «сырых» данных.

Что означает «скрытые знания»? Это должны быть обязательно знания:
ранее неизвестные — то есть такие знания, которые должны быть новыми (а не подтверждающими какие-то ранее полученные сведения);
нетривиальные — то есть такие, которые нельзя просто так увидеть (при непосредственном визуальном анализе данных или при вычислении простых статистических характеристик);
практически полезные — то есть такие знания, которые представляют ценность для исследователя или потребителя;
доступные для интерпретации — то есть такие знания, которые легко представить в наглядной для пользователя форме и легко объяснить в терминах предметной области.

Суть дата майнинга в том, чтобы производить контент, основываясь на существующем контенте. Этим он и ценен.

К описательным задачам относятся:

- поиск ассоциативных правил или паттернов (образцов);
- группировка объектов, кластерный анализ;
- построение регрессионной модели.

К предсказательным задачам относятся:

- классификация объектов (для заранее заданных классов);
- регрессионный анализ, анализ временны́х рядов.

Допустим, у нас есть множество картинок, которые понравились. Мы хотим новые, которые тоже будут нравиться, и будут уже совсем другими. Эти имеющиеся картинки будут паттернами, и по ним ИНС подготовит себя к "предсказательной работе" - сгенерировать моар.

>>19532
Вот понятный пример, в случае с картинками.
https://gelbooru.com/index.php?page=post&s=list&tags=underwear thighhighs high_heels garter_straps 1girl -photo
Контента по нужным темам раз-два и обчелся, а годных рисунков и того меньше. Значит, надо чтобы ИНС уловила критерии "годноты" и научилась отличать теги один от другого. Тогда можно будет задавать теги, и назначать сходство с тем или иным художником. И чтобы поняла хотя бы в каких разных позах бывает персонаж. И поняла различие между рисунком с одним персонажем и с групповой композицией. Всю эту выдачу надо будет "скормить" ИНС чтобы она пропускала через себя тысячи рисунков, пока не научится делать их сама. Для этого нам и нужна Weka.

https://simg3.gelbooru.com//images/e3/f4/e3f47c1523ec490b252785ce804d7fbe.png Рандом пик. Нужна картинка с такой же девушкой, но волосы должны быть длинные и тёмные, и вообще она должна стоять раком. Для человека внести такие изменения будет нетривиальной задачей. ИНС сделает это легко, если она уже поняла, как выглядит персонаж, который стоит раком.
https://simg3.gelbooru.com//images/e4/c0/e4c0b723df2e644fa0040e333881d4f3.jpg
Здесь должен быть не один персонаж, а два. Девочка с девочкой. ИНС должна знать, в чем принципиальное отличие картинки с тегом "2girls".

Вот собственно и эта программа. Здесь предлагается даже не одна программа, а целых пять. Попробуем первую.

>>19535
Пока там доступна лишь только одна вкладка. На ней нужно открыть некий файл с расширением arff.
An ARFF (Attribute-Relation File Format) file is an ASCII text file that describes a list of instances sharing a set of attributes.
Неужели это потребуется заполнять руками? В текстовом документе, как при написании программы?

>>19536
И ещё есть "генератор данных", что бы это ни значило. Может быть, получится обойтись без пердолинга? Попробуем нажать кнопку.

>>19537
Ну и вот, всё заполнилось само, безо всякого пердолинга! Знать бы только, чем. Боюсь, оно ничего не знает о гелбуру и картинках с неё. А нам надо генерировать картинки.

Вижу выпадающую менюшку со структурой файлов. Какие-то фильтры. Это наверное как раз то, что поможет отсеивать неподходящие картинки, которые слишком плохо выглядят. Однако применение одного или даже нескольких из них ни на что в окне не повлияло.

ITT picrelated

>>19540
Ты теги посмотри сначала, у тебя ерунда какая-то.

Вот это выглядит поинтересней: тут можно ввести URL. То есть видимо weka может обращаться к источникам в сети и брать оттуда материалы для обучения. То что надо. Но есть загвоздка: на картинку наверное нет смысла давать ссылку, потому что исследование картинки - это рассмотрение её по пикселям (или может по каким-то условным "векторам"). Я видел на хабре статью где пикчу специально для ИНС разделили по пикселям. Попробую дать адрес одной из картинок, но это наверное ни на что не повлияет.

>>19542
Ну да, вот, выдало ошибку. Пишет что нет подходящего загрузчика. То есть должен быть заранее алгоритм, который будет работать с материалом, на который дана ссылка, в данном случае с картинкой.

Должно быть, просто не там смотрю. Надо глянуть и другие вкладки.
Вот тут надо выбрать некий "сет". Этим словом обычно обозначаются подборки чего-то ("эротический фотосет" и так далее). Наверное, здесь надо назначить подборку, откуда брать примеры? Но нет, оно требует все тот же файл arff или URL ссылку.
А вот что самое интересное: я ничего туда не вводил, просто нажал "старт", и... Оно выдало какие-то результаты с числовыми значениями! 66, 34 - откуда эти числа, я же еще ничего не задавал туда?

>>19544
Дальше шла вкладка "cluster". Там то же самое, только нет кнопки "больше опций", зато предлагается какая-то "визуализация". Когда снова нажал "старт", результат был другой, и там были какие-то разные категории, с разными числовыми значениеми: a0, a1, a2 и так далее, до a9. В конце еще было "class". Это вообще непонятно что. Может, оно так же может выдать подборку сгенерированных картинок?
Потом какой-то "ассоциатор", пикрелейтед. После каждого нажатия кнопки "Start" выдает новое "Apriori", числа там каждый раз одни и те же.

>эта нить

>>19545
Но самое интересное на последней вкладке. Видите эти квадратики? С чего бы им так выглядеть? Бьюсь об заклад, это слоты для превьюшек пикч. Либо по которым ты тренируешь алгоритм, либо которые сгенерируются в результате. Тут даже даже упоминается о цветах (colour) как одном из классов. Это наверное классификация по преобладающему в пикче цвету, знаете, как в гуглопоиске картинок, где тоже можно искать картинки преимущественно в красных, или скажем желтых тонах.

>>19547
Тебе что-то не нравится в этом исследовании? Ну если ты такой гуру в нейросетях, то почему не поможешь?

>>19548
Клик по одному из этих квадратов открыл это окно. Сбоку белые полоски, по обе стороны которых хаотичные россыпи синих и красных пикселей. Наверняка это имеет непосредственное отношение к генерации новых картинок на основе предыдущих. Тем более что при каждом клике на одну из полосок эти россыпи рандомно меняются. Вот только надо получать не совсем рандомный результат, не забыли? Лишь частично рандомный, но и подчиняющийся определённым правилам. Ну и конечно же картинки должны быть гораздо крупнее, чем эти крошечные мешанины точек.

Я за весь тред не увидел работы с НС, со мною всё нормально? Не увидел определения количества слоёв, типа сети (Хопфилда, Хемминга, Кохонена, et cetera), функции активации, метода обучения. Вижу только работу с данными, при том с неизвестно какими. Вижу, что програмка как-то может решать задачи о классификации и кластеризаци. Как? Как минимум, нужно читать документацию. А то получается >>19540.
Приведённая программа не генерирует картинки(скорее всего). Она работает с некоторыми цифровыми данными. С возможностью их визуализации по некоторому неизвестному правилу.

>повседневных задач
То, что ты взял, решается всякими DeepMind’aми. Если ты это как-то неведомым образом используя старый ПК будешь эффективно решать, то это на научную работу потянет, например https://arxiv.org/pdf/1708.05509.pdf (и то этот ихний make.girls.moe работает очень плохо: попробуешь сделать что-то, что редко рисуют, и оно тебе покорёженного бисёнена выдает, я как-то постил в /b/ примеры такого поведения сети). У тебя же задача во много раз сложнее. Круче только >>19427. Запатентовать не забудь.

Поэтому, начни с теории. Сделай >>19526 (или не надо, кажется, такое уже есть, и широко используется в киноиндустрии).

>>/b/128351
Слово “генерировать” здесь не совсем уместно. Спроектировать и обучить(аппроксимировать) некоторую НС легко. Но именно что некоторую. Спроектировать и обучить может быть сложно. В зависимотси от того, что ты хочешь. Одно дело буковки на капче Ычана распознавать, а другое — решать классификацию изображений Гельборы по тегам.

На Чиочане как-то был человек, который целую статью по НС где-то там писал, его ещё на работу куда-то там взять хотели. Может быть, он тебе ответит и чем-нибудь поможет с литературою по теме.

>>19547
ОП напоминает Божену Рынску, когда она узнала слово "хикковать".

>>19556
Но это не Божена, это Девочка-Улыбнись.

https://www.youtube.com/watch?v=SacogDL_4JU
Здесь может! А вот у картинок правила построения наверняка гораздо сложнее, чем в симфонической музыке. Там-то накидать нот на станы, и всё. Полурандомно, то есть со случайным выбором, но также с соблюдением правил. А тут что? Скажем, такие этапы, что когда определять:
1) Число актёров (т.е. девочек, скорее всего от одной до двух, чаще одна, но изредка может быть и пять)
2) Тип взаимодействия актёров и их позы (хоть няшатся, хоть стоят одна в стороне от другой и даже не смотрят друг на дружку)
3) Задник - где это, какие объекты вокруг раскиданы. Заброшенный завод как в S.T.A.L.K.E.R., подворотня в киберпанк городе, железнодорожный вокзал в Токио, школьный класс, барокко дворец, внутри пассажирского самолета, да что угодно.
4) Места расположения, приблизительные позиции (и в пространстве и касательно картинной плоскости), ракурс: вблизи, издалека, сверху, снизу, с наклоном, etc.
5) Как выглядят, во что одеты
6) Более точные позиции, как позируют и какие выражения лиц (уточнения второго этапа)
И давай штамповать. Нажал пробел, вброшено семя в виде рандомного 10-значного числа, и по нему сгенерировалась пикча с чем бы то ни было. Не понравилось, нажал снова и получил по другому семени.