ИгрокиЖюри + конкурсные работы ≠ объективность

[i1234i]

⠀⠀⠀⠀Доброго времени суток, монополисты по званию и просто в душе. Сегодня поговорим об оценивании конкурсных работ. Не секрет, что достаточно много тех, кто бывает недоволен результатами оценки, так как она им кажется предвзятой. 28.05.2023 произошло нововведение, в котором попытались решить проблему предвзятости. Провели эксперимент с новым подходом к формированию состава жюри, посредством которого эта же несправедливость увеличилась в десятикратном размере. По сути, всю работу с оцениванием творчества повесили на обычных игроков, которых выбирают посредством рандома. Казалось бы, на первый взгляд все просто, легко и прозрачно, особенно для ОМ, но, как по мне, эксперимент достаточно спорный. Практически все члены жюри, во-первых, состоят в кланах. Да, то в каком ты клане естественным образом сказывается на балл. Если ты мне брат/сестра – тебе высокая оценка, если нет – то довольствуйся тем, что останется после их оценивания. Казалось бы, логично? Логично! Потому что кумовство – это наше все, мы же в странах СНГ живем. Клан/коалиция кланов – это большая дружная семья, поэтому тут даже спорить не о чем. Во-вторых, если ты не со мной в клане, то ты можешь быть достойным высокого балла. Как? Очень просто – не переходи мне дорогу! Если ты мне враг, то получи 2, так как 10 я могу отдать товарищу, потому что родное всегда красивше, а это мое субъективное мнение, как хочу так и оцениваю.
⠀⠀⠀⠀В общем, хотелось бы сказать: люди, те кто рвутся в жюри, чтобы «объективно» оценивать работы игроков, ссылаясь на качество, актуальность, насколько она подходит тематике и в целом вписывается в данный конкурс, имейте совесть, а лучше не лезьте больше, раз пришли оценивать не работу, а отношение к тому, кто ее создал. Обращаясь к Милашечке, хотелось бы поблагодарить за интересный опыт и эксперимент, но давайте лучше оценками будут заниматься реально непредвзятые люди, вплоть до ваших родных, или случайных прохожих, которые будут смотреть на заявку и видеть заявку, а не человека, который за ней стоит. Или банально объявить открытое голосование на форуме для всех желающих (не клерков во избежание одноразовых мультов), чтобы при выборе жюри случайным образом не оказалось, что одних кланов больше чем других, хотя даже это спорно, учитывая, что есть по 3 клана, есть и по 1, есть и без кланов люди, но каждый заслуживает на объективную оценку. Иначе рано или поздно, обычные игроки перестанут видеть хоть малейший шанс того, что можно победить лишь за то, что ты сделал хорошую работу.
⠀⠀⠀⠀Спасибо за внимание, жду критику и интересные предложение как можно было бы сделать голосование лучше!

[Буржулик]

Ох уж сколько говорено-переговорено на эту тему... Попробую какие-то моменты прояснить.

Кого, собственно брать в жюри? Людей незаинтересованных лично никак и в идеале что-то понимающих в графике, дизайне, видеомонтаже? Где их взять и зачем им вообще надо тратить свое время на оценивание каких-то там заявок в какой-то игре? Зарплату им тут платить никто не будет.

Поэтому так или иначе вербовать состав жюри придется из аудитории проекта. В разное время это были и модераторы с турнирными столами, и отдельные представители от кланов, и сборная солянка, и нынешний формат. Все варианты грешат своими недостатками и одним общим - недостаточная заинтересованность участников. Даже вот в существующем формате, где вербовали вроде и априори заинтересованных игроков, уже есть и случаи неявки, и бегать и напоминать половине приходится...

А где обитают эти самые заинтересованные и худо-бедно разбирающиеся в игре игроки, с которыми еще легко и быстро можно выйти на связь для организации какого-то взаимодействия? Правильно, в кланах. Логика игрового процесса их неизбежно выносит туда. Подавляющее большинство же обитателей Монки играет эпизодически, не подозревает о существовании каких-то там турниров да и форума, а если и подозревает, оно им всё глубоко безразлично. Исключения активных внеклановых игроков единичны, да и недолги - они всё равно найдут рано или поздно подходящий им клан или создадут собственный. Поэтому, как ни выбирай, выбирать кроме клановых игроков попросту некого.

Зачем все эти люди пришли в жюри? Да, тут определенно есть часть тех, кто пришел потопить за друзей и сокланов или просто потроллить. Как их отсеивать? Хороший и дискуссионный вопрос

И к сожалению практически нет активистов из числа тех, кто способен оценить заявки не только по принципу нравится/не нравится, а и с точки зрения того, насколько оригинально и сложно оно сделано. Может из них бы и составилось приличное жюри при условии честности и уважения друг к другу, но ни ALBA13, ни Little Big, ни FreshQka, ни там еще пяток может человек из нынешнего актива игры в оценщики не рвутся.

Пусть заявки оценивают и победителей выбирают двое администраторов проекта? Тоже неплохая идея, они независимы. Только их еще труднее этим заставить заниматься, чем игроков

Что сейчас получается в конкурсах заявок? Выигрывают заявки, сделанные по принципу: берем трейлер или фрагмент из блокбастера, слегка перемонтируем, добавляем титры, толику юмора и отсылку к игре - вуаля, попадание 100%! Ребята из Warner Bros, Marvel или Disney свой хлеб едят не зря и делать эффектные видео умеют.

Замороченная сложная многосоставная гифка или оригинальный и трудоемкий коллаж практически неизбежно проигрывают. Хорошо если оценивающие хотя бы загуглят такую картинку и посмотрят, она вообще сделана или взята из интернета и там нацарапан ник?

Ладно, жюри имеем, какое имеем. Может ему тогда оценивать работы по набору определенных критериев и это будет объективней?

Во-первых, это гораздо трудозатратней. Многие и полчаса то на оценивание готовы потратить с трудом. А если еще 15 заявок оценивать по разным критериям? Есть на что потратить свое время с большей пользой и удовольствием.

А еще такой формальный принцип может завести вот сюда. Года полтора назад, когда обсуждались разные подходы к оцениванию, в том числе критерии, я нарисовал эту елочку



Соответствие тематике? - Да, тематика новогодняя. Оригинальность? - Абсолютная, сам нарисовал! Наличие анимации? - Присутствует... И так далее. Не помню уж еще критерии, которые предлагались, но ёлочка попадала практически во все Только почему-то никому не нравилась...

Это, наверно, краткая выжимка переливаний из пустого в порожнее за годы существования конкурсов и жюри. Может так станет понятней, что и почему мы имеем. Предложить идеальный рецепт не получается, увы.

[i1234i]

ㅤㅤㅤㅤПредлагаю свое решение проблемы с оценкой конкурсных работ – рандом. Монополия ведь целиком и полностью основана на случайности, почему бы и призовые места не отдавать случайным образом? Ведь для каждого конкурсанта его работа лучшая и достойна только 1 места, а остальное - вкусовщина. Как мы знаем, понятие красивого и искусства достаточно спорное. Кому-то нравится одно, кому-то другое, но сам факт того, что человек потратил время, не поленился и сделал творческую заявку достойный хоть шанса на победу. Обсудим основные за и против.
ㅤㅤㅤㅤПлюсы:
1. Отпадает вопрос с объективностью оценки, потому что все понимают – это рандом;
2. У каждого конкурсанта равный шанс на победу.
ㅤㅤㅤㅤМинусы:
1. Может пострадать качество работ, потому что у картинки с Paint и красивой полноценной работы одинаковый шанс на победу;
2. Конкурсанты перестанут заморачиваться и что-то придумывать оригинальное.
ㅤㅤㅤㅤПод суммируя, рандом решает полностью проблему предвзятости, но возникают проблемы качества работ. Как писал Буржулик про свою елочку, она попадает под все критерии хорошей заявки, но считается ли она на самом деле таковой? Я бы сказал и да, и нет. Почему да? Потому что, это достаточно оригинальный троллинг, который заслуживает внимания, что-то близко к абстракционизму и Малевичу с его черным квадратом. Лично я бы такой работе предпочел отдать высокий балл, если сравнивать со скучными стоковыми картинками из интернета с временем и ником. Почему нет? Потому что, если учитывать соотношение качество/потраченноеВремя/усилия, то имеем заявку сделанную быстро и на коленке без особых усилий. Достойна ли такая работа на равный шанс на победу вместе с другими более качественными? Достаточно спорно.
Но разве все на самом деле так плохо? Я думаю – нет, и идею с рандомом можно довести до ума. Во избежания «спорности о качестве работы», можно придумать номинации в выигрышах вместо призовых мест. А именно: лучшая видео работа, лучшая анимационная работа, лучшая статичная работа и, например, лучшая абстрактная работа. Со своими призами соответственно, где видео оценивается чуть выше, чем анимация, статичная – чуть ниже, чем анимация, а абстрактная условно – вип на 10 дней. Так же, можно придумать критерии отбора творчества, которым будут соответствовать конкурсанты дабы попасть под ту или иную группу. Игроки как обычно подают конкурсные заявки и указывают в какой номинации они хотят поучаствовать. Если работа такая как елочка Буржулика и администрация не считает ее достойной участвовать в номинации «лучшая анимационная работа», то она имеет право перекинуть ее в номинацию «лучшая абстрактная работа», где она так же будет бороться за приз, не столь большой, но все же. Когда администрация примет все работы от конкурсантов, поделит их на группы, начинается магия рандома и в результате мы получаем победителей среди всех номинаций. Все справедливо и все работы относительно равны, уж точно равнее, чем когда оценки ставят игроки-жюри, отталкиваясь не от работы, а от конкурсанта.

[Артистка]

Так же, можно придумать критерии отбора творчества, которым будут соответствовать конкурсанты дабы попасть под ту или иную группу. Игроки как обычно подают конкурсные заявки и указывают в какой номинации они хотят поучаствовать. Если работа такая как елочка Буржулика и администрация не считает ее достойной участвовать в номинации «лучшая анимационная работа», то она имеет право перекинуть ее в номинацию «лучшая абстрактная работа», где она так же будет бороться за приз, не столь большой, но все же. Когда администрация примет все работы от конкурсантов, поделит их на группы, начинается магия рандома и в результате мы получаем победителей среди всех номинаций. Все справедливо и все работы относительно равны, уж точно равнее, чем когда оценки ставят игроки-жюри, отталкиваясь не от работы, а от конкурсанта.

Вот тут действительно есть здравое зерно,правда больше немного времени потребует на перенос работы в нужный критерий и тд и тп,но в целом ,как эксперимент нормально.Единственное,слово жребий,рандом,как потом искать справедливость?Кто рандом устроит?Чтобы вызывало доверие у ВСЕХ участников?

[i1234i]

Сообщение от Артистка

Вот тут действительно есть здравое зерно,правда больше немного времени потребует на перенос работы в нужный критерий и тд и тп,но в целом ,как эксперимент нормально.Единственное,слово жребий,рандом,как потом искать справедливость?Кто рандом устроит?Чтобы вызывало доверие у ВСЕХ участников?

На сортировку работ по критериям, времени потребуется меньше, чем собирать и отбирать жюри из игроков. Для прозрачности и справедливости рандома, любой человек из модерации или просто волонтер, которому не сложно, без разницы откуда, главное ответственный, может провести онлайн трансляцию на ютубе или в любом другом месте, хоть зум конференцию с открытым входом для всех игроков. На ней, доверенное лицо просто воспользуется любым рандомайзером из интернета, или банально присвоит каждой работе номер и попросит Сири/Алису назвать любое число от 1 до 15 (если работ 15). Если совсем не заморачиваться, то можно сделать запись экрана и без трансляции провести данный отбор, потом эту запись разместить в открытый доступ, но тогда лицо должно быть непредвзятым из Хранителей, к примеру, чтобы не было такого, что кто-то тыкает по сто раз на рандом, пока не выпадет нужное число.

[Little Big]

Привет, i1234i!

Полагаю, чтобы решать вопросы, всегда нужно отталкиваться от целей. В чем цель данного поста?

Объективность? Давайте рассмотрим.

1. В голосовании используется самая удачная система оценивания для данного случая – ранжирование, которая предполагает оценку работы по среднему значению, и учёт каждой работы в голосовании каждого жюри. Ранжирование – это просто, быстро и на качество не влияет, проверяли. Голосовать по критериям или один голос за какую-то работу – будет гораздо необъективно. Поэтому, оставили ранжирование.
2. Результаты – публичны. Можно видеть запросто кто голосовал и сколько поставил. Как по мне, такой подход стимулирует к объективности голосующего, хоть и не гарантирует его. Спасибо Анастасии (Милашечке), что такую идею поддержала. Публичность для того и создана, чтобы в случае систематического появления неадыкватного жюри, его можно было больше не привлекать.
3. Состав жюри увеличен и в нем может принять участие каждый. Нет закрытого клуба, и это тоже плюс.
4. Кумовство? Сокланы? Давайте посмотрим последнее голосование. Я там победил, но ни один соклан или участник родственного клана меня не оценил максимально, более того, я от части из них получил оценки ниже, чем моя средняя оценка по итогу. А максимум получил от тех, с кем не имею никаких тесных или дружественных связей, с которыми не общаюсь, по большому счету. Так что эта теория не работает, а упрек на плохой менталитет в адрес наших стран как всегда стерпит.

Как можно призывать к совести, если кто-то к примеру, ностальгирует по Жан-Клод Ван Даму и к примеру, кого-то тошнит от Симпсонов? Это я к тому, что содержание и качество работ больше имеет значение, чем личность и даже сокланы. Если не веришь, посмотри и проанализируй прошлые голосования. Я раньше тоже так имел основания полагать.

Объективнее сделать практически невозможно, можно лишь усложнить, но ради чего?

Какие еще тут вопросы по сути?

• Конкурс творчества рандомом никто определять не будет, потому что, это уже не конкурс будет. Рандома итак хватает в сундуках и самой игре.

• Форуму отдавать вопросы, касающиеся конкурсов и призов тоже никто не будет, потому что голосование на форуме больше подходит для взаимодействия «игроки - администрация», «игроки - мнения», но не для поиска объективности в конкурсах уж точно. Её еще больше не будет.

• Если кто-то хочет гарантировано что-то получать за участие, то есть практика дарить ВИПку, это было бы пригодно и в конкурсе заявок на турнир. Качество не пострадает, а работ станет больше.

• Приз «зрительских симпатий» или что-то в этом роде выглядит как неуважение и подачка, когда основные призовые места уже разобраны. Поэтому, я бы не стал.

Конечно, в чем-то можно оптимизироваться, но революционных вещей я тут не вижу пока что.

[i1234i]

Я считаю, система далека от совершенства. Во-первых, почему рандом не имеет места быть? Оценка игроков-жюри тоже своего рода рандом и зависит от множества личностных факторов: отношение к конкурсанту, настроения, вкусов и предпочтений на момент конкурса, погоды за окном и тд. Во-вторых, если даже откинуть версию с рандомом, то надо в корне менять систему оценивания. Не распределять баллы среди конкурсантов на свой вкус, а оценивать каждого отдельно по пунктам. Пусть это немного сложнее, но будет намного объективнее. Плюс это с первого взгляда так сложно звучит, но достаточно создать один раз хорошую систему оценки по пунктам, и она будет служить вечно, перенести ее для удобства в Гугл формы и заполнение их станет еще проще. Лучше сделать качественно, либо вообще не делать, я считаю. Пример формы оценки работы, я приведу ниже:
https://docs.google.com/forms/d/e/1F...rm?usp=sf_link
Это на скорую руку за 10 минут. Пункты конечно же надо будет как-то грамотно дополнить, но суть понятна. Мое мнение – если игроки-жюри не будут вынуждены делить баллы, а будут просто объективно стараться оценивать каждую работу по пунктам отдельно, то, может быть, результат станет объективнее. Так же оценка по пунктам имеет массу преимуществ сама по себе и активно используется в образовательных учреждениях, к примеру. Потому что цельная работа состоит из частей. В видео может быть красивый видеоряд, но плохой неграмотный и нечитаемый текст, или неуместная музыка. Картинка может быть красивой, но взятой из интернета без какого-либо переделывания или дополнения или вообще слабо соответствовать тематике и тд.