Измеряя неизмеримое (Rating the Unrateable) by R.Donoghue

Как можно попытаться объективно оценить качество ролевой игры?

Rating the Unrateable
Автор: R.Donoghue
Перевод: Guns_n_Droids, Keyl Sunders
Мне кажется, я упоминал ранее, что, если вы не читали книгу Атула Гаванде “Better”, то ее стоит прочесть. Это отличная книга о том, как можно систематически улучшать различные вещи. В основном, в ней говорится о медицине, но это одна из тех книг, которые с равным успехом можно применять к чему угодно.Но, к сути: одна из глав, которая действительно заставила меня задуматься, была глава про “рейтинг Апгар”(интересующиеся могут прочитать всю главу здесь). Для тех, кто не в курсе: это рейтинг, который выдается новорожденному в момент рождения и пять минут спустя. Он содержит 5 показателей(комплекция, пульс, движение, дыхание, раздражительность) из которых быстро и просто генерируется итоговый рейтинг от 0 до 10. Сам по себе он не является детальным, но его просто получить, передать, проверить, и в итоге мы имеем отличную памятку о здоровье ребенка.
Безусловно, показатели, составляющие рейтинг Апгар интересны сами по себе, но куда более интересно его серьезное влияние на процент выживших младенцев. Это прекрасно иллюстрирует давно известный факт — чтобы что-то улучшить, тебе сначала нужно это измерить. Рейтинг Апгар дает госпиталям возможность оценить свои результаты, и на этой основе улучшить их.То, что действительно заставило меня задуматься, и то, что я смог применить к своему игровому опыту — так это то, что успех частично лежал в возможности использования в некоторой степени субъективной системы оценок. Можно придумать миллиард показателей, описывающих новорожденного, и выбор всего пяти из них как точки отсчета может показаться смешным. Но, как и во многих случаях, здесь какое-то, пусть и несовершенное решение лучше, чем вечный поиск идеального.
Все это привело меня к идее создать “рейтинг GM’а”. Список тех вещей, которыми он занимается. Он наверняка будет неполным, неверным, плохим — но я хочу с чего-то начать. Честно говоря, я сомневаюсь. что мы сможем создать нечто хотя бы отдаленно сравнимое с пользой рейтинга Апгар, и даже если список будет написан, возникнет множество вопросов, но, черт побери, нужно сделать первый шаг.
Примечание: GM здесь и далее – game master, ведущий, мастер

Когда я начал работать над списком, я осознал, что наибольшей путаницей является попытка найти путь между личным удовольствием GM’а(к примеру, от дизайна истории) и, собственно, игрой за столом. И то и другое важно, но, учитывая, что я делал этот список для практического использования(т.е. оценки проведенных игр), я решил анализировать именно совместную игру с участием всех игроков и GM’а.
Выбросив из списка пункты, которые не проявляются за столом, я значительно его уменьшил, но я все еще чувствую, что этого недостаточно. Тем не менее, список перед вами:

  • Интересный и живой отыгрыш NPC
  • Хорошее, понятное описание сеттинга
  • Четкое и ясное описание сцены, в которой оказались персонажи
  • Захватывающие загадки и сражения(и прочие проблемы)
  • Знание правил
  • Юмор
  • Создание эмоциональной связи
  • (добавлено по многочисленным просьбам) Умение выдерживать темп и фокус

Первый показатель: Вовлеченность

First Metric: Engagement

Итак, возвращаясь к тому, что мы обсуждали на прошлой неделе — я не уверен, что смог вычленить итоговые 5 главных показателей, но из полученного списка явно выделяются несколько хороших кандидатов, так что я возьму один из них и попробую его разобрать. Выбранный мной на сегодня подразумевался в нескольких пунктах списка, но не присутствует там сам по себе(хотя, как мне кажется, должен был). Это вовлеченность игроков. Если перефразировать как вопрос, “Насколько вовлечен был каждый из игроков за столом?” Что по сути означает “Насколько вовлечен был наименее вовлеченный игрок?”  — но это звучит несколько негативно, так что я оставлю это невысказанным.

Так или иначе, чтобы что-то с этим делать, мы сначала должны это измерить. К счастью, показатели рейтинга Апгар считаются по очень короткой шкале: 0, 1 и 2. Остается лишь понять, что, собственно, представляет из себя вовлеченность, и что означают 0, 1 и 2. Кстати, это одна из причин, по которой я начал именно с вовлеченности — на мой взгляд, ее проще всего привязать к шкале. По сути, это чистые 80/20

Первый и главный вопрос вовлеченности: активно ли игроки участвовали в действии? Активное участие может разниться от игры к игре, но в общем и целом ответ достаточно очевиден. Вспомните, что делают игроки в играх(общаются в рамках роли, обмениваются идеями, участвуют в бою) и проверьте, все ли игроки были заняты. В итоге, оценить уровень участия достаточно легко.

Учтите, что тут есть небольшая ловушка: достаточно легко посчитать тех тихих и спокойных игроков, которые не стараются активно участвовать в игре интровертами — в конце концов, им просто нравится так играть, все в порядке, правда?

По правде сказать — нет. Это слишком просто. Слишком легко приписать чье-то отсутствие интереса и невовлеченность интроверсии, куда сложнее, чем действительно разобраться в чем дело, и разбудить их. Я не буду углубляться в это чересчур далеко, в конце концов это тема для отдельной дискуссии, но суть в том, что существует слишком много легких путей потери интереса (скорость игры, слишком активные, или слишком заботливые игроки, давление и т.д.), и вы не можете себе позволить забыть о ком-то просто потому что он “такой”.

Впрочем, если вы перепробовали все и действительно ничего сделать не получается, то можно пропустить этот вопрос. В конечном итоге, все это на вашей совести.

Возвращаясь к теме: другая часть вовлеченности — это тот самый неуловимый момент когда все.. круто! Бывает так, что все участвовали в процессе, все было хорошо, но успел ли каждый блеснуть по-настоящему ярко? Это, безусловно, несколько субъективный момент, но я не думаю, что его настолько сложно подсчитать.

Итого, имея все это, шкала вовлеченности для меня выглядит примерно так:

Насколько вовлечен был каждый игрок за столом:

0. Длинные промежутки почти без участия
1. Все участвовали в игре
2. Все участвовали и каждый успел блеснуть.

И конкретно этот вопрос легко перебросить от GM’а к одному из игроков, если это потребуется. Я не уверен, зачем это может понадобиться, но припрячу эту возможность на всякий случай.

Так или иначе, это, на мой взгляд, неплохой пример идеи. Вопрос слегка размыт, конечно, но небольшая шкала дает возможность легкого ответить на него без особых затруднений. Надеюсь, это делает всю модель несколько понятнее?


Немного зауми

More nerdiness

В процессе обсуждения рейтинга, проявилось ещё несколько ценных мыслей, которые не хотелось бы упускать.

Ваш рейтинг — не главное: шкала Апгар, не отражает, на самом деле, насколько ребёнок здоров, она просто задаёт рамки. Точно так же, и этот рейтинг не определяет, насколько в реальности хорошо у вас играть. Ребёнок с низким рейтингом Апгар может вырасти совершенно здоровым и сильным, вот и у вашей игры рейтинг может оказаться ниже среднего, но при этом игра удалась и все в восторге. Кто-то может решить, что это делает бессмысленной всю затею с рейтингом, но не я. Для меня такие случаи — повод спросить себя: “Хорошо, эти пункты не сыграли своей роли, но что тогда сыграло? Что сделало эту игру столь удачной?”

Никто не набирает 10: немаловажно, что 10 (точнее, 10/10) баллов по шкале Апгар кто-то набирает только очень изредка. И к любой игре это правило тоже применимо. Кто-нибудь непременно окажется усталым, будет отвлекаться или просто окажется загружен проблемами по жизни. Не ставьте себе целью набрать 10 баллов, важнее уловить как обстоят дела. Рейтинг — не итоговая отметка, а промежуточная, и от этого нужно отталкиваться при осознании следующего момента.

Мы не оцениваем эту конкретную игру: шкала Апгар отлично подходит для родильных покоев, где требуется начальная оценка. Но основное её предназначение — служить отправной точкой для дальнейших обследований. Если значение высоко, то всё в порядке, но если нет? Как поступать с ребёнком с низким значением? С точки зрения больницы, шкала Апгар даёт им начальную точку, ориентир, показатели которого следует улучшить. Так и с играми. Через некоторое время можно будет увидеть: какие перемены произошли и как они коррелируют с тем, хорошие, или плохие игры вы проводили.Так, постепенное наблюдение принесёт куда больше проку, чем если бы вы замеряли показатели одной игры и делали из этого далеко идущие выводы. В особенности это верно, если один из параметров неприменим для вашей группы: когда что-то вечно в минусах, но всё равно игры выходят хорошо. Видимо, текущий уровень — ваш потолок, только и всего.

Кто и за что отвечает?
Даже с учетом того, что GM не является тем, кто ответственен за удовольствие всей группы, ему стоит вести себя так, как будто он является. Это, безусловно, мое личное мнение, но я выскажу его здесь и сейчас: в плане этих вопросов я всегда предполагаю, что GM берет ответственность за все, даже если часто он не сможет контролировать происходящее. Это может показаться неправильным, но я укажу на уже прочитанную вами часть этого поста. Если вы проставили вашей игре низкий рейтинг потому, что один из игроков испытывал такое похмелье, что это просто развалило всю сессию, это не ваша ошибка. Но сессия все равно вышла плохой. Низкий рейтинг это НЕ критика GM’а, помните это — это информация о том, что случилось. Информация, которую можно использовать (надеюсь), а не суждение.

В следующем посте мы попробуем разобрать второй показатель.


Второй показатель: Работа с правилами

Second Data Point: Rules Mastery

Проблемы с машиной этим утром мешали мне добраться до клавиатуры, так что прошу прощения за поздний пост. Сегодня мы вновь возвращаемся к показателям, составляющим рейтинг GM’а.

Окей, работа с правилами — немного спорное понятие, но, на мой взгляд, оно весьма важно, потому что суть здесь в основном не в точном знании правил, а в комбинации знания и умения пользоваться им чтобы отвечать на возникающие вопросы. Это проще показать, чем объяснить, так что шкала по сути выглядит так:

0. Правила были применены неверно, или GM тратил очень много времени на консультацию с правилами или споры по их применению
1. Приходилось сверяться* с правилами, но это не мешало игре
2. Правила применялись правильно, без необходимости сверяться

*Сверяться в данном случае означает использовать что-то помимо элементов на столе, чтобы получить информацию. Смотреть в лист персонажа или экран GM’а (по крайней мере, правильный) не считается “сверкой”, но использование вебсайта или рульбука считается.

В этой формулировке, правда, есть одна очевидная проблема — казалось бы, шкала говорит нам, что “домашние правила” и “фиксы на ходу” — это плохо и неправильно, потому что результат в таком случае будет ниже. Разумеется, это полная чепуха. Разрешение вопросов “на ходу” обычно только делает игру лучше, и было бы глупо снижать за это оценку.
Что я хочу отметить в данном случае — это то, что по сути это не снижение балла, это оценка “трения” между группой и правилами. Если игра требует постоянных решений касательно правил, — она все еще может быть интересной (в зависимости от того, каким будет это правило) — но, возможно, что у вас небольшое расхождение между игрой, в которую вы хотите играть, и игрой, правила которой вы хотите использовать. Оба упомянутых в (0) варианта отражают именно это.

Так что же с домашними правилами? Ничего. Для целей данного измерения домашние правила приравниваются к обычным. Это правила, которые вы используете в вашей игре, и до тех пор, пока все знают о них, они не считаются обходом правил. Последнее несколько мешает GM’у, который любит держать все в своей голове, но.. если отметка 0 все же заставит GM’а делиться своими мыслями с игроками  – это хорошо.

По секрету сказать, я не уверен, что нам нужно включать споры о правилах, и возможно, я их вычеркну. Хотя сами споры по правилам и могут выявить несоответствие представлений, на мой взгляд они больше отражают проблемы в общении, которые лишь косвенно относятся к правилам.
Так или иначе, суть в определении, насколько применение правил (а не сами правила) влияет на игру. Этот показатель безусловно выше у игр где правила запоминаются и разрешаются легко (рулезлайт-игры), но учитывая то, что в данном случае мы измерям воздействие на игру а не толщину рульбука, влияние не столь велико. Любопытно, что мы также заметим уклон в сторону игр с хорошим дизайном – хорошо оформленный лист персонажа (и хороший экран GM’а — прим.пер.) часто уменьшает необходимость сверяться с правилами, и потенциально сам по себе может повысить рейтинг игры. Хотя это и вторичный эффект, он достаточно интересен.


Третий показатель: ясность

The Third Metric: Clarity

В результате долгих ковыряний в третьем показателе, я назвал его Ясность, хотя если кто-нибудь предложит что-нибудь получше – я весь внимание. Я упоминал его время от времени в других пунктах, но для надежности повторю: GM заменяет собой все средства восприятия игрока. Именно мастер является окном в мир, и от чистоты и ясности происходящего за этим окном зависит порой вся игра.
Проблема в том, что это такая вещь, которую легче всего оценить игрокам. Это не плохо само по себе, но для нас представляет проблему — мы хотим, чтобы GM мог оценивать сам себя с помощью этого рейтинга, и оценивать хотя бы относительно объективно. Поэтому нам нужен такой показатель, который GM будет в состоянии проверить сам, без помощи игроков.
Решение в том, чтобы слегка расширить поле зрения. Да, мы пытаемся понять, насколько хорошо или насколько плохо GM описывает мир. Как выглядит плохое описание? Что из этого вытекает?

Если посмотреть со стороны игрока, то ответ очевиден – это та самая ситуация “не-не-не! Я бы ни за что не сделал Х если бы я знал Y. Опиши еще раз”, “Не-не-не, ты что, я ни за что не полез бы в окно, если бы знал что перед ним стоит разъяренный огр!”
Понятно, что насколько хорошо решит такую проблему GM — зависит от GM’а, и понятно что если GM не замечает или не придает значения это ситуации — это плохо, но суть в том, что такая ситуация и есть явный пример когда в показателе “ясность” следует проставить 0.

Отлично, теперь вопрос посложнее: как выглядит “предельная ясность”?
Тут уже сложнее. Как и во многих других случаях, успехом GM’а является игра где все в порядке. У игроков есть вся необходимая информация, так что с их точки зрения все просто идет без проблем. Это «уровень 2», вопрос лишь в том, чтобы выделить его во время игры. Я подозреваю, что вы можете отделить 1 от 2 по вопросам, которые задают игроки — обычный уровень 1 — это когда время от времени люди переспрашивают («погоди, [ВОПРОС]»), а во втором случае они уточняют («а можно поподробнее насчет Х?»). В первом случае мы не смогли донести ситуацию до игрока с первого раза, во втором игроки заинтересованы и им хочется больше описания.
Должен признать, это немного нечестно — по сути мы спрашиваем мнения игроков, не говоря им об этом напрямую — но, как я уже и говорил в начале этой главы, игроки являются лучшим источником данных по этому вопросу. Честно говоря, меня больше беспокоит другая проблема, — что GM’у будет сложно применить этот метод самому, — это требует хорошей памяти о происходившем на игре, что может стать реальной проблемой.

Так или иначе, я предлагаю следующий вариант:
0 — игроки плохо понимают происходящее, что приводит к жалобам, «переигровке» и спорам.
1 — недостаток ясности вызывает необходимость более развернутых объяснений
2 — описания достаточно ясны, чтобы вопросы касались уже самой представленной ситуации.

Честно говоря, эта метрика не кажется мне настолько четкой, как две предыдущие, но, по-моему, она все еще смотрится терпимо. Хотя я и хотел бы добить ясность как-нибудь при случае.


Сказка о Двух Метриках

A Tale of Two Metrics

Сегодня я собирался добить оставшиеся две метрики (Энергию и Реакцию), но затем я понял, что одну из них придется выбросить. Давайте вместе посмотрим, почему.
Энергия, которую я мысленно называл попросту «Джазом» предполагалась мерой энтузиазма и увлеченности игроков в конце игры:
0 — игра была шла еле-еле или велась через силу
1 — игра шла неплохо
2 — у всех аж горели глаза!
Важно отличать «через силу» от «несмотря на», тому что последнее ближе к 2 чем к 1. «Через силу» — это когда сплошные длинные паузы и нежелание реагировать, а «несмотря на» — это когда, пусть и вымотанный как после марафона, но насладился.
Идея Реакции, как и многие другие, собрана из нескольких, также ее можно называть гибкостью.  Насколько хорошо GM реагирует на действия игроков и включает их отзывы и реакции в свой ответ?
0 — все шло так, как планировалось. Попытки игроков сойти с рельс были быстро подавлены.
1 —  игроки сумели удивить GM’а, но он согласился пойти этим путем.
2 — Неожиданные Решения Игроков драматически изменили ход игры в самом положительном смысле этого слова.

Заметьте, что акцент здесь делается на неожиданности и непредсказуемости. Если GM’ предлагает игрокам выбор и готов к любому из вариантов — это «все идет по плану» — что, к слову говоря, не будет автоматически являться рельсами. Пометка «в самом положительном смысле» в принципе может быть отброшена, нно остается как напоминание для GM’ов, чья «реакция» состоит в наказании игроков за их выбор (что однозначно приводит GM’а в категорию 0).
Итак, какую же из этих двух я отбросил, энергию или реакцию? Очевидно, энергия — это нечто крайне важное для оценки, как прошла игра, в то время как возможнон провести совершенно великолепную игру с низким показателем реакции, особенно если GM хорошо подготовится. Так почему же тогда я считаю именно энергию ненужной в данной паре?
Ответ на этот вопрос, на мой взгляд, проливает свет на то, почему некоторые метрики кажутся маловажными по сравнению с теми вещами, которые определяют, насколько хорошо шла игра. В частности — они исправимы.
Подумайте: если у вашей игры мало энергии, и причина не является чем-то очевидным и внешним (например всеобщей усталостью или похмельем), то не вполне понятно, какие именно шаги предпринять, что сделать, чтобы превратить игру из «скуууучной» в «офигенную». На это нет ответа, в частности потому, что «заряженная» игра это исход игры, а не то, чего может добиться GM. Энергию невредно отмечать, спрашивая у себя, хорошо ли прошла игра, но для понимания, что же ты сделал [хорошо] она бесполезна. С другой стороны, если мой показатель реакции низок, и я хочу это изменить, метод можно определить достаточно просто — хотя бы методом «прислушивайся к своим игрокам, уважай их выбор, и будь готов, что вещи пойдут в неожиданном направлении». Да, эти пункты можно развивать и дальше, в том и идея, — но суть в том, что это конкретные пункты, конкретная цель. С ними можно работать, а это и является основной причиной создания всего рейтинга — возможность говорить о вещах, которые GM может реально сделать для игры, а не о том, что им хотелось бы, чтобы произошло.
Минус данного подхода в том, что мы получаем такие вот расхождения с интуицией. Энергия ощущается более важной, чем-то, что мы должны измерять, в частности потому, что она служит отражением многих других успехов и провалов; она кажется важным значением. Проблема в том (и все становится еще заумнее), что на деле ее информативность  крайне мала. Представим себе три пути к замечательной игре — GM может гениально вовлекать всех в процесс, модуль может быть невероятно хорошо написан, игроки могут отлично сочетаться и коммуницировать. Каждая из этих трех вещей или их комбинация может привести к «заряженной» сессии. Но сам этот факт, что люди заряжены, и их глаза горят от восторга — не говорит мне ничего о том, каким путем мы этого добились. Я могу попытаться угадать на основе воспоминаний о сессии, но даже если я и смогу, факт, что все вышли с игры с горящими глазами не поможет мне это повторить.
Поэтому да, энергия важна, и на самом деле я думаю, что это, возможно, критически важный знак для проверки, прошла ли игра успешно — что-то, что мы вполне возможно захотим проверить по ходу дела, особенно из-за того, что этот сигнал интересно сравнивать с результатами измерений метрик — но это не ответ на тот вопрос, который мы задаем.

Стало понятно?


Guns_n_Droids:

Итак, Донохью рассмотрел следующие метрики:

  • Вовлеченность
  • Работа с правилами
  • Ясность
  • Реакция

Мне неизвестно на данный момент, планирует ли он описывать пятую, судя по всему, он несколько отвлекся от этого проекта, но даже без нее приведенные исследования более чем интересны и, на мой взгляд, помогут не одному мастеру оценить, и, возможно, улучшить свое умение водить игры.

Удачных игр, и спасибо за внимание
—guns_n_droids

  • Очень интересные мысли, прочел с удовольствием. Спасибо)