Как и обещал на этой неделе Эли Шрагенхайм в своем блоге опубликовал продолжение кейса, для научения на одном факте. Весь кейс не уместился даже в двух публикациях, продолжение обещано.

Как обычно ссылка на оригинал, а картинки в этот раз пришлось переводить.

Читайте, комментируйте, обсуждайте. Первая часть здесь.

Ваш Дмитрий Егоров

Команда по расследованию продолжила свои поиски, чтобы извлечь правильные уроки из разрыва между ожиданиями и результатами.

Формальная структура рассматриваемого разыва:

При выдвижении гипотез задача состоит в том, чтобы быть открытым[i] для всех возможностей,  основывающихся на очень небольшом количестве известных фактов. Каждая гипотеза в последствии потребует от команды поиска информации, которая или подтвердит, или опровергнет гипотезу.

Команда выдвинула следующие гипотезы:

Гипотеза 1: Ожидания были нереалистичными с самого начала – невозможно создать идеальную систему, которая бы поднимала тревогу, когда необходимо, и не поднимала, если в этом нет необходимости.

Гипотеза 2: Участники проекта разрабатывали то, на что были способны. То, что казалось слишком трудным, не разрабатывалось.

Гипотеза 3: Участники проекта сфокусировались на защите от ложных тревог, даже за счет отказа от подачи сигнала тревоги, когда происходит реальное проникновение.

Гипотеза 4: Не было четкой и детальной спецификации того, что должны делать Wise-Cameras, утвержденной топ-менеджментом.

Гипотеза 5: К разработке системы недостаточно привлекали профессионалов в области безопасности.

Гипотеза 6: Проектная команда не обладала необходимыми навыками для решения этой задачи, и они попытались скрыть это от топ-менеджмента, заявив об успехе.

Гипотезы были вербализированы членами команды обычным повседневным языком. Между некоторыми гипотезами существуют причинно-следственные связи. Поэтому несколько гипотез могут оказаться обоснованными[ii]. На этом этапе команда просто проверяет каждую гипотезу, на предмет объясняет ли она разрыв.

Вербализируем потенциальное объяснение:

Обратите внимание, что дополнительные эффекты, которые требуются для того, чтобы объяснить разрыв, на самом деле, являются новыми гипотезами, которые должны быть проверены точно также: проверкой известный фактов, которые покажут, существует ли эффект в данном конкретном случае.

Проверка фактов продолжается до того момента, пока причина не станет ясна.

Вербализируя некоторые возможные объяснения, выведенные из основных гипотез, команда без труда выяснила к некоторым очевидным фактам:

• Топ-менеджментом была сформулирована спецификация высокого уровня, содержащая следующие основные требования:
  • Система должна идентифицировать пытающихся проникнуть в защищаемое здание до того как они достигнут двери или окна.
  • Число ложных тревог должно быть минимальным – не более чем 5%.
  • Система должна иметь ясные преимущества перед любой другой системы защиты, основанной на камерах.
  • Письменно менеджмент не указал, что система должна исключать необходимость человеку-охраннику наблюдать за экранами. Тем не менее, это требование неоднократно возникала в нескольких неформальных разговорах.
• Руководитель проекта Рафаэль Турина сообщил топ-менеджменту, что в проекте реализованы все требования, которые записаны, и стремиться достичь точки, где наблюдение за экранами не будет необходимым.
• Сэм Фуллер, исполнительный директор, сказал, что Рафаель обещал дать топ-менеджменту знать, существует ли необходимость наблюдения за экранами.
• Рафаель сказал, что он уведомил Сэма, что все записанные требования были удовлетворены.
• Идея, что люди будут перекатываться по направлению к зданию, в команде не возникла и, потому, не рассматривалась.
• The main technical challenge was to distinguish between a person and an animal moving.  The team assumed animals have four legs and based the ultra sophisticated image recognition on this idea.
• Было установлено, что все сотрудники проекта обладают высочайшими профессиональными навыками.
• Как Рафаэль, так и Алекс обладают широким опытом в области обеспечения безопасности.
• Никто из сотрудников проекта или внутренних менеджеров не был привлечен к планированию теста системы.

Факты, которые были подтверждены косвенно:

• Команда проекта неохотно информировала топ-менеджмент о неудачах или спецификация, которые не были реализованы.
  • Рафаэль, Алекс и другие члены команды отрицают эту тенденцию.
  • Тем не менее, проверка почты и отчетов для топ-менеджеров показала детальные отчеты об успешных внутренних тестах и ни одного отчета о трудностях.
  • Об одной явной неудаче по определению движения в плохих погодных условиях не было доложено
• Топ-менеджмент был уверен, что системе не нужно вмешательство человека на этапе идентификации.
  • Гилберт, менеджер внешней тестирующей команды и глава команды по расследованию, показал, что он понял, что люди, наблюдающие за экранами, не нужны.
  • Никто не должен был наблюдать за экранами во время внешнего тестирования.

Резюме установленных фактов:

Проекту не хватило ясного определения требуемых характеристик. Он стремился охватить все, но проявились некоторые проблемы. Две проблемы были ясно определены:

1. В условиях плохой погоды камеры были неспособны идентифицировать движение человека.
2. У проектной команды был конфликт между необходимостью идентифицировать подозрительную попытку приблизиться к зданию и поднятием ложной тревоги. Этот конфликт привел к решению, что движение человека идентифицируется, если он двигается на двух ногах. Возможные исключения и обходы не обсуждались.

Топ-менеджменту о проблемах не докладывали, и тот пребывал под впечатлением, что система идеальна и исключает необходимость наблюдения за экранами. Проектная команда была под впечатлением, что все записанные требования были реализованы. Проектная команда думала, что нет необходимости упоминать о вопросах, не обозначенных письменно. Руководство было под впечатлением, что все требования, а не только записанные, получили соответствующее воплощение.

Вопросы:

1. Мы знаем, что случилось – есть ли еще что-то, о чем нам надо знать?
2. Что нам сейчас делать? Расследование завершено?

Продолжение следует!

 

[i] В тексте «to keep the open mind», есть также вариант перевода «быть непредвзятым», но мне по контексту это вариант не понравился. – прим. переводчика

[ii] В тексте «valid» иногда переводят как «истинными» или дают кальку «валидными» — прим. переводчика