«Важность «Больших Данных» (Big Data)» Перевод материалов блога Эли Шрагенхайма

По следам проведенного вэбинара Эли Шрагенхайм опубликовал у себя материал посвященный ценности БигДата. К сожалению, я этот вэбинар не смотрел, только планирую посмотреть в записи. На мой взгляд, в этой публикации ценность даже не в попытке анализа ценности БигДата, а в очередной демонстрации того, как работают Шесть вопросов к ценности новой технологии.

В общем читайте, размышляйте, комментируйте.

Как обычно, ссылка на оригинал и картинка из поста автора.

P.S.: времени на вычитку не было, найдете опечатки и неоптимальности — пишите, буду исправлять.

Ваш Дмитрий Егоров.

Амир и Эли Шрагенхайм (Amir and Eli Schragenheim)

Важны ли Big Data? Может ли любая организация извлечь из них значительную ценность?

Подпись на рисунке: «Давайте нарежем Большие Данные на Маленькие Данные и надеяться, что ни волшебным образом станут Грандиозными Данными»

Мы с Амиром предположили, что в конечном счете ответ людей, занимающихся управлением будет такой: «Да, существует большой потенциал, но также существует и проблема с тем, что можно утонуть в океане данных (Голдратт в Синдроме стога сена)».

Ну, похоже что слишком много людей считают, что в Big Data не так уж много ценности. Так что, наверное, нам, думающим, что в этом есть очень значительная потенциальная ценность, необходимо защитить это утверждение.

Big Data в своем узком понимании – это способность каждой организации за счет использования облачных программных инструментов для извлечения конкретных данных из различных баз данных и форматов относительно дешево хранить огромные объемы данных и организовывать их таким образом, который позволит управляющему человеку сфокусироваться на том, что действительно имеет значение.[i]

Более широкое понимание Big Data включает в себя огромные объемы данных из внешних ресурсов, к которым предоставляется свободный доступ через Интернет. Google, Facebook и  LinkedIn предоставляют для этого инструменты, кроме того, существуют публичные базы данных, которые предоставляют за определенную плату доступ к использованию и поиску по своим данным.

Кажется очевидным, что некоторые организации, как правило, крупные, извлекают из Big Data большой объем данных, как, например, упомянутые выше компании, обрабатывающие данные. Эти гигантские организации предлагают методы фокусирования рекламы для четко определенной аудитории. Наличие средств доступа к весьма конкретным рыночным сегментам можно использовать для получения знания о предпочтениях их клиентов.

Отрасль электронной коммерции, особенно цифровые магазины, используют собственный огромный объем данных, которые они получают о каждом, кто зашел на их сайт, и записывают каждое сделанное им действие, чтобы определить, в чем заинтересован их клиент. Анализ этого набора данных открывает возможности не только сделать лучшее предложение для этого клиента, которое он с большой вероятностью, купит, но и выиграть борьбу за него в будущем.  Помимо угадывания специфического вкуса каждого конкретного клиента, можно получить еще и общее понимание групп клиентов, например, роль цены при выборе товара.

Традиционные розничные магазины помимо тривиального анализа фактических продаж тратят намного меньше усилий на сбор данных, которые бы отражали предпочтения клиентов. Они беспомощны без прямого доступа к информации о клиентах, и даже хуже, без понимания, какие данные могут им помочь получить больший объем продаж. Розничные магазины многое теряют вследствие собственной некомпетентности в области сбора данных, которые бы позволили им стать более результативными.

Таким образом, компании, обладающие легким доступом к достаточно надежным и релевантным данным, находят ответы на критические вопросы и получают большую ценность. Другие организации – не получают.

Когда на рынке появляется новая технология, вроде способности хранить и анализировать огромные объемы данных, она поднимает два кажущихся похожими, но на самом деле, различных вопроса.

  1. Как мы можем использовать данную технологию, чтобы получить выгоду?
  2. Какие у нас сейчас существуют препятствия, позволяет ли новая технология найти способ преодолеть их? Если «да», то какие выгоды мы можем получить?

Многие организации не сразу видят выгоды от большинства новых технологий. Это значит, что ответ на первый вопрос будет НЕТ.

Однако, мы верим, что следует предпринять дополнительные усилия, чтобы проанализировать, что может помочь нам преодолеть препятствия. В настоящий момент организация принимает их как неоспоримый факт реальности, но новая технология может значительно снизить действие ограничивающего фактора , создаваемого препятствием. А затем могут быть определены новые возможности.

Второй вопрос Голдратта из Шести вопросов для оценки ценности новой технологии утверждает:

Какой существующий ограничивающий фактор или барьер устраняет или значительно снижает новая технология?

Очевидный ограничивающий фактор, связанные с хранением, не является ответом на этот вопрос, потому что ценность от хранения огромного объема данных не ясна и легко может привести к тому, что усилия будут потрачены впустую. Также как и увеличение скорости и сокращение трудоемкости громоздкой процедуры собора и организации в визуально дружелюбном виде огромного объема данных не всегда добавляет ценность.

Но мы всегда хотим обладать более релевантной информацией по критически важным проблемам организации. Когда мы принимаем решение, у нас никогда не бывает безупречной информации. Поэтому принятие решений происходит в условиях высокой неопределенности, в силу изменчивости плюс неизвестных на момент принятия решения фактов. Хотя эта основная жизненная ситуация сохранится таковой и в будущем, неизвестные могут быть значительно сокращены за счет сбора и предоставления лицам, принимающим решения, достоверной и релевантной информации.

Таким образом, мы с Амиром предложили следующий ограничивающий фактор/барьер, которые сокращает новая ИТ технология:

Невозможность получить надежные ответы на вопросы, требующие данных, которые ранее отсутствовали или были недоступны.

Например, каких характеристик в наших существующих продуктах не хватало многим клиентам?

Клиентам можно задавать такие вопросы, и даже хранить все ответы, но многие из них просто отказываются отвечать и, может быть, не знают, чего им не хватает, но, если бы они это увидели, то сразу бы поняли что это. Можем ли мы ответить на этот вопрос, если проанализируем данные из разных источников о том, что сделало внезапно популярным определенные продукты?

Неспособность ответить на критически важный вопрос является ключевым ограничивающим фактором для каждой компании, и поиск по настоящему релевантным данных, часто позволяет получить больше новой информации, которая вместе с эффективным анализом, даст значительную ценность.

Чтобы прояснить очень чувствительную связь между данными и информацией, давайте приведем определение, которое Голдратт дал понятию «информация» в книге «Синдром Стока сена» в 1990 году:

Информация – это ответ на заданный вопрос

Определение подчеркивает две идеи. Первая – это сила задавания вопросов, потому что в большинстве случаев, когда вы спрашиваете о чем-либо, что вас беспокоит, ответ на этот вопрос – это ответ на потребность.

Вторая идея – это то, что для ответа на вопрос требуются определенные данные и, благодаря вопросу вопросу эти данные становятся информацией.

Чтобы управлять организацией необходимо задавать вопросы, и каждый из них направлен на то, чтобы пролить свет на нужный аспект одной из двух категорий потребностей менеджера:

  1. Определение новых возможностей и того, как извлечь из них ценность.
  2. Определение возникающих угроз и того, как они могут быть устранены или поставлены под контроль.

Первая категория – это про новые инициативы для достижения успеха. Вторая категория о том, как защитить свой зад. Обе критически важны для организации.

Третий вопрос Голдратта:

Какие существуют правила, привычки и поведение, которые позволяют обойти этот ограничивающий фактор?

Не обладая средствами для сбора данных из множества источников, лица, принимающие решения, должны принимать решения основываясь в своей практике на следующие элементы:

  • Использование обычных данных из ERP или иной доставшейся в наследство системы организации
  • Использование интуции ключевых людей в организации, ближе всего знакомы с конкретной темой
  • Применять общий ультра консервативный подход, из-за неизвестности и защиты от рисков

Самым важным элементом является использование интуиции, основывающейся на прошлом опыте. Таким образом, это, конечно, релевантные данные, но их качество весьма сомнительно.  Отсутствие объективности, различные личные предубеждения и очень медленное принятие любого изменения составляют проблемную часть интуиции.

Интуиция и в будущем будет играть большую роль. Тем не менее, возможность проверить исходную интуицию (особенно скрытые предпосылки), которая предоставляется определенным анализом, основанном на данных, которые были недоступны до появления по настоящему больших данных, и возможность стать источником для новых открытий могут вдохновить новые интуитивные прозрения могут создать новую связь между точным анализом и интуицией.

Люди, занимающиеся TOС, возражают, что помимо интуиции необходим причинно-следственный анализ, который помогает великим менеджерам правильно размышлять, даже когда фактические данные минимальны. Иногда это правда, но, поскольку причинно-следственные связи основываются на наблюдаемых эффектах, которые не всегда являются подлинными фактами, то даже самая жесткая логика не может справиться с необходимостью опираться на слишком большой объем неизвестных.

Итак, как мы можем улучшить свою способность обнаруживать новые возможности и возникающие угрозы при помощи новых возможностей ИТ по оценке огромных объемов данных?

Большая ловушка использования новых ИТ технологий – это потеря фокуса, инвестирования огромного объема усилий в поиск и анализ данных, который в результате не даст никаких предложений. Это реальная угроза для многих организаций.

Предлагаемое нами направление решение – это создание стратегического процесса высокого уровня, выполняемого специальной командой, выполняющей штабную функцию, который включает следующие шаги:

  1. Определить в порядке убывания приоритетов список целей, которые не были должным образом достигнуты.
  2. Для каждой цели определите ключевое препятствие(ия) и что необходимо для их преодоления. Мы предполаем, что многие препятствия возникают из-за неизвестности.
  3. Исходя из этого, предложить приоритезированный список конкретных вопросов, которые требуют ответов, которые сейчас недоступны с достаточным уровнем доверия.
  4. Найти специфические данные, необходимые для получения ответов на вопросы. Часто это означает поиск внешних данных и последующий импорт во внутреннее хранилище данных компании.
  5. Создание глобальной картины достижения глобальной цели. Найденные ответы совмещаются с интуицией причинно-следственной логики, чтобы разработать возможные альтернативы действий. Конечный анализ предоставляется лицам, принимающим решение.

Этот процесс похож на то, что делают разведывательные службы для каждой страны. Естественно, что приоритеты и средства разные. Самые важные вопросы для страны касаются угроз со значительно меньшим упором на возможности, и средства сбора данных обычно незаконны, основанные на специальном разрешении правительства.

Адаптация процесса для настоящей бизнес-разведки – задача нетривиальная. Большая ошибка имитации процесса – это игнорирование основных различий. Однако, игнорирование схожих моментов и возможности научения на хорошо установленном процессе – это другая огромная ошибка. В данном случае отличия в этике, приоритетах и средствах, в то время как базовые потребности и инструменты анализа достаточно схожи, и появление Big Data прекрасный шанс для материализации потенциальной ценности.

Тот простой факт, что лежащие в основе новые открытия не сталкиваются с глубинными парадигмами крупных компаний, делает эти усилия достойными внимания.

Мы с Амиром будем рады принять участие в таких усилиях. Мы провели на эту тему вэбинар, который глубже анализирует ценность Big Data.  Запись нашего вэбинара можно просмотреть на сайте TOCICO: https://www.tocico.org/page/replay?.

В другой публикации мы намерены разобраться с потенциальной ценностью симуляций для получения новых открытий и ответов на самые беспокоящие вопросы. Также как Big Data и, на самом деле, любая новая технология, симуляции могут дать большую ценность, но требуют защиты от  серьезных подводных камней.

[i][i] В тексте «relevant», наиболее буквально «относящийся к делу» — прим. переводчика


Добавить комментарий

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.