Вопрос по анализу

3 техники анализа проблем

Прежде чем решить какую-либо проблему, ее нужно понять. Как однажды заметил Эйнштейн: «Если бы мне отвели час для спасения мира, я бы потратил 55 минут на анализ проблемы и 5 – на ее решение». Этот подход кажется слишком отвлеченным, но он дает прекрасные результаты. Вспомните, у человеческого мозга есть две мыслительных системы.

Одна основана на быстрых инстинктивных процессах, именно из-за нее мы совершаем необдуманные (заметьте, необдуманные) поступки. И вторая, осознанная, которая требует больше  времени, но способствует выработке максимально рационального подхода.

Сегодня мы рассмотрим техники, позволяющие тщательно и всесторонне проанализировать проблему, что даст дальнейшую пищу для генерирования идей и принятия решений.

Метод  диаграмм «Почему»

Мы анализируем что-либо прежде всего для того, чтобы проникнуть в суть предмета, выявить причинно-следственные связи, разбить проблему на маленькие кирпичики, с которыми справиться куда проще.

Вспомните, как трехлетние дети познают мир – эту главную из проблем. Они задают тысячу простых вопросов «Почему?», копая до максимально возможной глубины. На каждый ваш ответ у них готово новое «Почему?».

Этот прием вполне подходит и для решения взрослых задач. Суть его проста. На листе бумаги в нескольких словах обозначьте проблему.

Задайте себе вопрос, почему она возникла и рядом запишите основные причины. Затем снова задайте этот же вопрос к каждой из них, и продолжайте до тех пор, пока не дойдете до «атомов» изучаемой проблемы.

  Очень удобно использовать для этой цели метод ментальных карт.

Дойдя до первопричин проблемы, вы сможете  увидеть всю картину целиком. И у вас сразу же появятся идеи как повлиять на ситуацию, затрагивая наиболее уязвимые элементы системы. Особенно хорошо этот метод работает при решении комплексных проблем.

Задачу можно несколько усложнить. Установите для себя некоторый лимит ответов, не достигнув которого вы не можете переходить на следующий уровень. К примеру, вы должны найти не менее 6 ответов на вопрос.

К каждому из них вы снова задаете этот вопрос, и снова ищете 6 причин. Это может показаться несколько искусственным, но такие рамки стимулируют и дисциплинируют мозг.

В дальнейшем можно будет отбросить некоторые из объяснений, если они окажутся притянутыми за уши.

Метод двенадцати вопросов

Существует еще один способ, который может расширить возможности предыдущего. Он позволяет посмотреть на проблему с куда большего количества  сторон.

Метод состоит из шести основных вопросов: «что?», «почему?», «когда?», «где?», «как?», «кто?». Каждый из них задается в позитивном и негативном контексте. Вот как это выглядит на примере.

Допустим, мы анализируем проблему аварий на атомных станциях:

• Что происходит на атомных станциях во время аварий?
• Что НЕ происходит на атомных станциях вовремя аварий?
• Почему случаются катастрофы на АЭС?
• Почему на других станциях они НЕ случаются?
• Когда обычно возникают чрезвычайные ситуации на АЭС?
• Когда они НЕ возникают?
• Где происходят аварии на АЭС?
• Где они НЕ происходят?
• Как это случается?
• Как этого удается избежать или предотвратить?
• Кто влияет на риск возникновения аварий?
• Кто НЕ влияет на возможность катастроф?

Итак, у нас получилось двенадцать вопросов, которые рассматривают множество сторон проблемы, в том числе затрагивая отрицательный аспект, о котором обычно все забывают.

Путь к идеалу

Если в предыдущих случаях мы больше разбирались в причинах каких-то проблем, смотрели на них из прошлого, то в этом случае речь пойдет скорее о путях разрешения. Тут нам понадобится взгляд из будущего.

Возьмите три листа. На первом распишите проблему, ее причины, особенности, плюсы и минусы. Второй озаглавите словом «Путь». Наконец, на третьем опишите идеальное положение дел после ее решения.

И теперь, напишите на втором листе основные действия и этапы, которые позволят перейти с первого листа на третий. Не нужно слишком детализировать, в данном случае достаточно только обозначить общие вехи, некие «волшебные точки», воплотив которые, вы достигнете идеала. Это позволит по-новому оценить проблему с позиций ее решения.

В дальнейшем вы сможете превратить эти вехи в опорные вопросы для мозгового штурма, применив к ним техники генерирования идей.

Резюме

1. Глубинное понимание сути проблемы способствует ее решению.
2. Чтобы докопаться до сути проблемы, задавайте себе вопрос «Почему?», пока не дойдете до первопричин.
3. Дисциплинируйте свой мозг, ограничивая количество ответов.
4. Воспользуйтесь техникой 12 вопросов, чтобы взглянуть на проблему с большего количества сторон.
5. Техника «Путь к идеалу» позволяет посмотреть на проблему с точки зрения ее решения.

Источник: https://4brain.ru/blog/%D1%82%D0%B5%D1%85%D0%BD%D0%B8%D0%BA%D0%B8-%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0-%D0%BF%D1%80%D0%BE%D0%B1%D0%BB%D0%B5%D0%BC/

Тест на аналитические способности и мышление | Примеры онлайн

Тест на аналитические способности используется работодателями для отбора менеджеров, экономистов, инженеров. Тестирование проводится за 20-30 минут, а результаты обрабатываются автоматически, что делает его объективным и удобным для соискателей и работодателей.

Скоро тест на Аналитические способности?      

Подготовиться

Способность к анализу: разные задания – одна цель

Способности к анализу информации отражают умения проанализировать данные, исследовать их, сравнить, сделать выводы. Для выявления уровня развития аналитических способностей используются оценочные испытания, результаты которых не зависят от субъективных факторов.

Тестирование состоит из следующих задач:

• вербальные;
• числовые;
• логические;
• понимания основ механики.

Кандидату требуется выполнить анализ числовой, вербальной или абстрактной информации.

Результат испытания отражает его умение работать с цифрами, текстами, изображениями, выполнять математические и логические операции.

Вербальные, числовые, логические задачи определяют уровень владения логикой или математикой, а каждый правильный ответ повышает ценность тестируемого в глазах работодателя.

Тест на аналитическое мышление применяется для отбора сильнейших кандидатов при приеме на работу. Рекрутеры используют кейсы, проводят собеседования, но тестирование способностей дает наиболее объективный результат, исключающий предвзятое отношение к соискателю.

Способности к анализу

У каждого человека логическое мышление развито в том или ином виде, а вот уровень его развития бывает разным. Есть люди, склонные к интуитивным решениям, а есть те, кто подолгу обдумывает каждый шаг. Про людей, склонных к анализу, говорят, что у них аналитический склад ума. Узнать уровень развития своих способностей можно с помощью бесплатных онлайн тестов на аналитический склад ума.

«Психологи и «эйчары» рассматривают аналитические навыки как умение обдумать конкретную ситуацию и предложить подходящее решение. Человек с логическим складом ума изучает причины и следствия своих или чужих поступков, делает выводы и заключения».

Тест на аналитичность призван выявить эти особенности, причем пользу от этого получает не только работодатель, но и сам респондент.

Как выглядит

Тестирование на анализ информации включает вербальный, логический и числовой разделы.

Числовые примеры используются для определения умения оперировать цифрами, делать несложные вычисления (проценты, дроби, пропорции).

Вербальные задачи состоят из небольшого текста (100-150 слов) и утверждения. Соискателю требуется определить, «ложно» или «верно» приведенное утверждение. Используются тексты медицинской, научной, юридической или экономической тематики. На один текст дается 30-60 сек, поэтому определить, соответствует ли указанное утверждение тексту непросто.

Логические или абстрактно-логические задачи состоят из ряда абстрактных изображений. На картинках изображены геометрические фигуры, меняющиеся по определенным закономерностям. Геометрические фигуры вращаются вокруг оси, к ним добавляются другие фигуры, линии, точки. Задача тестируемого – определить логическую связь и найти верный ответ из 3-5 вариантов.

Еще один используемый тест на аналитику – понимание механики, предполагающий знание базовых физических законов и причинно-следственных связей.

Соискатель может хуже работать с текстами, чем с математикой или физикой, но итоговый результат тестирования покажет его общий уровень способностей к анализу информации.

Кому нужны способности к анализу?

Аналитический склад ума, то есть предрасположенность к размышлениям и логическим выводам полезна в быту и на работе. Однако есть профессии, для которых развитое аналитическое мышление – первостепенный навык. Это, как правило:

• сотрудники отделов продаж;
• экономисты;
• бухгалтеры;
• IT;
• маркетологи;
• логисты;
• инженеры;
• консультанты.

Каждая должность, которая предполагает обработку данных, изучение документации требовательна к способностям по анализу информации. Некоторые компании используют задачи на аналитическое мышление, тест способностей и тестирование потенциала для кадровых перестановок.

Примеры вопросов

Первый вопрос относится к простейшим логическим задачам. Ответ – «55». Это следующее число последовательности Фибоначчи.

Второй вопрос относится к вербальным. Правильный ответ: «Недостаточно информации». Из контекста ясно, что астрономы не нашли конкретные планеты, а выявили определенную закономерность.

Советы для прохождения

Логическое мышление пригодится инженерам, маркетологам, аудиторам и программистам. Компании используют тест на анализ идей для отбора лучших сотрудников на рынке и формирования кадрового пула. Если соискатель получит слабый результат по стандартным числовым, либо вербальным задачам, ему будет сложно конкурировать за вакансию.

1. Практика.

Источник: https://TestOnJob.ru/blog/test-na-analiticheskie-sposobnosti/

Как делать анализ текста — алгоритмы и примеры разбора

Анализ текста — это краткий пересказ, разбор содержания какого-либо произведения. Можно анализировать стихи, рассказы, поэмы и так далее. Это учит осмысленному чтению. Именно поэтому педагоги дают ученикам такое задание.

Анализ простых произведений помогает без проблем понимать более сложные труды. Кроме того, это развивает творческие способности ученика, мышление, речь.

Анализ помогает понять смысл произведения, выделить мораль и главную мысль автора.

Как сделать анализ текста по литературе:

1. Нужно перечитать труд автора (с чувством, выражением, паузами, сменой интонаций).
2. Необходимо вспомнить все, что известно об авторе, или узнать о его биографии, интересах из дополнительной литературы.
3. Нужно определить стиль, которым написано произведение. Их всего пять: научный, официально-деловой, публицистический, художественный, разговорный.
4. После этого нужно определить тип речи. Их всего три: описание, повествование, рассуждение.
5. Необходимо обозначить жанр произведения. Примеры: пьеса, рассказ, баллада, былина, очерк, эссе и так далее.
6. Затем нужно определить главную тему произведения.
7. Написать заголовок или подумать над заголовком. Почему автор выбрал именно этот вариант?
8. Составить план работы, разделив его на смысловые части.
9. Обозначить способы связи частей, обратить особое внимание на лексические и синтаксические средства.
10. Определить связь, соотношение начала и конца работы.
11. Определить основные литературные приемы, на которых построен текст. Пример: преувеличение, противопоставление, быстрая смена действий и так далее.
12. Выделить и описать основные образы, в том числе образ автора.
13. Изучить фонетику текста. Что и для чего использует писатель? Пример: повторение согласных или гласных.
14. Изучить морфологический состав текста. Какие части речи и для чего использует автор?
15. Изучить синтаксис. Почему автор использовал именно эти формы и для чего?
16. Обозначить главную идею текста. Что хотел сказать автор?
17. Выразить личное впечатление от прочитанного, свои ощущения, эмоции, состояния.

Отдельное внимание нужно уделить лексическому анализу текста. Необходимо подумать, все ли слова понятны. Если нет, то следует обратиться к словарям.

На что еще обратить внимание при анализе лексики текста:

• ключевые слова в каждой смысловой части;
• опорные синонимы и антонимы;
• неоднозначные слова и слова с переносным значением;
• использование архаизмов, историзмов, неологизмов;
• просторечные выражения и возвышенный слог;
• эмоциональные и оценочные высказывания;
• фразеологизмы.

Важно отдельно проанализировать средства художественной выразительности. В каждом пункте нужно ответить на вопрос: «Зачем, для чего автор использовал именно это слово?».

Универсальный план

Встречаются разные вариации плана. Некоторые учреждения допускают вольное изложение и относят это задание к творческим.

Сокращенный вариант плана для анализа:

1. Род произведения: эпос, лирика или драма.
2. Жанр.
3. Несколько характеристик-особенностей жанра. Например: приключенческий роман.
4. Что вдохновило автора на создание сюжета. Из личной жизни, из прошлого, по мотивам работ других писателей и так далее.
5. тема произведения. Тема — это то, что описано в произведении.
6. идея произведения. Идея — смысл, что хотел сказать автор.
7. Главное противоречие и его особенности (если есть).
8. Композиция.

Если подробно заполнить каждый пункт, то получится развернутый портрет работы автора.

Комплексный анализ предполагает разбор текста по трем уровням: идеи и образы, стилистика текста, фонетика текста (для лирических произведений).

Как делается анализ текста:

1. Чтение текста и разделение его на части.
2. Обзор заголовка (тема, идея, смысл, проблема).
3. Поиск и разбор позиции автора.
4. Поиск и разбор микротем.
5. Разработка плана текста.
6. Разбор лексики, поиски определений незнакомых слов.
7. Изучение информации об авторе (в какую эпоху жил, чем интересовался, в каких условиях писал произведение).
8. Описания жанра и композиции.
9. Разбор художественных средств выразительности.
10. Отношение и впечатление читателя.

При разборе важно обратить внимание на систему образов, их связь друг с другом и на особенности развития сюжета. Определить принцип развития, завязку, основную часть, кульминацию и развязку.

Разбор прозы и поэзии

Анализ стихов и прозы несколько отличается. В первом случае больше внимания уделяется сюжету, во втором — действующим лицам.

План для разбора стихов:

1. Автор, название, история написания. Если есть информация о том, кому посвящено произведение, то указать и это.
2. Жанр и литературное направление. Доказать на примерах.
3. идея и тема.
4. Размер и используемые рифмы (тип).
5. Какие тропы использовал автор.
6. Фонетика стихотворения.
7. Специфика лексики.
8. Описание главного лирического героя.
9. Какие эмоции, чувства, настроения автор хотел передать читателю.
10. Личное отношение к произведению.

План для разбора прозы:

1. Автор, название, условия и история создания.
2. Направление и жанр.
3. идея и тема.
4. Действующие персонажи. Краткая характеристика на каждого.
5. Описание сюжета (композиция, линия).
6. Отношение автора к тому и тем, кого он описывает.
7. Анализ речи, которой написано произведение (строение предложений, приемы).
8. Описание личного отношения читателя к произведению.

В зависимости от требований учебного заведения план анализа может отличаться. Рекомендуется заранее обговорить с педагогом, какой план можно и нужно использовать.

Источник: https://nauka.club/pomoshch-studentu/analiz-teksta.html

Чем занимаются аналитики данных и как начать работать в этой области? — Академия Яндекса

Данные собирают все — от магазинов и ресторанов до компаний-монополистов и приложений с миллионной аудиторией. Аналитик данных помогает сделать так, чтобы собранная информация приносила пользу бизнесу. Мы выяснили, какие задачи вместе с экспертами решает такой специалист и почему ему нужно разбираться в бизнес-процессах не хуже владельца компании.

Кто такой аналитик данных

Аналитик данных (или дата-аналитик) — это специалист, который собирает, обрабатывает, изучает и интерпретирует данные. Его работа помогает принимать решения в бизнесе, управлении и науке.

Обычно такие специалисты работают в компаниях, которые практикуют data-driven подход — ориентируются на данные и их анализ при принятии решений. Курс «Аналитик данных» Яндекс.

Практикума рассчитан именно на это направление.

«Любой продукт, у которого есть аудитория, собирает данные. Аналитика есть в телекоме, банках, играх, консалтинге. Если сильно обобщить, то можно сказать так: там, где есть возможность сохранять данные о продукте и поведении пользователя, рано или поздно должен появиться аналитик», — говорит Анна Чувилина, автор и менеджер программы «Аналитик данных».

Аналитик данных — важный участник бизнеса, потому что обеспечивает уверенность в принятии решений. Создавать новый продукт очень дорого, а ошибка при внедрении новой функции может стоить компании репутации и прибыли.

Дата-аналитики проводят А/B-тесты и строят модели, чтобы проверить, как пользователи или клиенты реагируют на нововведения, и оценить перспективы того или иного проекта. Это дешевле и снижает риски бизнеса. Чтобы делать свою работу хорошо, аналитик должен видеть бизнес-процессы.

Поэтому важно, чтобы он мог влиять на процесс принятия решения, основываясь на результатах своих исследований. Иначе работа такого специалиста теряет ценность.

Задачи аналитика данных

Хороший аналитик данных — не просто математик с навыками программиста. Он понимает бизнес-процессы и хорошо знает продукт. Такой специалист разбирается, на чем зарабатывает конкретный бизнес.

В результате его работы компания может получать больше прибыли и делать своих пользователей счастливее.

Сильный аналитик данных прежде чем взяться за работу всегда спрашивает руководителя о том, какую задачу хочет решить бизнес.

Кроме программных инструментов аналитику данных важно развивать — метапрофессиональные умения, которые помогают делать работу лучше.

Это способность налаживать общение с коллегами и партнерами, умение решать проблемы и выходить из конфликтных ситуаций с наименьшими потерями, сильный эмоциональный интеллект.

Такие навыки больше связаны с личностью человека, чем с его профессиональным уровнем. Но их тоже можно формировать и развивать.

«Важно не путать дата-саентиста и дата-аналитика. Первый — это программист, знающий определенный набор языков и алгоритмов. Он решает поставленную техническую задачу. А дата-аналитик ставит эту задачу и переводит результат на язык бизнеса.

Для этого нужно развивать гибкие навыки: работа с требованиями, визуализация данных, переговоры. То есть понимать самому и уметь объяснить, что дает бизнесу ваша аналитика.

Изучить программы недостаточно — нужно критически подходить к задаче», — говорит Алексей Колоколов, эксперт по BI и визуализации данных.

Для каждого бизнеса задачи будут свои, а порядок действий общий. Аналитик данных работает так:

• собирает данные (формирует запрос сам или получает задачу от менеджеров);
• знакомится с параметрами набора (какие типы данных собраны, как их можно отсортировать);
• проводит предварительную обработку (очищает от ошибок и повторов, упорядочивает);
• интерпретирует (анализирует, собственно решает задачу);
• делает вывод;
• визуализирует (так, чтобы на основе вывода можно было принять решение, подтвердить или опровергнуть гипотезу).

Типичные задачи, с которыми приходят к дата-аналитику:

• Получить выгрузку данных для определенных целейБухгалтерии нужен список сотрудников, у которых в семье пятеро детей, — специалист делает выгрузку из базы данных.
• Ответить на вопрос бизнесаСделать расчет определенной метрики: сколько сотрудников уволилось до конца испытательного срока в этом году и сколько в предыдущем. Если компания вводит новую систему адаптации, то изменения такой метрики покажут результат. 
• Провести А/B-тестированиеНужно выяснить, как пользователи реагируют на то, какого цвета кнопка, зеленого или красного. Аналитик тестирует два прототипа. Часть пользователей видят прототип с зеленой кнопкой, другие — с красной. Он смотрит, как реагировали пользователи, проверяет, было ли различие статистически значимо. В итоге — рекомендует решение, которое проверил в ходе теста: внедрить зеленую или красную кнопку.
• Провести исследованияКонкретного вопроса от бизнеса нет, но нужен ресерч: взять внешние или внутренние данные, исследовать, найти аномалии или инсайты, провести пиар-исследование.
• Просчитать, какой вариант выгоднееЮнит-экономика: расчет РОИ, инвестиционного потенциала. Оценить окупаемость рекламной кампании или скорректировать бизнес-модель.
• Выяснить, какой товар и в какое время больше покупаютВзять группу товаров и посмотреть, есть ли сезонные всплески интереса, сравнить с другими группами.

Статистика позволяет сделать общие выводы по конкретному вопросу. А аналитика данных — исследовать тему со всех сторон, сравнить решения, найти аномалии или инсайты, сопоставить события по множеству параметров. Это открывает новые возможности для бизнеса.

Дата-аналитик может исследовать внутренние данные компании или обратиться к внешним источникам. Анализ открытых данных позволяет отслеживать важные социальные и культурные тренды.

«Дата-аналитик может глубже исследовать проблему. Например, в наших данных по ДТП в России есть доля водителей, которые нарушили правила ОСАГО. Зная эту долю и то, как она менялась в разные годы, мы можем делать выводы о социально-экономической ситуации в регионе — видим тенденцию, когда водители перестают покупать полисы, потому что у них нет денег.

Из того же датасета мы вытаскивали информацию про скрывшихся водителей. Оказалось, что в Омской области 20% водителей покидают место ДТП. Получив эту информацию, мы можем задавать дополнительные вопросы: почему так происходит, что это за социальные и культурные процессы», — рассказывает Сергей Устинов, аналитик данных и проджект-менеджер.

Как начать строить карьеру

Стереотипы в сфере аналитики данных не работают — неважно, гуманитарное или техническое образование получил дата-аналитик.

«У меня нет технического образования, я учился на факультете госуправления. А Python изучал на курсе биоинформатики для биологов.

На мой взгляд, этот язык больше всего подходит для старта, база навыков работы с ним приобретается за два-три месяца. Затем стоит изучать профильные библиотеки для сбора и анализа данных.

Чем больше ты знаешь библиотек, тем более качественная аналитика тебе доступна», — говорит Сергей Устинов.

Компании не рассчитывают, что начинающий аналитик данных будет уметь сразу всё. Они готовы обучать и направлять молодого специалиста. Главное — интерес к решению бизнес-задач. Правильно сформулированный перед исследованием вопрос важнее, чем большой опыт работы с программными инструментами.

«Программирование и математику можно выучить. А софтскиллы — нарабатываются опытом и практикой. Поэтому дата-аналитику полезны хакатоны и чемпионаты с решением практических задач. Он увереннее чувствует себя, прокачивая стиль мышления, ориентированный на решение конкретных бизнес-задач», — говорит Анна Чувилина.

Начинающих специалистов в сфере ИТ охотнее всего берут на позиции, связанные с анализом данных: доля вакансий для кандидатов с опытом работы меньше года здесь на четверть выше, чем в целом по рынку.

Работодатели ждут, что начинающий специалист:

• знает хотя бы один язык программирования: Python или R;
• умеет писать запросы к базам данных SQL;
• может показать выводы и метрики в виде понятного дашборда (Tableau, Power BI, Amplitude);
• хочет разбираться в бизнес-процессах, мыслит в терминах бизнес-задач.

Аналитику данных нужно понимать, что такое статистика и гипотеза. Серьезная математика не пригодится, главное ориентироваться в понятиях. В зависимости от запроса компании могут понадобиться навыки работы с Яндекс.Метрикой или Google Analytics. Опытные программисты с сильной математикой, которые не готовы думать в терминах задач бизнеса, закрывают себе путь в профессию аналитика данных. 

«Джуниор вырастает в крутого специалиста, решая реальные кейсы. Потому что насмотренность определяет твой уровень: важно, сколько раз жизнь ставила тебя в ситуацию, когда нужно принимать решение. Развиваться в том, как владеешь инструментами, тоже важно. Но и решение реальных задач помогает аналитику данных расти», — говорит Анна Чувилина.

Источник: https://academy.yandex.ru/posts/chem-zanimayutsya-analitiki-dannykh-i-kak-nachat-rabotat-v-etoy-oblasti

Анализ данных — основы и терминология

В этой статье я бы хотел обсудить базовые принципы построения практического проекта по (т. н. «интеллектуальному») анализу данных, а также зафиксировать необходимую терминологию, в том числе русскоязычную.

Согласно википедии,

Анализ данных — это область математики и информатики, занимающаяся построением и исследованием наиболее общих математических методов и вычислительных алгоритмов извлечения знаний из экспериментальных (в широком смысле) данных; процесс исследования, фильтрации, преобразования и моделирования данных с целью извлечения полезной информации и принятия решений. Говоря чуть более простым языком, я бы предложил понимать под анализом данных совокупность методов и приложений, связанных с алгоритмами обработки данных и не имеющих четко зафиксированного ответа на каждый входящий объект. Это будет отличать их от классических алгоритмов, например реализующих сортировку или словарь. От конкретной реализации классического алгоритма зависит время его выполнения и объем занимаемой памяти, но ожидаемый результат его применения строго зафиксирован. В противоположность этому мы ожидаем от нейросети, распознающей цифры, ответа 8 при входящей картинке, изображающей рукописную восьмерку, но не можем требовать этого результата. Более того, любая (в разумном смысле этого слова) нейросеть будет иногда ошибаться на тех или иных вариантах корректных входных данных. Будем называть такую постановку задачи и применяющиеся при ее решении методы и алгоритмы недетерминистическими (или нечеткими) в отличии от классических (детерминистических, четких).

Алгоритмы и эвристики

Описанную задачу распознавания цифр можно решать пытаясь самостоятельно подобрать функцию, реализующую соответствующее отображение. Получится, скорее всего, не очень быстро и не очень хорошо.

С другой стороны, можно прибегнуть к методам машинного обучения, то есть воспользоваться вручную размеченной выборкой (или, в других случаях, теми или иными историческими данными) для автоматического подбора решающей функции.

Таким образом, здесь и далее (обобщенным) алгоритмом машинного обучения я буду называть алгоритм, так или иначе на основе данных формирующий недетерминистический алгоритм, решающий ту или иную задачу.

(Недетерминистичность полученного алгоритма нужна для того, чтобы под определение не подпадал справочник, использующий предварительно подгруженные данные или внешний API).

Таким образом, машинное обучение является наиболее распространенным и мощным (но, тем не менее, не единственным) методом анализа данных.

К сожалению, алгоритмов машинного обучения, хорошо обрабатывающих данные более или менее произвольной природы люди пока не изобрели и поэтому специалисту приходится самостоятельно заниматься предобработкой данных для приведения их в пригодный для применения алгоритма вид.

В большинстве случаев такая предобработка называется фичеселектом (англ. feature selection) или препроцессингом. Дело в том, что большинство алгоритмов машинного обучения принимают на вход наборы чисел фиксированной длины (для математиков — точки в ).

Однако сейчас также широко используются разнообразные алгоритмы на основе нейронных сетей, которые умеют принимать на вход не только наборы чисел, но и объекты, имеющие некоторые дополнительные, главным образом геометрические, свойства, такие как изображения (алгоритм учитывает не только значения пикселей, но и их взаимное расположение), аудио, видео и тексты. Тем не менее, некоторая предобработка как правило происходит и в этих случаях, так что можно считать, что для них фичеселект заменяется подбором удачного препроцессинга.

Алгоритмом машинного обучения с учителем (в узком смысле этого слова) можно назвать алгоритм (для математиков — отображение), который берет на вход набор точек в (еще называются примерами или samples) и меток (значений, которые мы пытаемся предсказать) , а на выходе дает алгоритм (=функцию) , уже сопоставляющий конкретное значение любому входу , принадлежащему пространству примеров. Например, в случае упомянутой выше нейросети, распознающей цифры, с помощью специальной процедуры на основе обучающей выборки устанавливаются значения, соответствующие связям между нейронами, и с их помощью на этапе применения вычисляется то или иное предсказание для каждого нового примера. Кстати, совокупность примеров и меток называется обучающей выборкой.

Список эффективных алгоритмов машинного обучения с учителем (в узком смысле) строго ограничен и почти не пополняется несмотря на активные исследования в этой области. Однако для правильного применения этих алгоритмов требуется опыт и подготовка. Вопросы эффективного сведения практической задачи к задаче анализа данных, подбора списка фичей или препроцессинга, модели и ее параметров, а также грамотного внедрения непросты и сами по себе, не говоря уже о работе над ними в совокупности. Общая схема решения задачи анализа данных при использовании метода машинного обучения выглядит таким образом:

Цепочку «препроцессинг — модель машинного обучения — постпроцессинг» удобно выделять в единую сущность. Часто такая цепочка остается неизменной и лишь регулярно дообучается на новопоступивших данных.

В некоторых случаях, особенно на ранних этапах развития проекта, ее содержимое заменяется более или менее сложной эвристикой, не зависящей напрямую от данных. Бывают и более хитрые случаи.

Заведем для такой цепочки (и возможных ее вариантов) отдельный термин и будем называть мета-моделью (meta-model). В случае эвристики она редуцируется до следующей схемы:

Эвристика — это просто вручную подобранная функция, не использующая продвинутых методов, и, как правило, не дающая хорошего результата, но приемлемая в определенных случаях, например на ранних стадиях развития проекта.

Задачи машинного обучения с учителем

В зависимости от постановки, задачи машинного обучения делят на задачи классификации, регрессии и логистической регрессии. Классификация — постановка задачи при которой требуется определить, какому классу из некоторого четко заданного списка относится входящий объект.

Типичным и популярным примером является уже упоминавшееся выше распознавание цифр, в ней каждому изображению нужно сопоставить один из 10 классов, соответствующий изображенной цифре.

Регрессия — постановка задачи, при которой требуется предсказать некоторую количественную характеристику объекта, например цену или возраст. Логистическая регрессия сочетает свойства перечисленных выше двух постановок задач.

В ней задаются совершившиеся события на объектах, а требуется предсказать их вероятности на новых объектах. Типичным примером такой задачи является задача предсказания вероятности перехода пользователя по рекомендательной ссылке или рекламному объявлению.

Выбор метрики и валидационная процедура

Метрика качества предсказания (нечеткого) алгоритма — это способ оценить качество его работы, сравнить результат его применения с действительным ответом. Более математично — это функция, берущая на вход список предсказаний и список случившихся ответов , а возвращающая число соответствующее качеству предсказания.

Например в случае задачи классификации самым простым и популярным вариантом является количество несовпадений , а в случае задачи регрессии — среднеквадратичное отклонение . Однако в ряде случаев из практических соображений необходимо использовать менее стандартные метрики качества.

Прежде чем внедрять алгоритм в работающий и взаимодействующий с реальными пользователями продукт (или передавать его заказчику), хорошо бы оценить, насколько хорошо этот алгоритм работает. Для этого используется следующий механизм, называемый валидационной процедурой.

Имеющаяся в распоряжении размеченная выборка разделяется на две части — обучающую и валидационную. Обучение алгоритма происходит на обучающей выборке, а оценка его качества (или валидация) — на валидационной.

В том случае, если мы пока не используем алгоритм машинного обучения, а подбираем эвристику, можно считать, что вся размеченная выборка, на которой мы оцениваем качество работы алгоритма является валидационной, а обучающая выборка пуста — состоит из 0 элементов.

Типичный цикл развития проекта

В самых общих чертах цикл развития проекта по анализу данных выглядит следующим образом.

1. Изучение постановки задачи, возможных источников данных.
2. Переформулировка на математическом языке, выбор метрик качества предсказания.
3. Написание пайплайна для обучения и (хотя бы тестового) использования в реальном окружении.
4. Написание решающей задачу эвристики или несложного алгоритма машинного обучения.
5. По необходимости улучшение качества работы алгоритма, возможно уточнение метрик, привлечение дополнительных данных.

Заключение

На этом пока все, следующий раз мы обсудим какие конкретно алгоритмы применяются для решения задач классификации, регрессии и логистической регрессии, а о том, как сделать базовое исследование задачи и подготовить его результат для использования прикладным программистом уже можно почитать здесь.

P.S.

В соседнем топике я немножко поспорил с людьми, придерживающимися более академичной точки зрения на вопросы машинного обучения, чем моя. Что несколько негативно сказалось на моей хаброкарме.

Так что если вы хотели бы ускорить появление следующей статьи и обладаете соответствующими полномочиями — поплюсуйте меня немножко, это поможет мне написать и выложить продолжение более оперативно. Спасибо.

• machine learning
• data science
• algorithms

Хабы:

• Data Mining
• Алгоритмы
• Big Data
• Математика
• Машинное обучение

Источник: https://habr.com/ru/post/352812/

Changellenge >>

В современном мире, где все меняется очень быстро, а найти информацию легче, чем когда-либо, не нужно учить наизусть энциклопедии, чтобы быть эффективным в работе. Теперь ценится не сама информация, а умение ее искать и обрабатывать. Мы собрали для вас несколько советов по обработке данных, которые помогут сэкономить время на поиск, отфильтровать фейк и сделать правильные выводы.

Работа с информацией включает в себя три основных этапа: поиск, обработку и представление результатов.

Поиск данных

В наше время существует огромное количество источников, из которых можно черпать информацию. Это интернет, базы данных, эксперты, различные исследования и прочее. Самое главное — не растекайтесь и не хватайтесь за каждое слово.

Если перефразировать закон Парето, «20 % усилий дают 80 % результата». Этот закон, как никакой другой, применим к работе с данными. Заранее обдумайте, какая именно информация будет для вас ключевой, и сконцентрируйтесь на ее поиске.

Существует давний спор о том, как соотносятся качественные и количественные методы при поиске и анализе данных.

Какие нужно применять в начале, а какие в конце? Чаще всего сначала лучше использовать качественные методы (этап построения гипотезы о возможных путях решения проблемы), затем количественные (этап ее подтверждения). Но такой подход не является аксиомой, поэтому всегда смотрите по ситуации.

Алгоритм поиска

Общая схема поиска информации довольно проста: начать с самых простых источников и постепенно перейти к более трудоемким:​

• Перед тем как начать поиск, хорошо бы знать, что именно вы ищете. Так что постарайтесь найти аналогичные проекты и вникнуть в тему.
• Изучите общую картину и сформулируйте вопросы. Пространство для поиска может быть слишком широким, поэтому установите границы.
• Организуйте первую встречу с экспертом, чтобы определить направление работы.
• Соберите подробную информацию в открытых источниках. Это самая важная и объемная часть работы.
• Проведите вторую встречу с экспертом, проясните накопившиеся вопросы.​
• Готово: вы получили релевантную картину проблемы.

​Работа с открытыми источниками

Самый доступный источник информации — это интернет. Но на просторах Сети нужно быть аккуратным и не доверять всему, что находите. Используя поисковики, старайтесь тщательно фильтровать информацию и учитесь писать лаконичные запросы, используя именно те ключевые слова, которые выведут вас на нужные ресурсы.

Можно также использовать новостные сервисы.
В консалтинге часто используются собственные базы данных, например Press Search в BCG. Базы данных крупных университетов и международных организаций тоже могут быть полезны. Этот источник полезнее поисковиков, потому что там собрана только проверенная и авторитетная информация.

Сайты с презентациями, например Slideshare или Scribd, тоже иногда помогают.

Еще обратите внимание на отчеты компаний, разные статистические ресурсы, маркетинговые исследования (они позволят быстро погрузиться в отрасль) и исследования инвестиционных банков (там всегда указаны источники данных, а информация очень высокого качества).

Здесь все чуть сложнее: все же работать придется с человеком, а не с машиной. Перед встречей обязательно проведите самостоятельный ликбез, чтобы чувствовать себя уверенно и как минимум не задавать глупых вопросов. Если кто-то из ваших коллег уже встречался с этим человеком, узнайте, какие вопросы они обсуждали.

Эксперты терпеть не могут, когда у них по сто раз спрашивают об одних и тех же вещах. Впрочем, убедиться в том, что ваш эксперт действительно разбирается в теме, тоже не помешает. Почитайте о нем, пробегитесь по его работам. У детектива Коломбо из одноименного сериала была фишка: самый важный вопрос он всегда оставлял напоследок. Консультанты тоже часто так делают.

В самом конце, когда вы уже в дверях, а эксперт (клиент, коллега – кто угодно) расслабился и заказал такси, застаньте его врасплох неожиданным и важным вопросом. В таком состоянии он или автоматически ответит честно, или вы с легкостью поймете, что вам что-то недоговаривают.

Впрочем, если сериальные маневры не для вас, завершите разговор открытым вопросом: «Есть ли что-то важное, о чем я не спросил?» Это вполне нормальная практика. Помните, что всегда лучше задавать открытые вопросы, чтобы эксперт говорил как можно больше и поделился с вами всей известной ему информацией.

Рассаживаясь на встрече, всегда оставляйте эксперту самое комфортное и почетное место, чтобы продемонстрировать уважение. Часто люди инстинктивно садятся друг напротив друга, но такое положение напоминает бой «стенка на стенку», и вы автоматически становитесь соперниками.

Если формат встречи не один на один, член вашей команды может сесть на сторону клиента или эксперта, чтобы разрядить обстановку. Будьте тактичны, действуйте в зависимости от ситуации. Всегда просите разрешения делать заметки. Диктофон лучше не использовать. Это может насторожить человека: он начнет говорить менее уверено, стараясь не сболтнуть лишнего.

В любом случае держите контакт с собеседником и не слишком увлекайтесь записями, иначе он подумает, что общается со стенографистом. Со временем вы научитесь фиксировать всю информацию, используя минимум заметок. Заведите собственные ключевые слова, сокращения и другие приемы, которые позволят сделать записи лаконичнее.

Некоторые эксперты любят, объясняя что-то, рисовать схемы или писать тезисы. Попросите после интервью воспользоваться их записями. Во-первых, это действительно может пригодиться, во-вторых, это тоже своего рода знак уважения. Если эксперт отходит от темы, можно его тактично перебить. В конце кратко пробегитесь по пунктам, которые вы обсудили, чтобы собеседник в случае ошибки вас поправил. После встречи не забудьте написать эксперту благодарственное письмо, чтобы укрепить контакт. Кто знает, возможно, вам еще не раз понадобится его помощь.

Обработка данных

Теперь, когда вы собрали информацию, можно переходить к следующему этапу — обработке данных. Он состоит из двух частей: проверка качества и анализ. Сначала нужно оценить, насколько информация соответствует четырем критериям:

• Полнота. Проверьте, есть ли у вас все необходимые данные.
• Актуальность. Убедитесь, что вся найденная информация свежая.
• Достоверность. Сопоставьте информацию из нескольких источников. Используйте только правильные данные. Если сомневаетесь, посоветуйтесь с экспертом.
• Релевантность. Трезво оцените найденную информацию и посмотрите, нет ли в ней лишних данных.

Проверьте данные на здравый смысл – проведите так называемый Sanity Check. Это простой тест, который позволяет быстро оценить решение, вывод или предпосылку. Его смысл в том, чтобы сразу отследить очевидно ложный результат. Можно сравнить это с тем, как в консалтинге решают задачи на market-sizing.

Быстрые расчеты на основе допущений часто дают довольно точные результаты, так что не стоит недооценивать этот метод обработки информации. После того как вы проверили данные, нужно их обработать и провести анализ информации: разобраться во взаимосвязях и построить выводы.

Начнем с банального: приступая к анализу, следует твердо обозначить, что, как и зачем вы будете анализировать. К работе с информацией всегда нужно подходить с готовыми гипотезами и четким представлением о том, что эта информация вам даст. Анализ заключается в проверке гипотез и их дальнейшем подтверждении или опровержении.

Остерегайтесь data paralysis («информационного паралича»), при котором недостаток информации или ее избыток могут дезориентировать команду. Во время работы обращайте внимание на ограничения и по количеству информации, и по времени, чтобы успеть сделать Sanity Check перед тем, как переходить к использованию результатов анализа.

Для облегчения обработки информации существует три типа аналитических помощников: общие подходы, специфические фреймворки и графики.

Методы обработки информации

Общие подходы — это ранжирование (иначе приоритизация), матрицы, сценарный подход, инвестиционный анализ, сегментирование и риск-анализ. Первые три способа применяются практически при любом типе анализа, поэтому владеть ими обязательно. Оставшиеся три используются при решении специфичных задач.

Например, сегментирование помогает разделить компании по категориям, а инвестиционный анализ применяется для сопоставления затрат с предполагаемым доходом. К специфическим фреймворкам относятся, например, пять сил Портера, SWOT-анализ и анализ рентабельности задействованного капитала. Они помогают понять ключевую идею стратегических решений.

К слову, молодые консультанты любят использовать SWOT-анализ абсолютно везде, но на самом деле этот метод хоть и полезен, но не так применим, как может показаться на первый взгляд. С графиками все ясно. Это лучший инструмент для наглядного представления больших объемов данных

Возвращаясь к началу, помните, что анализ — не самоцель.

Вам нужно проверить гипотезы, поэтому не начинайте анализировать данные, пока не поймете, к чему это должно привести. Так вы сэкономите кучу времени и сил.

Представление результата

Для того чтобы сделать качественную презентацию своего исследования, нужно овладеть лишь одним принципом — пирамидой Минто. Этот простой инструмент заключается в группировке идей в кластеры, поддерживающие и раскрывающие основной тезис.

Начинаем с ключевой проблемы, переходим к поддерживающим аргументам, заканчиваем деталями. Как говорила сама Барбара Минто, первая женщина-консультант McKinsey, разработавшая этот принцип, «написать что-либо ясно и понятно — значит сделать два шага.

Первый — определить цель, главную мысль, которую вы хотите донести до читателя, второй — изложить эту мысль в словах или письменно».

Лайфхаки

Используйте специальные техники чтения. Углубленное чтение и чтение-сканирование хоть раз в жизни практиковал каждый, здесь проблем быть не должно. Насчет скорочтения взгляды расходятся. Практика показывает, что без него можно обойтись, но для увеличения своего КПД попробуйте освоить и этот метод.

Вам помогут специализированные приложения, основанные на технологиях spritz (слова выводятся на экран по одному за раз, чтобы сократить время на переход глазами по строчкам) и Blankist (программа дробит тексты на части, в каждой заключена основная мысль, которую вы сможете прочитать всего за пару минут).

Для ускорения работы научитесь быстро печатать. Существует много программ для развития этого навыка: «Соло на клавиатуре» — для Windows, KeyKey — для Mac OS или онлайн-тренажер «Все10».

И последнее напутствие: всегда рассматривайте не меньше семи вариантов при выборе чего-либо, будь то холодильник или направление для строительства карьеры.

Другие лайфхаки по быстрому и качественному анализу информации вы сможете узнать на Школе Changellenge >>. На 21-дневном образовательном интенсиве вы разберетесь и в других этапах решения бизнес-задач: от постановки проблемы до защиты проекта перед клиентами.

Узнать подробнее >>

Рекомендуем:

Теги

Источник: https://changellenge.com/article/kak-pravilno-analizirovat-informaciyu/