Машинное обучение: что это, зачем и где используется

Редакция «Текстерры»

Эксперты рассказали «Текстерре», что такое машинное обучение, зачем оно нужно, кто этим занимается и как стать одним из них.

Что такое машинное обучение

Машинное обучение простыми словами — это наука о том, как заставить искусственный интеллект действовать подобно человеку. А еще сделать так, чтобы он постоянно и самостоятельно улучшал свое обучение на основе новых данных, которые мы ему предоставляем.

Нейросеть — один из видов машинного обучения, так как нейронные сети не программируются в привычном смысле этого слова, а обучаются. Технически обучение заключается в нахождении коэффициентов связей между нейронами (нейросеть построена по принципу сетей нервных клеток живого организма).
О том, чем нейросети могут быть полезны бизнесу, мы писали подробно здесь .

Дмитрий Савостьянов, Head of Machine Learning в GOSU Data Lab (с 2021 года часть экосистемы Сбера):

«Если говорить максимально простым языком, то современное машинное обучение стоит на двух столпах:

• Нейросети — применяются для работы с однородными данными: изображения, тексты, звуки. Например, камеры на дорогах распознают номера машин с помощью нейросетей.
• Градиентный бустинг над решающими деревьями — применяется для работы с табличными данными. Например, когда банк принимает решение о выдаче кредита, исходя из вашей кредитной истории, возраста, рабочего места и так далее».

Существует несколько видов машинного обучения:

1. Обучение с учителем. Один из классических вариантов. Это когда у машины есть учитель, который знает, какой ответ правильный, и «обучает» алгоритм.
2. Обучение без учителя. Это когда алгоритму нужно самому найти верное решение среди хаотичных данных.
3. Обучение с подкреплением. Это когда ИИ находится в реальной среде — на улице, например. Он «подкрепляется» тем, что может функционировать дальше после того, как выберет правильный ответ.
4. Ансамбли. Группы алгоритмов, которые используют несколько методов машинного обучения.
5. Нейросети. Нейроны постоянно формируют новые связи в мозгу человека, по такому принципу работают и нейросети.

Где и как используется машинное обучение в жизни

К середине нулевых мы внезапно обнаружили, что многое из того, что нас окружает, сделано в Китае. Сейчас же почти все, с чем мы взаимодействуем, сделано при помощи машинного обучения.

Андрей Буссе, руководитель отдела разработки сайтов TexTerra:

«Активнее всего технологии внедряются в информационную сферу. Пожалуй, нет ничего, что вы видели бы чаще, чем собственный смартфон. Все приложения в вашем смартфоне используют машинное обучение. И для разработки этих мобильных приложений — тоже было использовано машинное обучение».

Андрей Фильченков, к.ф.-м.н., руководитель лаборатории машинного обучения Университета ИТМО, CTO (технический директор) Statanly Technologies:

«TikTok стал таким популярным за счет того, что ловко подбирал вам следующие видео — и все благодаря машинному обучению. Такому же принципу подбора предложений для вас следуют и другие приложения: социальные сети подбирают вам друзей и новости, YouTube угадывает интересные вам ролики, дейтинговые приложения отбирают партнеров, интернет-магазины — товары, поисковики — ответы на интересующие вас вопросы, и все это на основе машинного обучения.

Да, в приложениях доставки еды вы честно выбираете сами, листая нудную ленту, зато то, какой коэффициент устанавливать на доставку, определяет машинное обучение. Как и в случае с заказом такси или выбором авиабилетов».

Голосовые помощники и компьютерное зрение

Александр Садовников, руководитель отдела аналитики АНО Сириус.Курсы и преподаватель дистанционных курсов по искусственному интеллекту:

«Голосовые помощники, основанные на машинном обучении, которые по просьбе могут позвонить, вызвать такси, найти нужную информацию в поисковике или поставить будильник. Основу их работы составляют системы распознавания и синтеза речи, которые разрабатываются с использованием технологий машинного обучения».

Василий Лысов, эксперт по искусственному интеллекту и машинному обучению, преподаватель Московской Школы программистов (МШП):

«Самый простой и знакомый каждому пример использования голосового помощника — это Алиса от Яндекса. Очень часто проводят ассоциацию Алисы с умной колонкой. Умная она не просто так, а потому что там встроена куча всяких ml-методов — так называют методы искусственного интеллекта, характерной чертой которых является не прямое решение задачи, а обучение за счет применения решений множества сходных задач.

Да, есть разные аналоги Алисы: siri, Alex’ы, Маруси. Но Алиса ушла далеко вперед и умеет делать много классных штук — с ней можно поболтать, попросить включить музыку или рассказать сказку, а еще управлять вашим светом, кондиционером, да даже узнать про курс доллара или актуальную погоду».

Сергей Лукашкин, эксперт по цифровой трансформации, реинжинирингу бизнес-процессов и стандартов обслуживания:

«Хороший пример использования компьютерного зрения — роботы-доставщики, которые самостоятельно ездят и делают доставку, а также — ассистенты водителя в современных автомобилях, которые следят, чтобы вы не уснули, держат машину в полосе и способны ехать на автопилоте в потоке за впереди идущей машиной.

Почти все автомобили, самолеты, корабли используют системы помощи пилоту, которые основаны на стыке многих областей машинного обучения.

«Современные смартфоны для улучшения качества фото используют нейронные сети, которые собирают изображение из нескольких не всегда четких картинок. Это называется вычислительная фотография».

Кирилл Морозов, эксперт по компьютерному зрению, машинному обучению, hr-tech:

«Есть примеры вычислительной фотографии в сфере ЖКХ — это автоматические шлагбаумы и подъезды, которые открывают двери по лицу.

В зависимости от сложности и качества алгоритмов и используемых нейросетей есть разные варианты пайплайна распознавания. Усредненно: нейросеть на поиск авто в кадре анализирует видеопоток. При обнаружении машины специальный сервис нарезает кадры с машиной и отдает следующей нейросети. Вторая нейросеть пытается «угадать», где на машине находится номер. Обнаружив номер, в дело вступает третья сетка. Она уже пытается «угадать», что за символы на этом номере. Дальше обычный алгоритм сравнивает номер с базой номеров объекта и пропускает (или не пропускает) транспорт».

Медицина

Александр Садовников, руководитель отдела аналитики АНО Сириус.Курсы и преподаватель дистанционных курсов по искусственному интеллекту:

«Сегодня машинное обучение активно используется для помощи врачам в их медицинской практике: например, во время анализа снимков КТ. Программа значительно сокращает время обработки снимков врачом и быстро выдает результат, подсвечивая опасные зоны. Это позволяет врачу не только более точно определить уровень заболевания, оценить динамику и назначить эффективное лечение, но и помочь большему числу пациентов за меньшее количество времени».

Андрей Фильченков, к.ф.-м.н., руководитель лаборатории машинного обучения Университета ИТМО, CTO (технический директор) Statanly Technologies:

«Помните, был такой COVID? А вот про препарат IMD-0354 вы вряд ли знаете. Его предполагалось первоначально использовать для лечения атопического дерматита. Но пока он проходил испытания, ученые обнаружили, что он также позволит хорошо бороться с коронавирусом. А обнаружили они это при помощи алгоритмов машинного обучения.

Область поиска лекарств методами искусственного интеллекта сейчас растет как на дрожжах, потому что позволяет заметно сократить длительный и очень трудозатратные лабораторные испытания за счет правильного прогноза алгоритмом, какой эффект какая молекула окажет на здоровье пациента.»

Команда DeepMind, принадлежащая Google, с помощью ИИ смогла смоделировать процесс сворачивания белка. Над этой задачей ученые работали 50 лет. Прогнозирование сворачивания белка — ключ к пониманию того, как «работают» тяжелые болезни. Моделирование сворачивания белка поможет в лечении болезни Альцгеймера, Паркинсона и других.

Распознавание рентгеновских снимков для диагностики злокачественных образований в медицине — в основе у этого процесса тоже машинное обучение. Японские ученые, кстати, недавно обучили нейронную сеть превращать черно-белые снимки в цветные.

Сфера развлечений

Денис Кондратьев, программист, Unity-разработчик: «Нейронные сети могут использоваться в разработке игр. Есть разные способы:

• Для моделирования поведения неигровых персонажей (NPC) в играх. Например, нейронная сеть может быть обучена предсказывать лучшие действия NPC в определенной ситуации, основываясь на целях NPC и состоянии игры.
• Для анализа данных игры и оптимизации баланса игры. Например, нейронная сеть может быть обучена предсказывать вероятность победы различных персонажей или команд в конкурирующей игре, а затем использоваться для корректировки баланса игры, чтобы обеспечить равные шансы победы всем персонажам или командам.
• Для генерации нового контента для игр — уровней, персонажей и диалогов. Например, нейронная сеть может быть обучена на большом наборе данных уровней игры и затем использоваться для генерации новых уровней, похожих на уровни в наборе данных.
• Для улучшения качества и эффективности графики в играх. Например, нейронная сеть может быть обучена генерировать высококачественные изображения или видео для игр, или сжимать и оптимизировать ассеты игры, чтобы уменьшить размер файлов.
• Для распознавания образов и звуков. Например, нейронная сеть может быть обучена распознавать лица игроков в веб-камере и использовать эту информацию для управления персонажем в игре. Также нейронные сети могут использоваться для распознавания голоса игрока и перевода его в текст для использования в игре.

В общем, нейронные сети позволяют создавать более сложные и реалистичные игровые миры и оптимизировать игровой процесс для игроков. В игровой индустрии это довольно новое явление, которое сейчас бурно развивается. Скорее всего, спустя несколько лет применение нейросетей станет гораздо более широким».

Андрей Фильченков, к.ф.-м.н., руководитель лаборатории машинного обучения Университета ИТМО, CTO (технический директор) Statanly Technologies:

«Netflix — гигант мультимедийных развлечений, который производит тысячи разных сериалов, фильмов и шоу. Чтобы оставаться популярным, он очень чутко следит за пристрастиями аудитории и делает это, используя специализированные алгоритмы машинного обучения. В свою очередь, они дальше направляют создателей в сторону, которая, с точки зрения алгоритмов, будет наиболее востребована у целевых групп зрителей. До написания сценариев дело еще не дошло, но, судя по развитию технологий, это совсем не за горами.

Tesla, Yandex, КАМАЗ, да и вообще любая уважающая себя автомобильная компания сейчас либо разрабатывает, либо тестирует, либо пытается выйти на рынок со своим беспилотным автомобилем. Пять лет назад рассказы про это звучали как небылицы, но сейчас этим сложно кого-то удивить, хотя от каждодневной встречи с беспилотниками нас отделяют правовые ограничения. Конечно, без алгоритмов, которые распознают сигналы со всевозможных датчиков, лидаров и камер, и тех, которые на основе этого принимают решения о том, поворачивать или тормозить, всего бы этого случиться не могло».

Бытовые ассистенты

Андрей Фильченков, к.ф.-м.н., руководитель лаборатории машинного обучения Университета ИТМО, CTO (технический директор) Statanly Technologies:

«Загляните в холодильник. Конечно, не искусственный интеллект вырастил яблоки или нарезал колбасу. Однако почти наверняка алгоритмы искусственного интеллекта применялись на этапе контроля за выращиванием растений или животных, производства еды, доставки продуктов и продуктовой логистики, и даже в магазине, где вы все это купили.

Продукты на полке в сетевых магазинах располагают, используя те же рекомендательные системы. А в «Леруа Мерлен» машинное обучение используется для обновления информации о товарных остатках.

Эти же алгоритмы сопровождали все долгие финансово-организационно-бюрократические процедуры и согласования, о которых вы вряд ли хотите знать».

Дмитрий Савостьянов, Head of Machine Learning в GOSU Data Lab (с 2021 года часть экосистемы Сбера):

«К списку сферы услуг можно добавить следующие функции, выполняемые благодаря машинному обучению:

• Решения по выдаче кредитов в банках — прежде чем принимать решение, банк анализирует практически все ваши данные: сколько лет, где работаете, были ли судимости и подобное. Большую часть этой информации как раз анализируют за счет машинного обучения.
• Расчет стоимости поездки в такси — стоимость формируется из нескольких параметров: время (обеденный перерыв, конец рабочего дня, вечер субботы), место (насколько оно востребовано) и текущая погода. Используя эти факторы, программа рассчитывает общую стоимость вашей поездки».
• И даже предсказание погоды. Оно уточняется с помощью алгоритмов, исходя из среднесуточной температуры, климата региона, температуры прошлых дней и лет. Экономические прогнозы, как и прогноз погоды, тоже строятся с помощью алгоритмов из разных областей машинного обучения.

Более 30% компаний и произведенных ими продуктов используют машинное обучение в своих процессах производства, прогнозирования, рекламы, доставки и продажи и этот процент год от года повышается.

Все дело в том, что машинное обучение сегодня — это не только технология, на базе которой строится тот или иной продукт, но и метод улучшить, оптимизировать и упростить любой другой продукт. В зависимости от того, где вы живете и когда читаете эту статью, искусственный интеллект либо уже проник, либо в обозримой перспективе будет использоваться даже в вашей районной больнице, городском управлении, правоохранительных органах, и в компании, в которой вы работаете.

И дело не в том, что машинное обучение в целом умнее человека. Дело в том, что конкретный алгоритм можно обучить быть умнее человека в частностях. И этих частностей все время становится только больше.

Кто занимается машинным обучением

Хотя может сложиться впечатление, что машинное обучение только и делает, что отнимает рабочие места у людей, оно взамен создает огромное число новых профессий и новых вакансий, требующих самых разных знаний и квалификаций.

Андрей Фильченков, к.ф.-м.н., руководитель лаборатории машинного обучения Университета ИТМО, CTO (технический директор) Statanly Technologies:

«Новые подходы и алгоритмы создают ученые и исследователи-программисты, они публикуют статьи. Этими алгоритмами пользуются инженеры машинного обучения и инженеры анализа данных, применяя их для своих задач и нужд. Последним требуется в той или иной степени программировать, но не всегда, потому что простые или распространенные решения можно получить технологиями no-code.

Для всего этого необходимы данные, которые нужно собирать, размечать и хранить, а занимаются этим отдельные специалисты.

Коллективом нужно управлять, поэтому требуются специальные управленцы, которым не обязательно досконально разбираться во всех тонкостях языка программирования.

Наконец, появляется востребованность самых разных навыков, например, умение управлять генеративными моделями, создающими цифровое искусство».

Кирилл Морозов, эксперт по компьютерному зрению, машинному обучению, hr-tech:

«Алгоритм, который открывает шлагбаум, распознавая номер авто, популярен везде, но в РФ его работа имеет специфику: что делать, если номер залеплен снегом или грязью?

Для этого нужны специалисты по машинному обучению — чтобы адаптировать такие задачи в разных реалиях: от Краснодара до Хабаровска».

Василий Лысов, эксперт по искусственному интеллекту и машинному обучению, преподаватель Московской Школы программистов (МШП):

«Есть два направления, которые располагаются очень близко:

Data Science (раздел информатики, изучающий проблемы анализа, обработки и представления данных в цифровой форме)

Machine Learning (методы искусственного интеллекта, характерной чертой которых является не прямое решение задачи, а обучение за счет применения решений множества сходных задач).

В идеале хороший специалист хорошо владеет и тем, и другим».

Дмитрий Савостьянов, Head of Machine Learning в GOSU Data Lab (с 2021 года часть экосистемы Сбера):

«На российском рынке труда людей, работающих с машинным обучением, обычно называют Data Scientist. На Западе пошли дальше и разделили эту профессию на несколько направлений:

• Data Analyst — строит графики, делает выводы на основе исторических данных;
• Data Engineer — занимается обработкой и подготовкой данных;
• Machine Learning Engineer — внедряет ML-модели в продукт;
• Machine Learning Researcher — разрабатывает новые архитектуры ML-моделей.»

Валентин Шкулов, Principal Data Scientist в Meson Capital Partners:

«Сейчас появилось более узкое разделение на специальности.

Data Engineer — специальность, которая отвечает за сбор и хранение данных.

Machine Learning Engineer — он отвечает за разработку алгоритмов.

Data Science Product Manager — он отвечает за продвижение и внедрение решений.

Все эти роли в том или ином виде присущи специалисту по машинному обучению в зависимости от компании и ее текущих бизнес-процессов».

Сергей Лукашкин, эксперт по цифровой трансформации, реинжинирингу бизнес-процессов и стандартов обслуживания:

«Профессионалы машинного обучения, как правило, имеют специализацию в зависимости от того, чем больше они занимаются — фото, видео, текстами, звуком, генерацией изображений.

Как правило, для проектов используются уже готовые библиотеки и фреймворки машинного обучения. Если упростить, то в этом случае задача в том, чтобы найти нужны признаки или параметры модели, обучить модель на имеющихся данных и потом протестировать работоспособность и проверить бизнес-метрики, которые устраивают заказчика или пользователей.

Также есть коллективы ученых, которые создают новые типы нейронных сетей, придумывают различные архитектуры для решения различных типов задач».

Как попасть в сферу ML

Александр Садовников, руководитель отдела аналитики АНО Сириус.Курсы и преподаватель дистанционных курсов по искусственному интеллекту:

«Эту профессию достаточно сложно освоить с нуля, так как нужна серьезная техническая подготовка. В частности, нужно знать необходимую математическую базу: линейную алгебру, теорию вероятностей и математическую статистику, методы оптимизации. Кроме того, такому специалисту необходимо иметь аналитический склад ума, так как разработка моделей машинного обучения — зачастую очень исследовательский процесс».

Дмитрий Савостьянов, Head of Machine Learning в GOSU Data Lab (с 2021 года часть экосистемы Сбера):

«Лучше всего учат этим профессиям в Школе анализа данных от Яндекса, на Факультете компьютерных наук в ВШЭ, Факультете инноваций и высоких технологий МФТИ, Факультете вычислительной математики и кибернетики МГУ.»

Василий Лысов, эксперт по искусственному интеллекту и машинному обучению, преподаватель Московской Школы программистов (МШП):

«Если вы хотите найти себя в этой области, то ловите несколько лайфхаков:

• Получайте высшее техническое образование. Математики в ML хватает.
• Учите технический английский. Хороший ML-специалист часто проводит время за чтением свежих научных публикаций, которые в подавляющем большинстве представлены на английском языке.
• Python, Python и еще раз Python. Все самое классное в ML пишется на нем, хотя внутри могут быть (и скорее всего будут) C или C++.
• Если начали погружаться в ML, не останавливайтесь. Область молодая и динамичная. То, что работало несколько лет назад, сейчас может работать в два раза точнее и быстрее. Это вам не математика, которой несколько тысяч лет. Завтра вряд ли появится новая теорема Виета, а площадь квадрата внезапно начнут считать как-то иначе. В ML же все работает с точностью до наоборот.
• Участвуйте в соревнованиях и будьте частью комьюнити. Используйте подходы других людей, осваивайте новые методы, модели и инструменты».

Андрей Фильченков, к.ф.-м.н., руководитель лаборатории машинного обучения Университета ИТМО, CTO (технический директор) Statanly Technologies:

«Разрабатывать алгоритмы сложнее, чем их применять — для этого нужна определенная математическая база, которую нельзя закрыть одним курсом. Но вакансию можно найти практически под любой исходный уровень, главное — определиться со своим интересом».

Сергей Лукашкин, эксперт по цифровой трансформации, реинжинирингу бизнес-процессов и стандартов обслуживания:

«Проще всего начинать, если у вас есть техническое или математическое образование. Но это не означает, что гуманитарии не могут стать data scientist. Сегодня происходит процесс демократизации машинного обучения, многие инструменты доступны «из коробки». Да и освоить базовый уровень Python не так сложно. Так что, если у вас есть интерес к этому, вы попробуете и вам понравится, то дерзайте. Дорогу осилит идущий!».

Читайте также:

Как нейросети предугадывают нас, и как это используют ретейл, банки и службы такси

Еще одна нейросеть: пишет код и судебные иски (но это не точно!)

«Смотри, это – кот»: специалист TexTerra по нейросетям о том, как они работают на бизнес