Где применяется машинное обучение

Машинное обучение уже окружает вас: лента соцсети, голосовой помощник, антиспам — это всё ML.

Машинное обучение давно вышло из лабораторий и работает в сервисах, которыми вы пользуетесь каждый день. Часто оно незаметно: вы просто видите «удобно подобранную» рекомендацию или «само заполнившееся» поле. Разберём, где именно ML приносит пользу.

ML вокруг нас

  • Рекомендации. Лента в соцсети, «вам может понравиться» в магазине, подборки в музыкальных сервисах — модель предсказывает, что вас заинтересует, по истории вашего поведения и поведения похожих людей.
  • Распознавание речи и текста. Голосовые помощники, автоматические субтитры, перевод между языками — модель превращает звук в текст и текст в смысл.
  • Компьютерное зрение. Разблокировка телефона по лицу, поиск по фото, помощь водителю на дороге — модель «видит» объекты на изображении.
  • Антифрод и безопасность. Банк замечает нетипичную операцию по карте и блокирует её; почта отсеивает спам. Модель ловит аномалии, которые трудно описать жёсткими правилами.
  • Медицина. Анализ снимков, помощь в постановке диагноза, прогноз рисков по истории болезни.
  • Прогнозы в бизнесе. Спрос на товар, отток клиентов, оценка кредитного риска, динамическое ценообразование.

Что у этих задач общего

На первый взгляд распознавание лица и прогноз спроса не похожи. Но под капотом у них одна схема: есть много примеров с известным ответом, и нужно научиться давать ответ для новых случаев.

ЗадачаЧто на входеЧто предсказываем
АнтиспамТекст письмаСпам / не спам
РекомендацииИстория просмотровИнтересен ли товар
Прогноз спросаПродажи, сезон, ценаСколько купят
ДиагностикаСнимок, анализыЕсть ли патология

Почему ML «выстрелил» именно сейчас

Идеи машинного обучения известны десятилетиями, но массовым оно стало недавно. Совпали три фактора:

  • Данные. Интернет, смартфоны и датчики дали огромные объёмы примеров, на которых можно учиться.
  • Вычисления. Видеокарты (GPU) позволили обучать большие модели за разумное время.
  • Алгоритмы и инструменты. Появились удобные библиотеки, и порог входа резко снизился — обучить модель теперь можно в несколько строк кода.

Важная оговорка

ML не магия и не «искусственный разум, который всё понимает». Это статистика на больших данных. Модель так же хороша, как данные, на которых она училась: если данные смещены или ошибочны, модель унаследует эти ошибки. Поэтому в реальных проектах больше всего времени уходит не на алгоритмы, а на сбор и подготовку данных — об этом будет отдельный раздел.

Итог

  • ML уже работает в рекомендациях, распознавании речи и изображений, антифроде, медицине и прогнозах.
  • За разными задачами стоит одна схема: учимся на примерах с ответами, чтобы отвечать на новых данных.
  • Бум ML обеспечили три вещи: много данных, мощные вычисления и удобные алгоритмы.
  • Качество модели напрямую зависит от качества данных.
Проверьте себя
1. Что общего у задач антиспама, рекомендаций и прогноза спроса?
AВсе они решаются одним и тем же алгоритмом
BНи одна не использует данные
CВо всех есть примеры с известными ответами, и нужно отвечать на новых данных
DВсе они работают только с изображениями
2. Какие три фактора сделали машинное обучение массовым именно в последние годы?
AДешёвая электроэнергия, 3D-печать и блокчейн
BСоциальные сети, реклама и мобильные игры
CНовые языки программирования и облака
DМного данных, мощные вычисления (GPU) и удобные алгоритмы/инструменты
3. Почему качество данных так важно для ML-модели?
AМодель так же хороша, как данные: смещения и ошибки в данных она унаследует
BДанные нужны только для красивых графиков
CЧем меньше данных, тем точнее модель
DДанные влияют только на скорость, но не на качество