Регрессия и классификация в чем разница

Регрессия против классификации

Разница между регрессией и классификацией

Сравнение лицом к лицу между регрессией и классификацией (инфографика)

Ниже приведено 5 лучших сравнений регрессии и классификации :

Ключевые различия между регрессией и классификацией

Давайте обсудим некоторые ключевые различия между регрессией и классификацией в следующих пунктах:

Точность = (Количество правильных прогнозов / Общее количество прогнозов) * (100)

Прогнозируемое значение модели регрессии составляет 4, 9, тогда как фактическое значение составляет 5, 3.

Прогнозируемое значение регрессионной модели составляет 2, 3, тогда как фактическое значение составляет 2, 1.

Прогнозируемое значение модели регрессии составляет 3, 4, тогда как фактическое значение составляет 2, 9.

Теперь Root означает квадратную ошибку, которую можно рассчитать по формуле.

Квадрат ошибки: (5.3-4.9) ^ 2 = 0.16, (2.1-2.3) ^ 2 = 0.04, (2.9-3.4) ^ 2 = 0.25

Среднее квадрата ошибки = 0, 45 / 3 = 0, 15

Среднеквадратичная ошибка = квадратный корень из 0, 15 = 0, 38

Это RMSE = 0, 38. Есть много других методов для расчета эффективности модели, но RMSE является наиболее используемым, потому что RMSE предлагает оценку ошибки в тех же единицах, что и прогнозируемое значение.

Примеры:

Большинство инженеров-исследователей данных сталкиваются с трудностями выбора между регрессией и классификацией на начальной стадии своей карьеры. Чтобы упростить задачу, давайте посмотрим, как выглядят проблемы классификации и как выглядят проблемы регрессии.

классификация

Если вы заметили, что для каждой ситуации здесь может быть либо Да, либо Нет в качестве прогнозируемого выходного значения.

регрессия

Если вы заметили, что для каждой ситуации здесь большинство из них имеют числовое значение в качестве прогнозируемого результата.

Сравнительная таблица регрессии и классификации

Таблица ниже суммирует сравнения между регрессией и классификацией :

классификация

Вывод

Вот некоторые из ключевых различий между классификацией и регрессией. В некоторых случаях прогнозируемые в регрессии непрерывные выходные значения можно сгруппировать в метки и изменить в классификационные модели. Таким образом, мы должны четко понимать, какой из них выбрать в зависимости от ситуации, и каким мы хотим получить прогнозируемый результат.

Рекомендуемые статьи

Источник

ML | Классификация против регрессии

Классификация и регрессия — это две основные проблемы прогнозирования, которые обычно связаны с интеллектуальным анализом данных и машинным обучением.

Классификация — это процесс поиска или обнаружения модели или функции, которая помогает разделить данные на несколько категориальных классов, то есть дискретных значений. При классификации данные классифицируются под разными метками в соответствии с некоторыми параметрами, указанными во входных данных, а затем метки прогнозируются для данных.
Производная функция отображения может быть продемонстрирована в форме правил «ЕСЛИ-ТО». Процесс классификации связан с проблемами, когда данные могут быть разделены на двоичные или несколько дискретных меток.

Давайте рассмотрим пример. Предположим, что мы хотим предсказать возможность победы в матче команды А на основе ранее записанных параметров. Тогда будет два ярлыка Да и Нет.

Рис. Бинарная классификация и мультиклассовая классификация.

Регрессия — это процесс поиска модели или функции для разделения данных на непрерывные реальные значения вместо использования классов или дискретных значений. Он также может идентифицировать движение распределения в зависимости от исторических данных. Поскольку модель прогнозирования регрессии предсказывает количество, следовательно, навык модели должен быть указан как ошибка в этих прогнозах
Давайте возьмем аналогичный пример и в регрессии, где мы находим возможность дождя в некоторых регионах с помощью некоторых параметров, записанных ранее. Тогда есть вероятность, связанная с дождем.

Рис: Регресс дня против осадков (в мм)

Сравнение между классификацией и регрессией:

Источник

Русские Блоги

Решение и различие классификации и регрессии в машинном обучении

1. Линейная регрессия

Регрессионный анализ часто используется для анализа взаимосвязи между двумя переменными X и Y. Например, соотношение между X = размером дома и Y = ценой на жилье, соотношение между X = (поток людей в парке, цена билета в парк) и Y = (доход в парке) и так далее.

Тогда ваши точки данных можно будет увидеть на графике следующим образом

Теперь вы хотите найти взаимосвязь между размером дома и его ценой, то есть функцию f (x) = y. Она может хорошо представлять взаимосвязь между этими двумя переменными.

Значит тебе нужноПримерно оценитьКакая связь между размером дома и ценой на жилье?

даЛинейныйЭто связано? ИлиНелинейныйОтношения?

Конечно, в этом вопросе линейная зависимость больше соответствует отношениям между ними. Итак, выбираем подходящийЛинейная модель, Чаще всего используется f (x) = ax + b.

Затем используйте эту линейную модель, чтобысоответствиеЭти точки данных.

1.1 Как соответствовать?

С точками данных и линейной моделью, которую вы представили, как согласовать, то есть как использовать эту линиюЛучшийОпишите взаимосвязь некоторых точек данных?

Нужно лучше всего описать точку, и нам нужно определение «хорошо». Вы также можете много думать оОпределение «хорошо». Есть два ниже,

Оба эти определения принимают сумму разницы расстояний между моделью и точкой данных какСтандарты измерения качества матча. Чем меньше ошибка, тем выше степень соответствия.

Но в целом модель, которую мы хотим найти, состоит в том, чтобы сделать f (x) как можно более похожим на y, поэтому мы хотим минимизировать разницу между f (x) и y. Следовательно, для оценки степени соответствия этой линии разумно использовать «хорошее определение» второго графика. Итак, у нас естьФормула ошибки.

1.1.1 Градиентный спуск

Как найти наименьшую стоимость (а, б)?Изображение стоимости (а, б) на самом деле похоже на чашу с самой низкой точкой. Чтобы найти самую низкую точку, сначала найдите случайную точку (например, a = 3, b = 2), а затем проследите направление, в котором опускается чаша, и, наконец, вы можете найти самую низкую точку чаши.

форма стоимости (а, б)

Как найти (определенную точку) направление падения чаши?? Ответ заключается в том, чтобы найти противоположное направление производной в этой точке. Возьмем для примера параметр a, связь между a и стоимостью следующая:

До тех пор, пока любой а, вместе со стоимостьюПротивоположное направление производнойДвигайтесь медленно, затем однажды значение a достигнет точки, которая минимизирует затраты. Затем вы можете непрерывно перемещать a, b и двигаться к самой низкой точке.

1.1.2 Прямое решение метода минимальной точки

в заключении:Решение проблемы регрессии:

1. Предположите модель 2. Определите, что лучше всего соответствует (построите функцию ошибки) 3. Используйте эту модель для сопоставленияСуществующие точки данных(Обучающий набор)

Вопросы, требующие дальнейшего обсуждения:

2. Классификация (логистическая регрессия)

Проблемы с классификацией также являются очень распространенной проблемой. Например, как определить, высокий ли человек, богатый или красивый или Диаози? Предположим, я репортер системы видеонаблюдения, опросил N человек и получил информацию из первых рук. Информация следующая

Мы хотим предсказать, является ли человек (богатый красавец) или (развешивает шелк), исходя из количества денег в его кармане. Можем ли мы сделать это с помощью регрессии? Очевидно, нам просто нужно найти модель, а затем продолжить Просто сопоставьте.

Форма этой функции больше похожа на распределение данных нашей задачи классификации, поэтому данные, используемые для соответствия задаче классификации, будутБолее подходящий！

Итак, у нас есть новая модель,

Регулируя значения a и b, модель может непрерывно изменяться для соответствия точкам данных. Чтобы сопоставить точки данных, нам нужна функция для измерения степени сопоставления, как и функция стоимости задачи регрессии. Таким же образом мы можем получить стоимость

так что выНи за чтоНайдите функцию стоимости двумя способами (1.1.1 и 1.1.2).Глобальный минимум。

Таким образом, вам необходимо построить лучшую функцию затрат.Измерьте соответствиеВ то же времяВыпуклая функция от a, b(Подобно стоимости задачи регрессии, как чаша, существует только одно минимальное значение).

К счастью, у нас все еще есть всевозможные великие математики. Они работали день и ночь и, наконец, придумали функцию стоимости, имеющую форму чаши. (Оценка максимального правдоподобия.http://www.holehouse.org/mlclass/06_Logistic_Regression.html )

Теперь мы можем использовать наш знакомый градиентный спуск, чтобы переместить значения a и b, чтобы минимизировать затраты.

В конце концов, таким образом была решена проблема классификации.

Конечно, более сложные вопросы могут включать:

Наконец, сравните размер, какой из них больше, какому типу x принадлежит

3. Резюме (разница между двумя вопросами)

Поговорим о разнице между регрессией и классификацией:

В общем, эти две проблемы по сути совпадают, то есть подгонка модели (согласование). Но значение y (также называемое меткой) в задаче классификации более дискретно. Более того, одно и то же значение y может соответствовать большому количеству x, и эти x имеют определенный диапазон. Чтобы

Следовательно, проблема классификации заключается в том, что (некоторый x в определенной области) соответствует (a y). Модель задачи регрессии более наклонна (x в небольшой области или обычно x) соответствует (a y).

При моделировании проблемы вы должны учитывать требования, чтобы ваша модель лучше соответствовала реальной проблеме.

Источник

Разница между классификацией и регрессией в машинном обучении

Дата публикации 2017-12-11

Существует важное различие между проблемами классификации и регрессии.

Я часто вижу такие вопросы, как:

Как рассчитать точность для моей проблемы регрессии?

Подобные вопросы являются признаком неправильного понимания разницы между классификацией и регрессией и того, какую точность пытаются измерить.

В этом уроке вы обнаружите различия между классификацией и регрессией.

После завершения этого урока вы узнаете:

Обзор учебника

Этот урок состоит из 5 частей; они есть:

Функция приближения

Подробнее о прогнозирующем моделировании читайте в посте:

Прогнозирующее моделирование может быть описано как математическая проблема приближения функции отображения (f) от входных переменных (X) к выходным переменным (y). Это называется проблемой приближения функций.

Задача алгоритма моделирования состоит в том, чтобы найти лучшую функцию отображения, которую мы можем, учитывая время и ресурсы.

Подробнее об аппроксимирующих функциях в прикладном машинном обучении читайте в посте:

Как правило, мы можем разделить все задачи приближения функций на задачи классификации и задачи регрессии.

Классификация прогнозирующего моделирования

Выходные переменные часто называют метками или категориями. Функция отображения предсказывает класс или категорию для данного наблюдения.

Например, электронное письмо с текстом может быть классифицировано как принадлежащее одному из двух классов: «спам»«а также «не спам«.

Для классификационных моделей характерно предсказывать непрерывное значение как вероятность данного примера, принадлежащего каждому выходному классу. Вероятности могут быть интерпретированы как вероятность или достоверность данного примера, принадлежащего каждому классу. Прогнозируемая вероятность может быть преобразована в значение класса путем выбора метки класса, которая имеет наибольшую вероятность.

Например, конкретному текстовому электронному письму могут быть присвоены вероятности 0,1 как «спама» и 0,9 как «не спама». Мы можем преобразовать эти вероятности в метку класса, выбрав метку «не спам», поскольку она имеет наибольшую прогнозируемую вероятность.

Существует много способов оценить мастерство модели прогнозирования классификации, но, возможно, наиболее распространенным является расчет точности классификации.

Например, если модель прогнозирования классификации сделала 5 прогнозов и 3 из них были правильными, а 2 из них были неправильными, то точность классификации модели, основанной только на этих прогнозах, была бы:

Алгоритм, способный изучать модель прогнозирования классификации, называется алгоритмом классификации.

Прогнозирующее регрессионное моделирование

Например, можно предположить, что дом будет продаваться по определенной долларовой стоимости, возможно, в диапазоне от 100 000 до 200 000 долларов.

Поскольку прогнозирующая модель регрессии предсказывает количество, навык модели должен быть указан как ошибка в этих прогнозах.

Есть много способов оценить мастерство модели прогнозирования регрессии, но, возможно, наиболее распространенным является вычисление среднеквадратичной ошибки, сокращенно обозначаемой как RMSE.

Преимущество RMSE состоит в том, что единицы оценки ошибки находятся в тех же единицах, что и прогнозируемое значение.

Алгоритм, который способен изучать модель прогнозирования регрессии, называется алгоритмом регрессии.

Некоторые алгоритмы имеют в своем названии слово «регрессия», например, линейная регрессия и логистическая регрессия, что может привести к путанице, поскольку линейная регрессия является алгоритмом регрессии, тогда как логистическая регрессия является алгоритмом классификации.

Классификация против регрессии

Классификация задач прогнозного моделирования отличается от задач регрессионного прогнозного моделирования.

Существует некоторое совпадение между алгоритмами классификации и регрессии; например:

Некоторые алгоритмы могут использоваться как для классификации, так и для регрессии с небольшими модификациями, такими как деревья решений и искусственные нейронные сети. Некоторые алгоритмы не могут или не могут быть легко использованы для обоих типов задач, таких как линейная регрессия для прогнозирующего моделирования регрессии и логистическая регрессия для прогнозного моделирования классификации.

Важно отметить, что способ, которым мы оцениваем прогнозы классификации и регрессии, варьируется и не перекрывается, например:

Преобразование между проблемами классификации и регрессии

В некоторых случаях можно преобразовать проблему регрессии в задачу классификации. Например, прогнозируемое количество может быть преобразовано в отдельные сегменты.

Это часто называется дискретизацией, а результирующая выходная переменная представляет собой классификацию, в которой метки имеют упорядоченное отношение (называемое порядковым номером).

В некоторых случаях проблема классификации может быть преобразована в проблему регрессии. Например, метка может быть преобразована в непрерывный диапазон.

Некоторые алгоритмы уже делают это, предсказывая вероятность для каждого класса, которая, в свою очередь, может быть масштабирована до определенного диапазона:

Кроме того, значения классов могут быть упорядочены и сопоставлены с непрерывным диапазоном:

Если метки классов в задаче классификации не имеют естественного порядкового отношения, преобразование из классификации в регрессию может привести к удивительной или плохой производительности, поскольку модель может узнать ложное или несуществующее отображение из входных данных в непрерывный выходной диапазон.

Дальнейшее чтение

Этот раздел предоставляет больше ресурсов по теме, если вы хотите углубиться.

Резюме

В этом уроке вы обнаружили разницу между проблемами классификации и регрессии.

В частности, вы узнали:

У вас есть вопросы?
Задайте свои вопросы в комментариях ниже, и я сделаю все возможное, чтобы ответить.

Источник

Регрессия или классификация? Линейный или Логистический?

Дата публикации Jun 11, 2019

Регрессия против классификации

Чтобы решить, следует ли использовать регрессионную или классификационную модель, вы должны сначала задать себе следующие вопросы:

Является ли ваша целевая переменная величиной, вероятностью двоичной категории или меткой?

Если это один из первых вариантов, то вы должны использоватьрегрессиямодель. Это означает, что если вы пытаетесь предсказать такие величины, как рост, доход, цена или баллы, вам следует использовать модель, которая будет выдавать непрерывное число. Или, если целью является вероятность того, что наблюдение является бинарной меткой (например, вероятность быть хорошим, а не плохим), то вам также следует выбрать регрессионную модель, но используемые вами модели будут немного отличаться. Эти модели оцениваются по среднеквадратичной ошибке (MSE или отклонение) и среднеквадратичной ошибке (среднеквадратичное отклонение или стандартное отклонение) для количественного определения количества ошибок в модели.

Если это последний вариант, вы хотите использоватьклассификациямодель. Этот метод полезен для прогнозирования метки наблюдения (напр., Плохо, справедливо, хорошо). Сложная часть иногда понимает, является ли цельявляетсяярлык или нет. Например, если целью является порядковая переменная, такая как дискретное ранжирование от 1 до 5, то это метки, но они все же имеют математическое значение. Это означает, что среднее значение и вариация данных могут все еще быть проницательными, но для прогнозирования вам будет лучше использовать классификацию. Эти модели оцениваются по F-баллу или точности модели вместо отклонения и стандартного отклонения. Эта оценка дает понимание того, сколько наблюдений было правильно помечено, и может быть визуализирована с помощью путаницы, которая разделяет наблюдения на истинные положительные / отрицательные и ложные отрицательные / положительные.

Важно понять характеристики целевой переменной, прежде чем вы начнете работать с моделями и формировать прогнозы. Если вы используете регрессию, когда вам следует использовать классификацию, вы будете иметь непрерывные прогнозы вместо дискретных меток, что приведет к низкому (если не нулевому) F-значению, поскольку большинство (если не все) прогнозы будут отличаться от 1 или 0 ты хочешь предсказать. Одним из способов решения этой проблемы является создание отсечения, если вы используете логистическую модель, которая дает вам вероятности. Например, может быть, вы решите, что все, что выше 0,9, равно 1, а что-либо ниже 0, и, тем самым, вы можете найти F-показатель и посмотреть матрицу путаницы. Однако этого дополнительного шага обычно можно избежать, используя подходящую модель.

После того, как вы определили, какой метод использовать, следующим шагом будет выбор модели, которую вы собираетесь использовать для генерации своих прогнозов.

Модели регрессии

Из регрессионных моделей наиболее популярными являются линейные и логистические модели.

ОсновнойлинейныйМодель следует известному уравнению y = mx + b, но обычно форматируется немного по-другому:

логистическийМодель следует слегка измененному уравнению:

что ограничивает его значениями от 0 до 1. По этой причине он в основном используется для двоичных целевых переменных, где возможные значения равны нулю или единице, или когда целью является вероятность двоичной переменной. Как упоминалось ранее, уравнение не допускает, чтобы предсказания были нелогичными в смысле наличия вероятностей ниже 0 или выше 1.

Добавление штрафа L2 приведет кгрядарегрессия, которая сократит коэффициенты незначительных переменных, чтобы ограничить их важность, но все равно будет включать все входные переменные. Это полезно, если вы хотите, чтобы каждая переменная была включена независимо от ее важности, но в большинстве случаев вам нужна простейшая модель Добавление штрафа L1 вместо этого проведетЛАССОрегрессия (оператор наименьшего абсолютного сжатия и усреднения), который будет делать то же самое, что и Ридж, но сократит коэффициенты до нуля, если они незначительны, эффективно удаляя их. Недостаток LASSO заключается в том, что если у вас больше переменных (k), чем наблюдений (n), он будет включать в себя только до n переменных. Кроме того, LASSO борется с коррелированными переменными и случайным образом выбирает одну из них для сохранения. Чтобы преодолеть эти препятствия, вы можете использоватьЭластичная сетьрегрессия, которая сочетает в себе два штрафа и лучше обрабатывает многомерные данные и мультиколлинеарность. Это, как правило, дает такую ​​же или более точную модель, чем LASSO, но это зависит от отношения L1, выбранного в качестве одного из гиперпараметров Elastic Net.

Наконец, есть случай, когда целевая переменная может не быть строго линейной функцией объясняющих переменных. Здесь у нас есть два основных варианта: регрессия высшего порядка или регрессор случайного леса.

Допустим, проводя первоначальное исследование данных, вы обнаружите, что при прогнозировании дохода возраст имеет больше квадратичное отношение к доходу, чем линейное отношение. В этом случае вы хотите включить переменную второго порядка в свое когда-то линейное уравнение. Тогда это будет выглядеть как y = β₀ + β₁x + β₂x², и вы снова запустите модель.Вы все еще можете запустить линейную регрессию на модели более высокого порядка.Распространенным заблуждением является то, что с помощью методов линейной регрессии можно создавать только линейные функции. «Линейный» в линейной регрессии относится к взаимосвязи между коэффициентами, а не к самим переменным, поэтому выгодно включать в модель более высокие порядки или взаимодействия, если они помогают лучше объяснить взаимосвязь. Однако, если вы включите переменную или взаимодействие более высокого порядка, вы должны сохранить в окончательном уравнении переменные более низкого порядка и основные эффекты, независимо от того, значимы они или нет. Вы не можете иметь y = β₀ + β₂x² или y = β₀ + β₁x₁ * x₂.

Мы также могли бы использоватьслучайный лесной регрессоркоторый визуализируется ниже, но будет объяснен позже в терминах его альтернативного, случайного классификатора леса, который используется чаще. Регрессор используется аналогично логистической модели, где результатом является вероятность двоичной метки. Проще говоря, случайный лесной регрессор создает сотни деревьев решений, которые все предсказывают результат, а конечный результат является либо наиболее распространенным прогнозом, либо средним.

Теперь вы можете подумать, не можете ли вы использовать любую из этих моделей для вероятных целей? Если значения y обучающего набора составляют от 0 до 1, модель будет просто прогнозировать значения y от 0 до 1, верно? Ну да и нет. Модель, скорее всего, всегда будет предсказывать значения между 0 и 1, но если модель является линейной, значения после 0 или 1 являются нелогичными в случае вероятностей. Вы можете приложить 110% усилий при построении модели, но наблюдение не может иметь 110% вероятности какой-либо категории. Кроме того, линейная модель будет означать, что есть равные различия между людьми с вероятностью диагноза 0,10 и 0,15 и людьми с вероятностью диагноза 0,95 и 1,0. Очевидно, что если у кого-то на 100% есть заболевание, то, вероятно, происходит что-то еще, что не объясняется в линейной модели, потому что это была незначительная особенность для вероятностей ниже 0,50.

Модели классификации

Если целью вашего анализа является создание модели, которая предсказывает метку наблюдения, вы хотите использовать модель классификации. Простейшая модель, опять же,логистическиймодель. Однако логистическую модель можно обучить на недвоичной целевой переменной, создав целевые фиктивные переменные и запустив отдельные логистические модели для каждой. Вы также можете добавить штрафы L1 и L2 к этой логистической модели для проведенияЛАССОа такжегрядаЛогистические модели.

Более полезным, однако, являетсяклассификатор случайных лесовкоторый, как и случайный лесной регрессор, может включать признаки, которые могут иметь значение только в определенной точке. Чтобы повторить, этот метод берет концепцию деревьев решений и создаетслучайный лесиз них случайным образом выбираются переменные для включения, а затем выводится прогноз на основе леса. В коде, используемом для запуска этой модели, вы можете указать много гиперпараметров, таких как количество сгенерированных деревьев, минимальное количество наблюдений на лист, максимальное расщепление, максимальная глубина дерева и т. Д. Все эти гипер- Параметры могут помочь создать более точную модель, но случайный лес все еще может быть перегружен. Если ваши деревья слишком велики, они, вероятно, слишком специфичны для применения в тестовом наборе.

Наконец,нейронная сетьможет быть создан для прогнозирования метки наблюдения. Это самый сложный метод, но он имеет определенные преимущества перед предыдущими Главным образом, у него есть возможность для обучения без присмотра. Это означает, что алгоритм может кластеризовать группы на основе обнаруженных им сходств без предварительной маркировки обучающих данных. Несмотря на сложность создания, они могут быть более точными при прогнозировании меток, что важно для прогнозов с высокими ставками, таких как диагностика заболеваний или выявление мошенничества. По сути, алгоритм принимает набор входных данных, находит в них закономерности и тренды и выводит прогноз (контролируемые) или кластеризованные группы (не контролируемые). С большим количеством итераций и большими обучающими наборами нейронная сеть может стать чрезвычайно точной, но будьте осторожны с ее адаптацией к вашему обучающему набору, создавая слишком много слоев в сети.

Резюме

Источник