Грешка при GridSearch на PolynomialFeatures

asya.toskova 16 Точки

Грешка при GridSearch на PolynomialFeatures

Опитвам се да намеря параметрите на PolynomialFeatures:

tuned_params = [{"degree":[2,3], "interaction_only":[True,False]}]
CV_polinomial = GridSearchCV(PolynomialFeatures(), tuned_params, scoring='r2', cv=10)
CV_polinomial.fit(PolynomialFeatures().fit_transform(attr_train), l_train) 

Но получавам грешка при фитването:
AttributeError: 'PolynomialFeatures' object has no attribute 'predict'

Някой знае ли какво не е наред?

Тагове:

31/03/2017 18:39:07 Machine Learning

iordan_93 Trainer 407 Точки

Best Answer

Здрасти,

На втория ред, където имаш GridSearchCV() трябва да подадеш не PolynomialFeatures(), а machine learning модел, примерно:

CV_polinomial = GridSearchCV(LinearRegression(), ...).

PolynomialFeatures само трансформира една таблица с данни в друга, не предсказва стойности.

02/04/2017 14:13:05 02/04/2017 14:13:32

asya.toskova 16 Точки

Благодаря за отговора!

Исках да намеря най-добрата комбинация от нелинейни параметри наведнъж, ама явно не може, или поне с GridSearch не може. Въпреки че гледах такъв пример в интернет, но сигурно не съм разбрала нещо.

В такъв случай имам въпрос:

Първо правя модели и после избирам най-добрите параметри с GridSearch на най-добрия ми модел, който тествам или първо подбирам най-добрите параметри с GridSearch на всеки модел и най-добрия вариант го тествам?

02/04/2017 15:40:58

iordan_93 Trainer 407 Точки

Не става автоматично, или поне аз не знам такъв начин. Може да го направиш на ръка: правиш polynomial features няколко пъти, пускаш линейна регресия върху всеки dataset и сравняваш резултатите.

Имай предвид, че ако искаш да изчерпиш всички възможни комбинации от данни, grid search ще работи изключително бавно (особено ако имаш много на брой колони и / или висока степен на полинома).

Затова има няколко възможни подхода, които се използват:

Просто слагаш всички възможни членове до някоя степен. Тези, които "не ти трябват", ще имат коефициенти, близки до нула. В допълнение, може да включиш регуляризация и да пуснеш grid search за нея.
Опитваш се да разбереш (от данните и от опит) кои features биха могли да си взаимодействат и правиш нови колонки с произведенията им. Това е feature engineering.
Прилагаш операция за feature selection / dimensionality reduction, като например PCA или RFE (recursive feature elimination) въху всички полиномиални членове.

02/04/2017 20:47:29

asya.toskova 16 Точки

ок, мерси! Дано успея да ги навържа :)

03/04/2017 01:24:03