Объединение пользовательских функций с помощью CountVectorizer

У меня есть куча файлов со статьями. Для каждой статьи должны быть некоторые функции, такие как: длина текста, text_spam (все это int или float, и в большинстве случаев они должны быть загружены из csv). И я хочу, чтобы объединить эти функции с CountVectorizer, а затем классифицировать эти тексты.

Я смотрел несколько уроков, но все же я понятия не имею, как реализовать этот материал. Нашел что-то здесь, но на самом деле не может реализовать это для моих нужд.

Любые идеи, как это можно сделать с помощью scikit?

Спасибо.

Теперь я столкнулся с этим:

from sklearn.feature_extraction import DictVectorizer
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.pipeline import FeatureUnion

measurements = [
    {'text_length': 1000, 'text_spam': 4.3},
    {'text_length': 2000, 'text_spam': 4.1},
]

corpus = [
    'some text',
    'some text 2 hooray',
]

vectorizer = DictVectorizer()
count_vectorizer = CountVectorizer(min_df=1)

first_x = vectorizer.fit_transform(measurements)
second_x = count_vectorizer.fit_transform(corpus)

combined_features = FeatureUnion([('first', first_x), ('second', second_x)])

Для этой группы кода я не понимаю, как загружать "реальные" -данные, так как наборы тренировок уже загружены. А второй - как загружать категории (параметр y для функции fit)?

ОТВЕТЫ

Ответ 1

Вы недопонимаете FeatureUnion. Он должен принимать два трансформатора, а не две партии образцов.

Вы можете заставить его иметь дело с векторизаторами, которые у вас есть, но гораздо проще просто бросить все ваши функции в один большой мешок на образец и использовать один DictVectorizer, чтобы сделать векторы из этих пакетов.

# make a CountVectorizer-style tokenizer
tokenize = CountVectorizer().build_tokenizer()

def features(document):
    terms = tokenize(document)
    d = {'text_length': len(terms), 'text_spam': whatever_this_means}
    for t in terms:
        d[t] = d.get(t, 0) + 1
    return d

vect = DictVectorizer()
X_train = vect.fit_transform(features(d) for d in documents)

Не забывайте нормализовать это с помощью sklearn.preprocessing.Normalizer и помните, что даже после нормализации эти функции text_length должны доминировать над другими функциями с точки зрения масштаба. Возможно, было бы разумнее использовать 1. / text_length или np.log(text_length).

А второй - как загружать категории (y параметр для функции fit)?

Зависит от того, как организованы ваши данные. scikit-learn имеет много вспомогательных функций и классов, но он ожидает, что вы напишете код, если ваша установка нестандартная.