Набор текстов рф отзывы: Набор текста (набор-текста.рф) отзывы

 0 0.956761 
 1 0.043239 
 Имя: is_bad_review, dtype: float64 

Моделирование коротких текстовых тем. Интуиция и (некоторые) математика для … | Matyas Amrouche

I. Латентное распределение Дирихле

Наиболее популярный алгоритм моделирования тем — LDA, Латентное распределение Дирихле . Давайте сначала распутаем это внушительное имя, чтобы понять, что оно делает.

• Латент , потому что темы «скрыты». У нас есть куча текстов, и мы хотим, чтобы алгоритм помещал их в кластеры, которые будут иметь для нас смысл. Например, если наши текстовые данные поступают из новостного контента, обычно найденные кластеры могут быть о политике Ближнего Востока, компьютере, космосе … но мы пока не знаем этого.
• Dirichlet расшифровывается как дистрибутив Dirichlet, который модель использует в качестве предварительного для создания дистрибутивов по темам документов и по темам.
• Распределение , потому что мы хотим выделить темы для наших текстов.

На рисунке 1 ниже показано, как шаги LDA четко формулируют темы в совокупности документов.

«Документ создается путем выборки смеси этих тем и последующего отбора слов из этой смеси» (Эндрю Нг, Дэвид Блей и Майкл Джордан из оригинальной LDA , бумага ).

Рисунок 1. Процесс создания документов LDA с использованием дистрибутива Dirichlet.

NB : На рисунке 1 выше мы установили K = 3 темы и N = 8 слов в нашем словаре для простоты иллюстрации. Мы также назвали эти темы «Компьютер, космос и политика Ближнего Востока» для простоты иллюстрации (вместо того, чтобы называть их темой 1, темой 2 и темой 3). На самом деле, нашей задачей будет понять, что 3 найденные темы касаются политики в области компьютеров, космоса и ближнего востока относительно их содержания (мы рассмотрим эту часть более подробно при атрибуции тем нашего конвейера STTM в части III).

Короче говоря, LDA, используя дистрибутивы Dirichlet в качестве предшествующего знания, генерирует документы, составленные по темам, а затем обновляет их, пока они не соответствуют основополагающей истине.

II. Моделирование коротких текстовых тем (STTM)

Несмотря на отличные результаты для текстов среднего или большого размера (> 50 слов), обычно почтовые и новостные статьи примерно такого же размера, LDA плохо работает с короткими текстами , такими как твиты, посты Reddit или Вопросы заголовков StackOverflow.

Рисунок 2. Пример коротких текстов и темы, которую они обсуждают.

Из приведенных выше примеров коротких текстов на рис. 2 видно, что предположение о том, что текст представляет собой смесь тем (помните первый шаг на рис. 1), больше не соответствует действительности. Предположим теперь, что краткий текст из состоит только из одной темы .

Модель ( GSDMM ) ( GSDMM ) представляет собой «измененный» алгоритм LDA, который демонстрирует отличные результаты при выполнении задач STTM, что делает первоначальное предположение: 1 тема document1 документ . Слова в документе генерируются с использованием той же уникальной темы, а не из смеси тем, как это было в оригинальном LDA.

Прежде чем углубляться в код и практические аспекты, давайте разберемся в GSDMM с эквивалентной процедурой, называемой Movie Group Process , которая поможет нам понять различные этапы и процессы, находящиеся под капотом STTM, и способы эффективной настройки его гипер. -параметры (мы помним альфа и бета из части LDA).

Представьте себе группу студентов в ресторане, случайным образом сидящих за столами K. Их всех просят написать свои любимые фильмы на бумаге (но это должен остаться короткий список).Цель состоит в том, чтобы объединить их в группы таким образом, чтобы учащиеся в одной группе имели одинаковые интересы в кино. Для этого один за другим учащиеся должны сделать новый выбор столов в соответствии с двумя следующими правилами:

• Правило 1. Выберите стол с большим количеством учеников. Это правило улучшает полноту , все учащиеся, разделяющие интерес к одному фильму, назначаются на одну таблицу.
• Правило 2: Выберите стол, где учащиеся разделяют интерес фильма. Это правило направлено на повышение однородности и , мы хотим, чтобы только участники, разделяющие интерес одного и того же фильма, за столом.

После повторения этого процесса мы ожидаем, что некоторые таблицы исчезнут, а другие станут больше и, в конечном итоге, группы учащихся будут соответствовать интересам их фильмов. Это просто то, что делает алгоритм GSDMM!

III. Реализация STTM

В этой части мы построим полный конвейер STTM из конкретного примера, используя набор данных из 20 групп новостей из Scikit-learn, используемый для моделирования тем на текстах.

Первым делом нам нужно скачать скрипт STTM с Github в папку нашего проекта.

 cd sttm_project 
 git clone https://github.com/rwalk/gsdmm.git 

Теперь мы можем приступить к реализации конвейера STTM (вот статическая версия ноутбука, который я использовал).

 # Полезные библиотеки 
 из набора sklearn.datasets более подробно опишем позже 
 из предварительной обработки, импортируйте токен 
 из topic_allocation import top_words, topic_attribution 
 из визуализации import plot_topic_notebook # Загрузите набор данных 20NewsGroups из sklearn 
 cats = ['talk.policy.mideast ',' comp.windows.x ',' sci.space '] 
 newsgroups_train = fetch_20newsgroups (subset =' train ', Categories = cats) 

Однако в этом упражнении мы не будем использовать весь контент новости, чтобы экстраполировать тему из нее, но учитывает только тему и первое предложение новостей (см. рисунок 3 ниже). Действительно, нам нужны короткие тексты для моделирования тем коротких текстов… очевидно,

Кроме того, мы рассмотрим только 3 темы (равномерно распределенные по набору данных) для простоты иллюстрации.Это следующие темы:

• Политика Ближнего Востока 🌍
• Космос 👾
• Windows X 🖥

Рисунок 3: Пример новости по теме: Windows X . Мы объединяем эти два выделенных предложения вместе, чтобы получить документ.

 # Предварительная обработка и токенизация 
 tokenized_data = tokenize (df, form_reduction = 'stemming' ,realt = False) 

Вот рецепт предварительной обработки, который я выполнил для этой задачи:

• Токенизация с использованием токенайзера spaCy.
• Удаление стоп-слов и слов из 1 символа.
• Стемминг (учитывая мой эмпирический опыт, который я наблюдал, стемминг дает лучшие кластеры на коротком тексте по сравнению с лемматизацией) с использованием стеммера библиотеки nltk.
• Удаление пустых документов и документов с более чем 30 токенами.
• Удаление уникального токена (с частотой членов = 1).

Рисунок 4: Мы сопоставляем статистику Short Text относительно количества токенов в наших документах, ссылаясь на обзорный документ STTM p.10.

Однако следует иметь в виду, что предварительная обработка зависит от данных и следует рассмотреть возможность адаптации другого подхода предварительной обработки, если используется другой набор данных.

Теперь, когда наши данные очищены и обработаны в правильном формате ввода, мы готовы обучить модель 000

 # Train STTM model # Инициализация алгоритма модели выборки Гиббса Dirichlet 
 # K = число потенциальных тем (которые мы априори не знаем) 
 # alpha = 
 # beta = 
 # n_iters = количество итераций до 
 mgp = MovieGroupProcess (K = 10, alpha = 0.1, бета = 0,1, n_iters = 30) vocab = set (x для документа в документах для x в документе) 
 n_terms = len (vocab) y = mgp.fit (документы, n_terms) # Сохранить модель 
 с открытым ('dumps) /trained_models/v1.model ', «wb») как f: 
 pickle.dump (mgp, f) 
 f.close () 

Давайте погрузимся в капот и разберемся в механике гиперпараметров модели GSDMM 🛠:

• K = 10. В реальном случае нам неизвестно точное количество тем, поэтому мы хотим выбрать более высокое значение. Теоретически, GSDMM должен очистить бесполезные кластеры и в конечном итоге найти точное количество кластеров.Это не будет иметь место здесь, но не о чем беспокоиться, мы объясним ситуацию более подробно позже.
• альфа = 0,1 и бета = 0,1. Здесь мы сохранили параметры по умолчанию (которые хорошо работают для нескольких наборов данных). Тем не менее, можно настроить их на улучшение распределения тем по полноте и однородности кластеров. Не стесняйтесь обращаться к оригинальному документу, чтобы понять баланс между этими двумя параметрами.
• n_iters = 30.Согласно оригинальной статье, GSDMM сходится довольно быстро (около 5 итераций) в нескольких наборах данных и остается очень стабильным. Следовательно, 30 итераций — это хорошее значение по умолчанию для любого типа набора данных.

После того, как модель обучена, мы хотим изучить найденные темы и проверить, соответствуют ли они их содержанию.

Учитывая, что наша модель собрала документы в 10 тем, мы должны дать им имя, которое будет иметь смысл относительно их содержания. Итак, давайте углубимся в темы, найденные нашей моделью.

 doc_count = np.array (mgp.cluster_doc_count) 
 print ('Количество документов по теме:', doc_count) 
 print ('*' * 20) # Темы отсортированы по номеру документа, которому они выделены 
 top_index = doc_count.argsort () [- 10:] [:: - 1] 
 print ('Самые важные кластеры (по количеству документов внутри):', top_index) 
 print ('*' * 20) # Показать первые 5 слов в терминах частоты для каждого кластера 
 top_words (mgp.cluster_word_distribution, top_index, 5) 

Приведенный выше код отображает следующую статистику, которая дает нам представление о том, из чего состоят наши кластеры.

Рисунок 5: 1) Количество документов по кластерному (или тематическому) индексу. 2) Сортированный список кластеров по количеству документов, которые они содержат. 3) Лучшие 5 слов относительно их частоты внутри кластера.

В идеале алгоритм GSDMM должен находить правильное количество тем, здесь 3, а не 10. Мне приходят на ум три объяснения:

• Найти другие гиперпараметры, чтобы очистить меньший кластер (для более глубокого понимания альфа обратитесь к оригинальной статье. и бета-параметры).
• У нас есть небольшой набор данных и словарь (около 1700 документов и 2100 слов), что может быть затруднительно для модели для экстраполяции и различения существенных различий между темами.Как обычно, чем больше данных, тем лучше.
• Алгоритм может найти темы внутри тем. Позволь мне объяснить. Как мы хорошо знаем, одна из тем — о ближневосточных новостях. Однако алгоритм разбил эту тему на 3 подтемы: напряженность между Израилем и Хезболлой (кластер 7), напряженность между турецким правительством и Арменией (кластер 5) или сионизм в Израиле (кластер 0).

Однако, даже если найдено более 3 кластеров, совершенно очевидно, как мы можем назначить их для соответствующей общей темы.

 # Должно быть сделано вручную, чтобы названия тем соответствовали вышеуказанным кластерам 
 # (рисунок 5) относительно их содержимогоtopic_dict = {} 
 topic_names = ['x', 
 'mideast', 
 'x', 
 'space', 
 «пробел», 
 «ближний восток», 
 «пробел», 
 «пробел», 
 «ближний восток», 
 «пробел»] для i, topic_num в перечислении (top_index): 
 topic_dict [topic_num] = topic_names [i] df_pred = topic_attribution (tokenized_data, mgp, topic_dict, threshold = 0.4) 

Кто-то может спросить, что является порогом для входного параметра для функции topic_attribution .Фактически, темы назначаются тексту с учетом вероятности, и topic_attribution является пользовательской функцией, которая позволяет выбрать, какой порог (степень достоверности) следует учитывать, чтобы принадлежать теме. Например, если посмотреть на распределение вероятности темы по тексту, если эта вероятность ниже 0,4, текст будет размещен в теме «Другие».

NB : Эта пользовательская функция topic_attribution построена на основе исходной функции, доступной в пакете GSDMM: choose_best_label, , которая выводит тему с наибольшей вероятностью принадлежности к документу.

Теперь пришло время выделить найденную тему в документах и ​​сравнить ее с основополагающей правдой (✅ против ❌).

 df_pred [['content', 'topic_name', 'topic_true_name']]. Head (20) 

Наивно сравнивая предсказанные темы с реальными темами, мы получили бы с 82% точностью ! 🎯
Только с 9 словами, в среднем по документам, небольшим корпусом из 1705 документов и очень немногими настройками гиперпараметров!

🙌

Приятно иметь эффективную модель, но еще лучше, если мы можем просто показывать и взаимодействовать с ее результатами.Для этого pyLDAvis — очень мощный инструмент для визуализации моделирования тем, позволяющий динамически отображать кластеры и их содержимое в двухмерном пространстве.

Снимок экрана со способностью pyLDAvis. Проверьте это видео, чтобы увидеть его полную мощность.

Теперь ваша очередь попробовать это на ваших собственных данных (комментарии в социальных сетях, ответы в онлайн-чатах…))

Et voilà! 000

Я хотел бы поблагодарить Раджа Эль Хамдани за отзыв и отзыв.

.

Машинное обучение — Обработка текста | Javaid Nabi

Обработка текста — одна из самых распространенных задач во многих ML-приложениях. Ниже приведены некоторые примеры таких приложений.

 •  Языковой перевод: перевод предложения с одного языка на другой.  •  Анализ настроения: по текстовому корпусу определить, является ли настроение по отношению к какой-либо теме, продукту и т. Д. Положительным, отрицательным или нейтральным.  •  Фильтрация спама: обнаружение нежелательных и нежелательных писем / сообщений. 

Вежливость (сигмоидальная)

Эти приложения имеют дело с огромным количеством текста для выполнения классификации или перевода и включают в себя много работы на серверной части. Преобразование текста во что-то, что алгоритм может переварить, является сложным процессом. В этой статье мы обсудим этапы обработки текста.

Шаг 1. Предварительная обработка данных

• Токенизация — преобразование предложений в слова
• Удаление ненужных знаков препинания, тегов
• Удаление стоп-слов — часто встречающиеся слова, такие как «the», «is» и т. Д.которые не имеют специфической семантики
• Основа — слова сокращаются до корня путем удаления перегиба путем удаления ненужных символов, обычно суффикса.
• Лемматизация — еще один подход к устранению перегиба путем определения части речи и использования подробной базы данных языка.

 Основная форма обучения: studi 
 Основная форма обучения: исследование. Лемматизированная форма обучения: исследование 
. Лемматизированная форма обучения: исследование 

. «учиться» на общую базовую форму или корень слова «учиться».Подробное обсуждение стемминга и лемматизации см. Здесь. Обратите внимание, что не все шаги являются обязательными и основаны на сценарии использования приложения. Для фильтрации спама мы можем выполнить все вышеперечисленные шаги, но не для языкового перевода.

Мы можем использовать python для выполнения многих операций предварительной обработки текста.

• NLTK — набор инструментов Natural Language Toolkit — одна из самых известных и наиболее часто используемых библиотек NLP, полезная для всех видов задач, начиная с токенизации, определения границ, тегов, анализа и далее
• BeautifulSoup — библиотека для извлечения данных из Документы HTML и XML

 # Используя библиотеку NLTK, мы можем выполнить большую часть текста, предварительно обработав 
  import nltk 
 из nltk.tokenize import word_tokenize  
 # функция разделения текста на слова 
  tokens = word_tokenize («Быстрая коричневая лиса перепрыгивает через ленивую собаку») 
 nltk.download («стоп-слова») 
 print (токены)  

OUT: [ ‘The’, ‘quick’, ‘brown’, ‘fox’, ‘jumps’, ‘over’, ‘the’, ‘lazy’, ‘dog’]

  из nltk.corpus импорт стоп-слов 
 stop_words = set ( stopwords.words ('english')) 
 токенов = [w для w в токенах, если не w в stop_words] 
 print (токены)  

OUT: [‘The’, ‘quick’, ‘brown’, ‘fox’ , ‘jumps’, ‘lazy’, ‘dog’]

 #NLTK предоставляет несколько интерфейсов стеммера, таких как стемер Портера, #Lancaster Stemmer, Snowball Stemmer 
  от nltk.stem.porter импорт PorterStemmer 
 porter = PorterStemmer () 
 стеблей = [] 
 для т в токенах: 
 stems.append (porter.stem (t)) 
 отпечаток (стебли)  

OUT: [‘the’, ‘ quick ‘,’ brown ‘,’ fox ‘,’ jump ‘,’ lazi ‘,’ dog ‘]

Шаг 2. Извлечение признаков

При обработке текста слова текста представляют отдельные, категоричные признаки. Как мы кодируем такие данные таким образом, чтобы их можно было использовать в алгоритмах? Сопоставление текстовых данных с реальными векторами называется извлечением признаков.Один из самых простых методов численного представления текста — Bag of Words.

Мешок слов (BOW): Мы составляем список уникальных слов в текстовом корпусе, который называется словарь. Затем мы можем представить каждое предложение или документ в виде вектора, где каждое слово представлено как 1 для настоящего и 0 для отсутствующего в словаре. Другое представление может быть подсчитано, сколько раз каждое слово появляется в документе. Наиболее популярным подходом является использование Term Frequency Inverse Document Frequency (TF-IDF) метод.

• Term Frequency (TF) = (Количество раз, когда термин t появляется в документе) / (Количество терминов в документе)
• Inverse Document Frequency (IDF) = log (N / n), где , N — количество документов, а n — количество документов, в которых появился термин t. IDF редкого слова высок, тогда как IDF часто встречающегося слова, вероятно, будет низким. Таким образом, эффект выделения слов, которые различны.
• Мы вычисляем TF-IDF значение термина как = TF * IDF

Давайте рассмотрим пример для вычисления TF-IDF термина в документе.

Пример текстового корпуса

  TF ('Beautiful', Document1) = 2/10, IDF ('Beautiful') = log (2/2) = 0 
 TF ('day', Document1) = 5/10, IDF ( 'day') = log (2/1) = 0,30 
 TF-IDF («Beautiful», Document1) = (2/10) * 0 = 0 
 TF-IDF («day», Document1) = (5/10 ) * 0,30 = 0,15 
  

Как видно из документа 1, метод TF-IDF сильно штрафует слово «красивая», но придает больший вес «дню». Это связано с частью IDF, которая дает больший вес отдельным словам.Другими словами, «день» является важным словом для Document1 в контексте всего корпуса. Библиотека Python scikit-learn предоставляет эффективные инструменты для интеллектуального анализа текстовых данных и предоставляет функции для вычисления TF-IDF текстового словаря с учетом текстового корпуса.

Одним из основных недостатков использования BOW является то, что он отбрасывает порядок слов, игнорируя тем самым контекст и, в свою очередь, значение слов в документе. Для обработки естественного языка (NLP) поддержание контекста слов имеет первостепенное значение.Для решения этой проблемы мы используем другой подход, который называется Word Embedding.

Вложение слов: Это представление текста, где слова, имеющие одинаковое значение, имеют похожее представление. Другими словами, он представляет слова в системе координат, где связанные слова, основанные на совокупности отношений, располагаются ближе друг к другу.

Давайте обсудим некоторые из хорошо известных моделей встраивания слов :

Word2Vec

Word2vec принимает в качестве входных данных большой набор текста и создает векторное пространство, в котором каждому уникальному слову присваивается соответствующий вектор в космос.Векторы слов расположены в векторном пространстве так, что слова, которые имеют общий контекст в корпусе, расположены в непосредственной близости друг от друга в пространстве. Word2Vec очень хорошо знает смысл и демонстрирует его в таких задачах, как вычисление вопросов аналогии в форме , а — это , b , как , — это ? Например, мужчина для женщина , а дядя для ? ( тетя ) с использованием простого метода смещения вектора на основе косинусного расстояния.Например, вот смещения вектора для трех пар слов, иллюстрирующие гендерное отношение:

смещения вектора для гендерного отношения

Этот вид векторного состава также позволяет нам ответить «Король — Мужчина + Женщина =?» вопрос и получите результат «королева»! Все это поистине замечательно, когда вы думаете, что все эти знания просто получены от просмотра множества слов в контексте без какой-либо другой информации об их семантике. Для более подробной информации обратитесь сюда.

Glove

Алгоритм глобальных векторов для представления слов, или GloVe, является расширением метода word2vec для эффективного изучения векторов слов.GloVe создает явную матрицу контекста слова или слова вхождения, используя статистику по всему текстовому корпусу. В результате получается модель обучения, которая может привести к улучшению вложения слов.

Рассмотрим следующий пример:

Целевые слова: лед, пар
Пробные слова: твердое тело, газ, вода, мода

Пусть P (k | w) будет вероятностью того, что слово k появляется в контексте слова w . Рассмотрим слово, тесно связанное с льда , но не с паром , например твердое тело . P (твердый | лед) будет относительно высоким, а P (твердый | пар) будет относительно низким. Таким образом, отношение P (твердое вещество | лед) / P (твердое вещество | пар) будет большим. Если мы возьмем такое слово, как газ , которое относится к пару , но не к льду , отношение P (газ | лед) / P (газ | пар) вместо этого будет небольшим. Для слова, относящегося как к льду , так и к пару , такому как вода , мы ожидаем, что отношение будет близко к единице.Обратитесь сюда для получения более подробной информации.

Вложения слов кодируют каждое слово в вектор, который фиксирует какое-то отношение и сходство между словами в текстовом корпусе. Это означает, что даже такие слова, как регистр, орфография, пунктуация и т. Д., Будут автоматически выучены. В свою очередь это может означать, что некоторые из этапов очистки текста, описанных выше, могут больше не потребоваться.

Шаг 3. Выбор алгоритмов ML

Существуют различные подходы к построению моделей ML для различных текстовых приложений в зависимости от того, что является проблемным пространством и доступными данными.

Классические подходы ML, такие как «Наивный Байес» или «Машины опорных векторов» для фильтрации спама, широко используются. Методы глубокого обучения дают лучшие результаты для проблем НЛП, таких как анализ настроений и языковой перевод. Модели глубокого обучения очень медленны в обучении, и было видно, что для простых задач классификации текста классические подходы к ОД также дают схожие результаты с меньшим временем обучения.

Давайте построим Sentiment Analyzer на основе набора данных обзора фильмов IMDB, используя методы, обсуждавшиеся до сих пор.

Загрузить данные обзора фильма IMDb

Набор обзора фильма IMDB можно загрузить здесь. Этот набор данных для классификации бинарных настроений содержит набор из 25 000 высокополярных обзоров фильмов для обучения и 25 000 для тестирования. Этот набор данных был использован для очень популярной статьи «Изучение векторов слов для анализа настроений».

Предварительная обработка

Набор данных структурирован как набор тестов и обучающий набор из 25000 файлов каждый. Давайте сначала прочитаем файлы в файл данных Python для дальнейшей обработки и визуализации.Набор для тестирования и обучения дополнительно разделен на 12500 «положительных» и «отрицательных» отзывов каждый. Мы читаем каждый файл и помечаем отрицательный отзыв как «0», а положительный отзыв как «1» {‘pos’: 1, ‘neg’: 0} df = pd.DataFrame () для f in (‘test’, ‘train’):
для l in (‘pos’, ‘neg’) :
путь = os.path.join (папка, f, l)
для файла в ОС.listdir (путь):
с открытым (os.path.join (путь, файл), ‘r’, encoding = ‘utf-8’) в качестве infile:
txt = infile.read ()
df = df.append ( [[txt, tags [l]]], ignore_index = True) df.columns = [‘review’, ‘sentiment’]

Давайте сохраним собранные данные в виде файла .csv для дальнейшего использования.

Пять обзоров и соответствующее мнение

Чтобы получить частотное распределение слов в тексте, мы можем использовать функцию nltk.FreqDist () , которая перечисляет главные слова, используемые в тексте, предоставляя приблизительное представление о главных Тема в текстовых данных, как показано в следующем коде:

  импорт nltk 
 из nltk.tokenize import word_tokenize   reviews = df.review.str.cat (sep = '')   #функция разделения текста на слово 
 tokens = word_tokenize (reviews)   словарь = набор (токены) 
 print (len (словарь) ))   имя_частоты = nltk.FreqDist (токены) 
 отсортировано (частота_дист, ключ = частота_данных .__ getitem__, reverse = True) [0:50]  

Это дает 50 лучших слов, используемых в тексте, хотя это очевидно что некоторые из стоп-слов, такие как и , часто встречаются в английском языке.

Лучшие 50 слов

Присмотритесь, и вы найдете много ненужных знаков препинания и тегов. Исключая одно- и двухбуквенные слова, стоп-слова, такие как , , , это , и , , что занимают верхнюю позицию в графике распределения частоты слов, показанном ниже.

Давайте уберем стоп-слова для дальнейшей очистки текстового корпуса.

  из nltk.corpus импорт стоп-слов   stop_words = set (stopwords.words ('english')) 
 токенов = [w для w в токенах, если не w в stop_words]  

Лучшие 50 слов

Это выглядит как очищенный текстовый корпус теперь и такие слова, как , , , , , фильм и т. д.взяв верхние слоты, как и ожидалось.

Еще один полезный инструмент визуализации Пакет wordcloud помогает создавать облака слов путем случайного размещения слов на холсте с размерами, пропорциональными их частоте в тексте.

  из wordcloud импортировать WordCloud 
 импортировать matplotlib.pyplot как plt   wordcloud = WordCloud (). 
 generate_from_frequencies (Frequency_Dist)   plt.imshow (wordcloud) 
 plt.axis ("off") 
 plt.show ()  

Построение классификатора

После очистки пришло время построить классификатор для определения настроения каждый фильм обзор.Из набора данных IMDb разделите наборы тестов и тренировок по 25000 каждый:

 X_train = df.loc [: 24999, 'review']. Values ​​
 y_train = df.loc [: 24999, 'sentiment']. Values ​​
 X_test = df.loc [25000 :, 'review']. values ​​
 y_test = df.loc [25000 :, 'sentiment']. values ​​

scikit-learn предоставляет несколько классных инструментов для предварительной обработки текста. Мы используем TfidTransformer , чтобы преобразовать корпус текста в векторы объектов, мы ограничиваем максимальное количество объектов до 10000.Более подробную информацию о том, как использовать TfidTransformer , смотрите здесь.

  из sklearn.feature_extraction.text import TfidfTransformer 
 из sklearn.feature_extraction.text import TfidfVectorizer   vectorizer = TfidfVectorizer () 
 train_vectors = vectorizer.fit_transform (train_t_vector 900__transform_t_transform) shape, test_vectors.shape)  

Тренировочный и тестовый набор: 25 КБ с 10 КБ Особенности

Можно выбирать из множества алгоритмов, мы будем использовать базовый наивный байесовский классификатор и обучать модель на тренировочном наборе.

  от sklearn.naive_bayes import MultinomialNB   clf = MultinomialNB (). Fit (train_vectors, y_train)  

Наш анализатор настроений готов и обучен. Теперь давайте проверим производительность нашей модели на тестовом наборе, чтобы предсказать метки настроения.

  от sklearn.metrics import precision_score   прогнозируемый = clf.predict (test_vectors)   print (precision_score (y_test, прогнозируемый))    Выход 0,791   

Wow !!! Анализатор настроений, основанный на классификаторе NB, хорошо справляется с точностью около 79%.Вы можете попробовать изменить длину вектора признаков и различные параметры TfidTransformer , чтобы увидеть влияние на точность модели.

Заключение: Мы подробно обсудили методы обработки текста, используемые в НЛП. Мы также продемонстрировали использование обработки текста и построили Sentiment Analyzer с классическим подходом ML, достигшим довольно хороших результатов.

Спасибо за чтение этой статьи, рекомендую и поделитесь, если вам это нравится.

Дополнительная литература:

.