Алгоритм Naive Bayes является популярным методом машинного обучения, который основан на теореме Байеса. Он часто используется для задач классификации и имеет ряд преимуществ, таких как простота реализации, эффективность в обработке больших объемов данных и хорошая производительность на маленьких наборах данных. В данной статье мы рассмотрим реализацию алгоритма Naive Bayes для задачи классификации текстовых документов с использованием языка программирования C#.
Теорема Байеса связывает апостериорную вероятность класса ( P(C_k|x) ) с байесовой априорной вероятностью ( P(C_k) ), условными вероятностями признаков ( P(x|C_k) ) и полной вероятностью данных ( P(x) ):
[
P(C_k|x) = \frac{P(x|C_k) \cdot P(C_k)}{P(x)}
]
- Независимость признаков: При условии принадлежности к классу все признаки в данных независимы между собой.
- Байесовская априорная вероятность: Вероятность класса, которая может быть оценена из обучающего набора.
- Условные вероятности признаков: Моделируются как распределения (например, биномиальное или гауссовское).
Рассмотрим задачу классификации текстовых документов. Нам необходимо построить модель, которая на основе слов в документе может определить его категорию (например, “спорт”, “политика”, “технологии”).
Первым шагом является подготовка и предобработка текстовых данных. Это включает токенизацию, удаление стоп-слов и лемматизацию.
using System;
using System.Collections.Generic;
using System.Linq;
public class TextPreprocessor
{
private static readonly HashSet<string> StopWords = new HashSet<string>
{
"a", "the", "and", "of", "in", "to"
// добавьте больше стоп-слов по необходимости
};
public List<string> Tokenize(string text)
{
return text.ToLower().Split(new[] { ' ', '.', ',', '!', '?' }, StringSplitOptions.RemoveEmptyEntries)
.Where(word => !StopWords.Contains(word)).ToList();
}
}
В этом шаге мы создаем словарь, который будет содержать все уникальные слова из всех документов, и считываем частоты слов для каждого класса.
public class VocabularyBuilder
{
public Dictionary<string, int> BuildVocabulary(List<List<string>> documents)
{
var vocabulary = new Dictionary<string, int>();
foreach (var document in documents)
{
foreach (var word in document.Distinct())
{
if (!vocabulary.ContainsKey(word))
vocabulary[word] = 0;
vocabulary[word]++;
}
}
return vocabulary;
}
}
Создадим класс NaiveBayesClassifier, который будет содержать методы для обучения и предсказания.
using System.Collections.Generic;
using System.Linq;
public class NaiveBayesClassifier
{
private Dictionary<string, double> _logClassProbabilities = new Dictionary<string, double>();
private Dictionary<string, Dictionary<string, double>> _wordLogConditionalProbabilities = new Dictionary<string, Dictionary<string, double>>();
private HashSet<string> _vocabulary;
public void Train(List<List<string>> documents, List<string> classes)
{
var vocabularyBuilder = new VocabularyBuilder();
_vocabulary = new HashSet<string>(vocabularyBuilder.BuildVocabulary(documents).Keys);
var classCounts = classes.GroupBy(c => c).ToDictionary(g => g.Key, g => g.Count());
int totalDocuments = documents.Count;
foreach (var className in classCounts.Keys)
{
_logClassProbabilities[className] = Math.Log((double)classCounts[className] / totalDocuments);
var wordsInClass = documents.Where((t, index) => classes[index] == className).SelectMany(d => d);
int wordCountForClass = wordsInClass.Count();
Dictionary<string, int> classWordFrequencies = wordsInClass.GroupBy(word => word)
.ToDictionary(group => group.Key, group => group.Count());
_wordLogConditionalProbabilities[className] = new Dictionary<string, double>();
foreach (var word in _vocabulary)
{
// Laplace smoothing
double probability = ((double)(classWordFrequencies.ContainsKey(word) ? classWordFrequencies[word] : 0) + 1) /
(wordCountForClass + _vocabulary.Count);
_wordLogConditionalProbabilities[className][word] = Math.Log(probability);
}
}
}
public string Predict(List<string> document)
{
double maxProbability = double.NegativeInfinity;
string bestClass = null;
foreach (var className in _logClassProbabilities.Keys)
{
double logProbability = _logClassProbabilities[className];
foreach (var word in document)
{
if (_vocabulary.Contains(word))
logProbability += _wordLogConditionalProbabilities[className][word];
}
if (logProbability > maxProbability)
{
maxProbability = logProbability;
bestClass = className;
}
}
return bestClass;
}
}
Напишем тестовый пример, который демонстрирует использование нашего классификатора.
using System;
using System.Collections.Generic;
public class Program
{
public static void Main(string[] args)
{
var preprocessor = new TextPreprocessor();
// Пример данных
List<List<string>> documents = new List<List<string>>
{
preprocessor.Tokenize("Football is a popular sport."),
preprocessor.Tokenize("The election results were announced yesterday."),
preprocessor.Tokenize("Tech companies are innovating fast.")
};
List<string> classes = new List<string>
{
"sport",
"politics",
"technology"
};
NaiveBayesClassifier classifier = new NaiveBayesClassifier();
classifier.Train(documents, classes);
// Предсказание для нового документа
List<string> testDocument = preprocessor.Tokenize("The tech industry is growing rapidly.");
string predictedClass = classifier.Predict(testDocument);
Console.WriteLine($"Predicted Class: {predictedClass}");
}
}
Мы рассмотрели основные шаги, необходимые для реализации алгоритма Naive Bayes на языке программирования C#. В статье были описаны технические детали и приведены кодовые примеры. Такая реализация может быть использована для различных задач классификации текстов, включая фильтрацию спама, анализ отзывов и автоматическую категоризацию новостей.
На практике реализация Naive Bayes может быть расширена за счет добавления других методов обработки текста, таких как лемматизация или векторные модели, а также улучшения эффективности и точности через тюнинг гиперпараметров. Несмотря на свои простые предположения о независимости признаков, Naive Bayes часто демонстрирует удивительно хорошие результаты в практических задачах классификации.

