Продам сайты

Реализация алгоритма классификации (Naive Bayes)

Алгоритм Naive Bayes является популярным методом машинного обучения, который основан на теореме Байеса. Он часто используется для задач классификации и имеет ряд преимуществ, таких как простота реализации, эффективность в обработке больших объемов данных и хорошая производительность на маленьких наборах данных. В данной статье мы рассмотрим реализацию алгоритма Naive Bayes для задачи классификации текстовых документов с использованием языка программирования C#.

Теорема Байеса связывает апостериорную вероятность класса ( P(C_k|x) ) с байесовой априорной вероятностью ( P(C_k) ), условными вероятностями признаков ( P(x|C_k) ) и полной вероятностью данных ( P(x) ):

[
P(C_k|x) = \frac{P(x|C_k) \cdot P(C_k)}{P(x)}
]

  1. Независимость признаков: При условии принадлежности к классу все признаки в данных независимы между собой.
  2. Байесовская априорная вероятность: Вероятность класса, которая может быть оценена из обучающего набора.
  3. Условные вероятности признаков: Моделируются как распределения (например, биномиальное или гауссовское).

Рассмотрим задачу классификации текстовых документов. Нам необходимо построить модель, которая на основе слов в документе может определить его категорию (например, “спорт”, “политика”, “технологии”).

Первым шагом является подготовка и предобработка текстовых данных. Это включает токенизацию, удаление стоп-слов и лемматизацию.

using System;
using System.Collections.Generic;
using System.Linq;

public class TextPreprocessor
{
    private static readonly HashSet<string> StopWords = new HashSet<string>
    {
        "a", "the", "and", "of", "in", "to"
        // добавьте больше стоп-слов по необходимости
    };

    public List<string> Tokenize(string text)
    {
        return text.ToLower().Split(new[] { ' ', '.', ',', '!', '?' }, StringSplitOptions.RemoveEmptyEntries)
                      .Where(word => !StopWords.Contains(word)).ToList();
    }
}

В этом шаге мы создаем словарь, который будет содержать все уникальные слова из всех документов, и считываем частоты слов для каждого класса.

public class VocabularyBuilder
{
    public Dictionary<string, int> BuildVocabulary(List<List<string>> documents)
    {
        var vocabulary = new Dictionary<string, int>();

        foreach (var document in documents)
        {
            foreach (var word in document.Distinct())
            {
                if (!vocabulary.ContainsKey(word))
                    vocabulary[word] = 0;
                vocabulary[word]++;
            }
        }

        return vocabulary;
    }
}

Создадим класс NaiveBayesClassifier, который будет содержать методы для обучения и предсказания.

using System.Collections.Generic;
using System.Linq;

public class NaiveBayesClassifier
{
    private Dictionary<string, double> _logClassProbabilities = new Dictionary<string, double>();
    private Dictionary<string, Dictionary<string, double>> _wordLogConditionalProbabilities = new Dictionary<string, Dictionary<string, double>>();
    private HashSet<string> _vocabulary;

    public void Train(List<List<string>> documents, List<string> classes)
    {
        var vocabularyBuilder = new VocabularyBuilder();
        _vocabulary = new HashSet<string>(vocabularyBuilder.BuildVocabulary(documents).Keys);

        var classCounts = classes.GroupBy(c => c).ToDictionary(g => g.Key, g => g.Count());
        int totalDocuments = documents.Count;

        foreach (var className in classCounts.Keys)
        {
            _logClassProbabilities[className] = Math.Log((double)classCounts[className] / totalDocuments);

            var wordsInClass = documents.Where((t, index) => classes[index] == className).SelectMany(d => d);
            int wordCountForClass = wordsInClass.Count();
            Dictionary<string, int> classWordFrequencies = wordsInClass.GroupBy(word => word)
                                                                         .ToDictionary(group => group.Key, group => group.Count());

            _wordLogConditionalProbabilities[className] = new Dictionary<string, double>();

            foreach (var word in _vocabulary)
            {
                // Laplace smoothing
                double probability = ((double)(classWordFrequencies.ContainsKey(word) ? classWordFrequencies[word] : 0) + 1) / 
                                     (wordCountForClass + _vocabulary.Count);
                _wordLogConditionalProbabilities[className][word] = Math.Log(probability);
            }
        }
    }

    public string Predict(List<string> document)
    {
        double maxProbability = double.NegativeInfinity;
        string bestClass = null;

        foreach (var className in _logClassProbabilities.Keys)
        {
            double logProbability = _logClassProbabilities[className];

            foreach (var word in document)
            {
                if (_vocabulary.Contains(word))
                    logProbability += _wordLogConditionalProbabilities[className][word];
            }

            if (logProbability > maxProbability)
            {
                maxProbability = logProbability;
                bestClass = className;
            }
        }

        return bestClass;
    }
}

Напишем тестовый пример, который демонстрирует использование нашего классификатора.

using System;
using System.Collections.Generic;

public class Program
{
    public static void Main(string[] args)
    {
        var preprocessor = new TextPreprocessor();

        // Пример данных
        List<List<string>> documents = new List<List<string>>
        {
            preprocessor.Tokenize("Football is a popular sport."),
            preprocessor.Tokenize("The election results were announced yesterday."),
            preprocessor.Tokenize("Tech companies are innovating fast.")
        };

        List<string> classes = new List<string>
        {
            "sport",
            "politics",
            "technology"
        };

        NaiveBayesClassifier classifier = new NaiveBayesClassifier();
        classifier.Train(documents, classes);

        // Предсказание для нового документа
        List<string> testDocument = preprocessor.Tokenize("The tech industry is growing rapidly.");
        string predictedClass = classifier.Predict(testDocument);

        Console.WriteLine($"Predicted Class: {predictedClass}");
    }
}

Мы рассмотрели основные шаги, необходимые для реализации алгоритма Naive Bayes на языке программирования C#. В статье были описаны технические детали и приведены кодовые примеры. Такая реализация может быть использована для различных задач классификации текстов, включая фильтрацию спама, анализ отзывов и автоматическую категоризацию новостей.

На практике реализация Naive Bayes может быть расширена за счет добавления других методов обработки текста, таких как лемматизация или векторные модели, а также улучшения эффективности и точности через тюнинг гиперпараметров. Несмотря на свои простые предположения о независимости признаков, Naive Bayes часто демонстрирует удивительно хорошие результаты в практических задачах классификации.

Оцените статью
Все о языке программирования C#