Градиентный спуск — это один из самых простых и популярных методов оптимизации, который используется для нахождения минимума функции. Он широко применяется в областях машинного обучения, статистического анализа и инженерных расчетов. В этой статье мы рассмотрим, как можно реализовать градиентный спуск на языке программирования C#. Мы обсудим основные концепции алгоритма, изучим его вариации и представим примеры кода.
Функция стоимости (или целевая функция) — это та функция, которую мы хотим минимизировать. Обозначим её как ( f(x) ), где ( x ) — вектор параметров.
Градиент — это вектор частных производных функции по каждому из её аргументов. Он указывает направление наискорейшего увеличения функции. Для минимизации функции нам нужно двигаться в противоположном направлении градиента.
Шаг оптимизации, или шага обучения, — это параметр, который определяет длину шагов, которые мы делаем во время движения по градиенту. Обозначается как ( \alpha ).
Конвекция — это параметр, используемый в некоторых модификациях градиентного спуска для ускорения сходимости алгоритма. Он позволяет учитывать предыдущие направления движения.
Основная идея алгоритма заключается в следующем: начиная с некоторой точки ( x_0 ), мы последовательно корректируем значения параметров, двигаясь против градиента функции стоимости. Алгоритм можно описать следующим образом:
- Инициализация начального приближения ( x_0 ).
- Вычисление градиента функции в точке ( x_t ).
- Обновление параметров:
[
x_{t+1} = x_t – \alpha \nabla f(x_t)
] - Повторение шагов 2 и 3 до сходимости, то есть пока изменения в ( x ) или изменения функции стоимости не станут меньше заданной точности.
В батч-градиентном спуске весь набор данных используется для вычисления градиента. Это означает, что обновление параметров происходит после просмотра всех примеров из выборки.
В ступенчатом (или мини-батч) градиентном спуске обновления параметров происходят после просмотра небольшой части данных. Это позволяет ускорить вычислительный процесс и снизить требования к памяти.
Этот метод модифицирует стандартный градиентный спуск за счет добавления конвекции. Он помогает ускорить сходимость, особенно на ранних этапах оптимизации.
Теперь давайте перейдем к практической реализации алгоритма градиентного спуска в C#. Мы начнём с простого случая и постепенно добавим улучшения.
Рассмотрим задачу обучения модели линейной регрессии. Цель — минимизировать среднеквадратичную ошибку (MSE) между предсказанными и фактическими значениями.
Для линейной регрессии функция стоимости выглядит следующим образом:
[
J(\theta) = \frac{1}{2m} \sum{i=1}^{m} (h\theta(x^{(i)}) – y^{(i)})^2
]
где ( h_\theta(x) = \theta^T x ).
Градиент функции стоимости для линейной регрессии:
[
\nabla J(\theta) = \frac{1}{m} X^T (X\theta – y)
]
using System;
class LinearRegression
{
public static double[] GradientDescent(double[][] X, double[] y, double[] theta, double alpha, int iterations)
{
int m = y.Length;
for (int iter = 0; iter < iterations; iter++)
{
double[] gradients = new double[theta.Length];
for (int j = 0; j < theta.Length; j++)
{
double sumErrors = 0.0;
for (int i = 0; i < m; i++)
{
double h = Predict(X[i], theta);
sumErrors += (h - y[i]) * X[i][j];
}
gradients[j] = sumErrors / m;
}
// Обновление весов
for (int j = 0; j < theta.Length; j++)
{
theta[j] -= alpha * gradients[j];
}
}
return theta;
}
public static double Predict(double[] x, double[] theta)
{
double prediction = 0.0;
for (int i = 0; i < theta.Length; i++)
{
prediction += theta[i] * x[i];
}
return prediction;
}
static void Main(string[] args)
{
// Пример данных
double[][] X = new double[][]
{
new double[] {1, 2104},
new double[] {1, 1416},
new double[] {1, 1534},
// Добавьте больше примеров...
};
double[] y = new double[] {460, 232, 315}; // Цены на недвижимость
double[] theta = new double[2]; // Переменные для учебы
double alpha = 0.01; // Скорость обучения
int iterations = 1000; // Количество итераций
theta = GradientDescent(X, y, theta, alpha, iterations);
Console.WriteLine($"Theta[0]: {theta[0]}, Theta[1]: {theta[1]}");
}
}
- GradientDescent: Этот метод выполняет основной цикл градиентного спуска. Он принимает матрицу входных данных ( X ), вектор правильных ответов ( y ), начальные веса ( \theta ), скорость обучения ( \alpha ) и количество итераций.
- Predict: Метод для вычисления предсказания на основе текущих весов ( \theta ).
- Main: В этой функции мы задаем пример данных, начальные параметры обучения и запускаем процесс градиентного спуска.
В реальных задачах может быть полезно уменьшать скорость обучения по мере приближения к минимуму. Это можно сделать, например, через линейное или экспоненциальное затухание.
Можно добавить конвекцию для ускорения сходимости:
public static double[] MomentumGradientDescent(double[][] X, double[] y, double[] theta, double alpha, int iterations, double beta)
{
int m = y.Length;
double[] velocity = new double[theta.Length];
for (int iter = 0; iter < iterations; iter++)
{
double[] gradients = new double[theta.Length];
for (int j = 0; j < theta.Length; j++)
{
double sumErrors = 0.0;
for (int i = 0; i < m; i++)
{
double h = Predict(X[i], theta);
sumErrors += (h - y[i]) * X[i][j];
}
gradients[j] = sumErrors / m;
}
// Обновление скорости и весов
for (int j = 0; j < theta.Length; j++)
{
velocity[j] = beta * velocity[j] + alpha * gradients[j];
theta[j] -= velocity[j];
}
}
return theta;
}
Реализация градиентного спуска на C# — это отличный способ понять основы оптимизации и машинного обучения. Мы начали с базовой реализации и добавили улучшения, такие как метод Нестерова и адаптивная скорость обучения. Эти техники помогут вам эффективно минимизировать функции стоимости в различных задачах.
Практика показывает, что градиентный спуск — это универсальный инструмент, который можно адаптировать для решения широкого спектра задач. Спасибо за внимание!

