El descenso de gradiente y el descenso de gradiente estocástico (SGD) son algoritmos de optimización utilizados para minimizar una función, normalmente asociada a la minimización del error en un modelo.
Las principales diferencias entre ambos son las siguientes:
Descenso Gradiente (GD)
-
En el descenso de gradiente estándar, el algoritmo calcula el gradiente de la función de coste utilizando todo el conjunto de datos de entrenamiento.
-
Actualiza los parámetros del modelo dando pasos proporcionales al negativo del gradiente de todo el conjunto de datos.
-
Este método garantiza la convergencia al mínimo (si se cumplen ciertas condiciones, como la convexidad y unas tasas de aprendizaje apropiadas), pero puede ser costoso desde el punto de vista computacional para grandes conjuntos de datos.
Descenso Gradiente Estocástico (SGD)
-
En el descenso de gradiente estocástico, el algoritmo actualiza los parámetros del modelo utilizando el gradiente de la función de coste para cada ejemplo de entrenamiento individual.
-
Realiza actualizaciones frecuentes basadas en lotes únicos o pequeños de ejemplos de entrenamiento, por lo que es mucho más rápido que el descenso de gradiente para grandes conjuntos de datos.
-
Sin embargo, debido a sus actualizaciones ruidosas, SGD tiene más fluctuaciones y no converge necesariamente al mínimo absoluto
Cuándo utilizar uno u otro:
-
Descenso Gradiente (GD): Es adecuado cuando el conjunto de datos es relativamente pequeño y puede caber en la memoria. Si la función de coste es suave y se comporta bien, GD puede converger eficientemente al mínimo.
-
Descenso Gradiente Estocástico (SGD): Es preferible cuando se trata de grandes conjuntos de datos en los que el cálculo de gradientes para todo el conjunto de datos resulta costoso desde el punto de vista informático. También es útil en situaciones en las que la función de coste tiene muchos mínimos locales, ya que el ruido de SGD en las actualizaciones puede ayudar a escapar de los mínimos locales poco profundos. Además, la SGD se utiliza habitualmente en el entrenamiento de redes neuronales debido a sus vastos conjuntos de datos y sus espacios de parámetros de alta dimensión.
Además, en la práctica se suelen utilizar variantes como el descenso de gradiente por mini lotes, que equilibra las ventajas de GD y SGD al considerar un subconjunto de datos para cada actualización. La elección entre estos algoritmos suele depender de los recursos informáticos, el tamaño del conjunto de datos y las características específicas del problema.
