Gradiente Descendente

Para estimar os parâmetros θ da nossa função hipótese, usamos o Gradiente Descendente. Precisamos que o custo (erro) de nossa função seja o mais próximo de 0 possível, ou seja, se supormos uma função que use como parâmetros θ_0 e θ_1, podemos plotar um gráfico tridimensional com θ_0 no eixo x, θ_1 no eixo y e o resultado da função de custo para os parâmetros θ específicos no eixo z, para visualizar onde essa função se aproxima mais de 0. Para isso, pegamos a derivada da nossa função de custo. A inclinação da tangente no ponto nos dirá em que direção no gráfico seguir para alcançar o ponto mais baixo de nossa função, e assim vamos dando passos. O tamanho de cada passo é determinado pelo parâmetro α, que é chamado de taxa de aprendizagem. Assim, o algoritmo para o gradiente descendente é:   repeat until convergence: θ_j := θ_j - α (d/(dθ_j) J(θ_0, θ_1)   Assim, a cada iteração os parâmetros θ_0 θ_1 devem ser atualizados simultaneamente. Também devemos ajustar nosso parâmetro α para que o algoritmo converja e o faça num tempo razoável.