Упростим числитель, пользуясь формулами разности синусов и косинусов (см. указание):

$$\begin{gathered} \cos (a+2x)-2\cos (a+x)+\cos a= \\ =\cos (a+2x)-\cos (a+x)+\cos a-\cos (a+x)= \\ =-2\sin \left(a+\frac{3x}{2}\right)\sin \left(\frac{x}{2}\right)-2\sin \left(a+\frac{x}{2}\right)\sin \left(-\frac{x}{2}\right)= \\ =2\sin \left(\frac{x}{2}\right)\left[\sin \left(a+\frac{x}{2}\right)-\sin \left(a+\frac{3x}{2}\right)\right]= \\ =2\sin \left(\frac{x}{2}\right)\cdot 2\sin \left(-\frac{x}{2}\right)\cos \left(a+x\right)= \\ =-4{\sin }^2\left(\frac{x}{2}\right)\cos (a+x) \end{gathered}$$

Теперь воспользуемся упрощенным числителем и решим задачу с применением теоремы о пределе сложной функции (П-ссылка), первого замечательного предела (П-ссылка), а также непрерывности косинуса (П-ссылка):

$$\begin{gathered} \underset{x\to 0}{\lim }\frac{\cos (a+2x)-2\cos (a+x)+\cos a}{x^2}= \\ =\underset{x\to 0}{\lim }\frac{-4{\sin }^2\left(\frac{x}{2}\right)\cos (a+x)}{x^2}= \\ =-\underset{x\to 0}{\lim }\frac{{\sin }^2\left(\frac{x}{2}\right)}{{\left(\frac{x}{2}\right)}^2}\cos (a+x)= \\ =\left|\begin{array}{c}u=\frac{x}{2},v=a+x\\ u\to 0,v\to a\end{array}\right|= \\ =-\underset{u\to 0}{\lim }\frac{{\sin }^{2}u}{u^2}\underset{v\to a}{\lim }\cos v=-\cos a \end{gathered}$$