Применим формулу Грина:

$$\underset{C}{\oint }Pdx+Qdy=\underset{D}{\iint }\left(\frac{\partial Q}{\partial x}-\frac{\partial P}{\partial y}\right)dxdy$$

$$\begin{gathered} \underset{C}{\oint }\underset{Q}{\underbrace{x{y}^2}}dy\underset{P}{\underbrace{-x^{2}y}}dx=\underset{D}{\iint }\left(\frac{\partial (x{y}^2)}{\partial x}-\frac{\partial (-x^{2}y)}{\partial y}\right)dxdy= \\ =\underset{D}{\iint }(x^2+y^2)dxdy \end{gathered}$$

Сделаем замену в полярных координатах $x=r\cos \phi ,y=r\sin \phi$, якобиан равен $r$.

$$\underset{D}{\iint }(r^2|J|)drd\phi =\underset{D}{\iint }{r}^{3}drd\phi$$

Определим пределы интегрирование:

$$0\le \phi \le 2\pi ,$$

подставим нашу замену в уравнение окружности:

$$r^2\le a^2(r>0)\Rightarrow 0\le r\le a$$

Вычислим повторный интеграл:

$$\underset{0}{\overset{2\pi }{\int }}d\phi \underset{0}{\overset{a}{\int }}{r}^{3}dr=\underset{0}{\overset{2\pi }{\int }}d\phi {\frac{r^4}{4}|}_0^a=\frac{\pi a^4}{2}$$