В условии допущена опечатка. Вместо "$c$ — положительное число, не являющееся точным квадратом целого числа" должно быть "$c$ — положительное число, не являющееся точным квадратом рационального числа".

В противном случае можно взять $c=\frac{9}{4}$, тогда число $\sqrt{c}=\frac{3}{2}$ будет является наибольшим элементом класса $A$ и наименьшим элементом класса $B$, хотя в задаче требуется доказать их отсутствие.

$B$ не имеет наименьшего

Итак, у нас есть класс $B$, который состоит из положительных рациональных $b$, таких что $b^2>c$:

$$B=\left\{b\in \mathbb{Q}:b>0\text{ и }{b}^2>c\right\}$$

Покажем, что у этого класса нет наименьшего элемента, то есть какое бы $b\in B$ мы не взяли, существует еще более маленькое $b^{\prime }\in B$.

Докажем от противного. Пусть $b$ — наименьший элемент класса $B$. Тогда рассмотрим вот такой $b^{\prime }$:

$$b^{\prime }=b-\frac{1}{n},$$

где $n$ — какое-то натуральное число.

Очевидно, что $b^{\prime }<b$, так как мы отняли от $b$ небольшое положительное число $\frac{1}{n}$.

Теперь покажем, что $b^{\prime }$ принадлежит классу $B$. Для этого надо показать, что 1) $b^{\prime }>0$ и 2) $b^{\prime 2}>c$.

$$b^{\prime }=b-\frac{1}{n}>0b>\frac{1}{n}n>\frac{1}{b}$$

Итак, нам достаточно взять натуральное $n>\frac{1}{b}$ и $b^{\prime }$ будет больше 0. Теперь докажем, что $b^{\prime 2}>c$.

$$b^{\prime 2}={\left(b-\frac{1}{n}\right)}^2=b^2-\frac{2b}{n}+\frac{1}{n^2}>c$$

$$-\frac{2b}{n}+\frac{1}{n^2}>c-b^2$$

Усилим неравенство, убрав из него слагаемое $\frac{1}{n^2}$:

$$-\frac{2b}{n}+\frac{1}{n^2}>-\frac{2b}{n}>c-b^2$$

Другими словами, если мы найдем такие $n$, что выполняется более сильное неравенство $-\frac{2b}{n}>c-b^2$, то, добавив к и так большему $-\frac{2b}{n}$ еще положительное слагаемое $\frac{1}{n^2}$ (ослабив его) знак неравенства тем более не изменится.

Итак, имеем

$$-\frac{2b}{n}>c-b^2$$

Домножим обе части на $-1$ и вынесем $n$ из знаменателя:

$$n>\frac{2b}{b^2-c}$$

Итак, для нашего натурального числа $n$ мы получили два неравенства, при выполнении которых верны пункты 1) и 2):

$$n>\frac{1}{b}n>\frac{2b}{b^2-c}$$

Сразу два неравенства использовать неудобно, поэтому выберем из них большее:

$$\frac{2b}{b^2-c}>\frac{1}{b}2b^2>b^2-c{b}^2>-c$$

Последнее неравенство верно, так как $b^2$ всегда положительное число, а $-c$ отрицательное (по условию $c>0$).

Это значит, что для нахождения нужного нам $n$ можно использовать только одно неравенство (второе выполняется автоматом):

$$n>\frac{2b}{b^2-c}$$

Итак мы показали, что какое $b$ за наименьший элемент класса $B$ не принимай, всегда можно найти натуральное $n$, а через него такое $b^{\prime }$, что $b^{\prime }>0$, $b^{\prime 2}>c$ и $b^{\prime }<b$, а значит $b$ уже не наименьший элемент класса $B$. Противоречие.

Это значит, что наименьшего элемента у класса $B$ нет.

$■$

$A$ не имеет наибольшего

Теперь возьмемся за класс $A$. В условии сказано, что "в классе $A$ — все остальные рациональные числа". С таким определением работать неудобно. Уточним его.

Раз классе $B$ у нас положительные $b$, такие что $b^2>c$, то для класса $A$ остаются все отрицательные рациональные числа и положительные, но такие, чтобы $a^2<c$. Почему $<$, а не $\le$? Потому что по условию (с учетом опечатки) мы указали, что $c$ не является точным квадратом рационального числа.

Итак,

$$A=\left\{a\in \mathbb{Q}:a<0\text{ или }(a\ge 0\text{ и }{a}^2<c)\right\}$$

Покажем, что у этого класса нет наибольшего элемента, то есть какое бы $a\in A$ мы не взяли, существует еще более большое $a^{\prime }\in A$.

Опять пойдем от противного. Пусть $a$ — наибольший элемент в классе $A$. Если $a<0$, то возьмем $a^{\prime }=0$. Так как $a^{\prime }\in A$, то он и является настоящим наибольшим элементом. Получили противоречие. Значит, среди отрицательных рациональных чисел искать наибольший элемент бесполезно. $0$ всегда все будет портить.

Пусть тогда $a\ge 0$. Тогда рассмотрим вот такое $a^{\prime }$:

$$a^{\prime }=a+\frac{1}{n},$$

где $n$ — какое-то натуральное число.

Очевидно, что $a^{\prime }>a$, так как мы прибавили к $a$ небольшое положительное число $\frac{1}{n}$.

Теперь покажем, что $a^{\prime }$ принадлежит классу $A$. Для этого надо показать, что $a^{\prime 2}<c$:

$$a^{\prime 2}={\left(a+\frac{1}{n}\right)}^2=a^2+\frac{2a}{n}+\frac{1}{n^2}<c$$

Перенесем $a^2$ в правую часть неравенства:

$$\frac{2a}{n}+\frac{1}{n^2}<c-a^2$$

Усилим неравенство, заменив $\frac{1}{n^2}$ на $\frac{1}{n}$:

$$\frac{2a}{n}+\frac{1}{n^2}\le \frac{2a}{n}+\frac{1}{n}<c-a^2$$

Другими словами, если мы найдем такие $n$, что выполняется более сильное неравенство $\frac{2a}{n}+\frac{1}{n}<c-a^2$, то, увеличив на $1$ степень в знаменателе, мы еще больше уменьшим (ослабим) это неравенство и для него найденная $n$ тоже будет работать, то есть знак сохранится.

Итак, имеем

$$\frac{2a}{n}+\frac{1}{n}=\frac{2a+1}{n}<c-a^2$$

Вынесем $n$ из под знаменателя:

$$n>\frac{2a+1}{c-a^2}$$

Итак мы показали, что какое $a$ за наибольший элемент класса $A$ не принимай, всегда можно найти натуральное $n$, а через него такое $a^{\prime }$, что $a^{\prime }>a$ и $a^{\prime 2}<c$, а значит $a$ уже не наибольший элемент класса $A$. Противоречие.

Это значит, что наибольшего элемента у класса $A$ нет.

$■$

Мы доказали, что у класса $A$ нет наибольшего элемента, а у класса $B$ нет наименьшего.