Từ gt ta có $\begin{cases}a-b\geq 0\\ a\leq 4\\a+b\leq 7\\b>0\end{cases}\Rightarrow \begin{cases}a(a-b)\leq 4(a-b) \\ b(a+b)\leq 7b\end{cases}$Cộng vế theo vế ta được $a^2+b^2\leq 4a+3b$
Theo B.C.S $(4a+3b)^2\leq 25(a^2+b^2)$
Vậy $(a^2+b^2)^2\leq 25(a^2+b^2)\Rightarrow a^2+b^2\leq 25$ (đpcm)