Đk: $x\geq y\geq 1$
$Pt(1)\Leftrightarrow (x-y)(x^2+xy+y^2)=-(\frac{x^2-y^2}{\sqrt{x^2+1}+\sqrt{y^2+1}}+\sqrt{x^2-y^2})\leq 0$
Mà $x^2+xy+y^2>0\Rightarrow x-y\leq 0\Rightarrow x=y$(theo điều kiện)
Thế $x=y$ vào Pt(2) thì được:
$x^3+2x+3-2\sqrt{x^3-1}=(x^2+2x+3)\sqrt{x^2-x+1}$
$\Leftrightarrow (\sqrt{x^2-x+1}-x-1)[(x+1)\sqrt{x^2-x+1}-2]=2\sqrt{x^3-1}\geq 0$
$\Leftrightarrow \left[ {\begin{matrix} \begin{cases}\sqrt{x^2-x+1}\geq x+1\\ (x+1)\sqrt{x^2-x+1}\geq 2 (3)\end{cases}\\ \begin{cases}\sqrt{x^2-x+1}\leq x+1\\ (x+1)\sqrt{x^2-x+1}\leq 2(4)\end{cases} \end{matrix}} \right.$
Xét $(3)$ thì $x^2-x+1\geq (x+1)^2\Leftrightarrow -x\geq 2x$ (vô lý khi $x\geq 1$)$\rightarrow $Hệ 3 ko xảy ra
Xét $(4)$ thì tương tự ta thu được $2x\geq -x$ (đúng)
Nên ta xét tiếp $(x+1)\sqrt{x^2-x+1}\leq 2\Leftrightarrow (x-1)(x^3+2x^2+2x+3)\leq 0$
$\Leftrightarrow x\leq 1$ do $x^3+2x^2+2x+3\geq 8>0$
Kết hợp với đk đề bài ta thu được $x=1$ là nghiệm duy nhất và $x=y=1$ là cặp nghiệm duy nhất của hệ