Giải hệ phương trình: \(\left\{\begin{matrix} (xy-3)\sqrt{y+2}+\sqrt{x}=\sqrt{x^5}+(y-3x\sqrt{y+2})

Đk: \(\left\{\begin{matrix} 0\leq x\leq 2\\ y\geq -2 \end{matrix}\right. (*)\) Với đk(*) ta có 
\((1)\Leftrightarrow (x-1)\left [ (y+3)\sqrt{y+2}-(x+1)\sqrt{x} \right ]=0\Leftrightarrow \bigg \lbrack\begin{matrix} x=1\\ (y+3)\sqrt{y+2}=(x+1)\sqrt{x} \ (3) \end{matrix}\)
Với x = 1 thay vào (2) ta được: \(2\sqrt{2y+8}=1\Leftrightarrow y=-\frac{31}{8}\) (loai)
Ta có: \((3)\Leftrightarrow (\sqrt{y+2})^3+\sqrt{y+2}=(\sqrt{x})^3+\sqrt{x} \ (4)\). Xét hàm số
\(f(t)=t^3+t\Rightarrow f'(t)=3t^2+1>0;\forall t\Rightarrow\) Hàm số f(t) là hs đồng biến, do đó: 
\((4)\Leftrightarrow f(\sqrt{y+2})=f(\sqrt{x})\Leftrightarrow \sqrt{y+2}=\sqrt{x} \Leftrightarrow y=x-2\) thay vào pt(2) ta được:  \(4\sqrt{2-x}+2\sqrt{2x+4}=\sqrt{9x^2+16}\)
\(\Leftrightarrow 32-8x+16\sqrt{2(4-x^2)}=9x^2\)
\(\Leftrightarrow 8(4-x^2)+16\sqrt{2(4-x^2)}-(x^2+8x)=0\)
Đặt: \(t=\sqrt{2(4-x^2)}(t\geq 0)\);  PT trở thành: \(4t^2+16t-(x^2+8x)=0\Leftrightarrow \bigg \lbrack \begin{matrix} t=\frac{x}{2}\\ t=-\frac{x}{2}-4<0 \ (loai) \end{matrix}\)
Hay \(\sqrt{2(4-x^2)}=\frac{x}{2}\Leftrightarrow \left\{\begin{matrix} 0\leq x\leq 2\\ \\ x^2=\frac{32}{3} \end{matrix}\right.\Leftrightarrow x=\frac{4\sqrt{2}}{3}\Rightarrow y=\frac{4\sqrt{2}-6}{3}\)
Vậy hệ pt có nghiệm (x; y) là: \(\bigg ( \frac{4\sqrt{2}}{3};\frac{4\sqrt{2}-6}{3} \bigg )\)