Giải hệ phương trình: \(\left\{\begin{matrix} (xy-3)\sqrt{y+2}+\sqrt{x}=\sqrt{x^3}+(y-3x)\sqrt{y+2}

ĐK: \(\left\{\begin{matrix} 0\leq x\leq 2\\ y\geq 2 \end{matrix}\right.\) (*). Với đk (*) ta có

\((1)\Leftrightarrow (x-1)\left [ (y+3)\sqrt{y+2}-(x+1)\sqrt{x} \right ]=0\Leftrightarrow \bigg \lbrack\begin{matrix} x=1\\ (y+3)\sqrt{y+2}-(x+1)\sqrt{x} \ \ \ (3) \end{matrix}\)
Với x = 1 thay vào (2) ta được: \(2\sqrt{2y+8}=1\Leftrightarrow y=-\frac{31}{8}\) (loại)
Ta có: \((3)\Leftrightarrow (\sqrt{y+2})^3+\sqrt{y+2}=(\sqrt{x})^3+\sqrt{x}(4)\). Xét hàm số
\(f(t)=t^3+t\Rightarrow f'(t)=3t^2+1>0;\forall t\Rightarrow\) Hàm số f(t) là hàm số đồng biến, do đó:
\((4)\Leftrightarrow f(\sqrt{y+2})=f(\sqrt{x})\Leftrightarrow \sqrt{y+2}=\sqrt{x}\Leftrightarrow y=x-2\) thay vào pt(2) ta được:
\(4\sqrt{2-x}+2\sqrt{2x+4}=\sqrt{9x^2+16}\)
\(\Leftrightarrow 32-8x+16\sqrt{2(4-x^2)}=9x^2\)
\(\Leftrightarrow 8(4-x^2)+16\sqrt{2(4-x^2)}-(x^2+8x)=0\)
Đặt: \(t=\sqrt{2(4-x^2)} \ \ (t\geq 0)\); PT trở thành; \(4t^2+16t-(x^2+8x)=0\Leftrightarrow \bigg \lbrack \begin{matrix} t=\frac{x}{2}\\ t=-\frac{x}{2}-4<0 \ \ (loai) \end{matrix}\)
Hay \(\sqrt{2(4-x^2)}=\frac{x}{2}\Leftrightarrow \left\{\begin{matrix} 0\leq x\leq 2\\ x^2=\frac{32}{9} \end{matrix}\right.\Leftrightarrow x=\frac{4\sqrt{2}}{3}\Rightarrow y=\frac{4\sqrt{2}-6}{3}\)
Vậy hệ pt có nghiệm (x;y) là: \(\left ( \frac{4\sqrt{2}}{3} ;\frac{4\sqrt{2}-6}{3}\right )\)