Với điều kiện \(x + 1 \ne 0\) và \(y + 1 \ne 0\) đặt  \(u = \dfrac{x}{{x + 1}};\,v = \dfrac{y}{{y + 1}}\) ta được hệ phương trình

(I)   \(\left\{ \begin{array}{l}2u + v = \sqrt 2 \\u + 3v =  - 1\end{array} \right.\)

Giải (I):

\(\left\{ \begin{array}{l}2u + v = \sqrt 2 \\u + 3v =  - 1\end{array} \right.\\ \Leftrightarrow \left\{ \begin{array}{l}2u + v = \sqrt 2 \\2u + 6v =  - 2\end{array} \right.\\ \Leftrightarrow \left\{ \begin{array}{l} - 5v = \sqrt 2  + 2\\u + 3v =  - 1\end{array} \right. \\\Leftrightarrow \left\{ \begin{array}{l}v =  - \dfrac{{2 + \sqrt 2 }}{5}\\u - 3.\dfrac{{2 + \sqrt 2 }}{5} =  - 1\end{array} \right.\\ \Leftrightarrow \left\{ \begin{array}{l}v =  - \dfrac{{2 + \sqrt 2 }}{5}\\u - \dfrac{{6 + 3\sqrt 2 }}{5} =  - 1\end{array} \right.\)

Do đó, hệ phương trình đã cho tương đương với hệ sau:

(II)   \(\left\{ \begin{array}{l}\dfrac{x}{{x + 1}} = \dfrac{{1 + 3\sqrt 2 }}{5}\\\dfrac{y}{{y + 1}} =  - \dfrac{{2 + \sqrt 2 }}{5}\end{array} \right.\)

Giải (II), ta được:

\(\displaystyle \left\{ \matrix{
{x \over {x + 1}} = {{1 + 3\sqrt 2 } \over 5} \hfill \cr 
{y \over {y + 1}} = {{ - 2 - \sqrt 2 } \over 5} \hfill \cr} \right.\)

\(\displaystyle \Leftrightarrow \left\{ \matrix{
x = \left( {x + 1} \right)\left( {{{1 + 3\sqrt 2 } \over 5}} \right) \hfill \cr 
y = \left( {y + 1} \right){{ { - 2 - \sqrt 2 } } \over 5} \hfill \cr} \right.\)

\(\displaystyle \Leftrightarrow \left\{ \matrix{
5{\rm{x}} = \left( {x + 1} \right)\left( {1 + 3\sqrt 2 } \right) \hfill \cr 
5y = \left( {y + 1} \right)\left( { - 2 - \sqrt 2 } \right) \hfill \cr} \right.\)

\(\displaystyle \begin{array}{l}
\Leftrightarrow \left\{ \begin{array}{l}
5x = x\left( {3\sqrt 2 + 1} \right) + 3\sqrt 2 + 1\\
5y = y\left( { - 2 - \sqrt 2 } \right) - 2 - \sqrt 2 
\end{array} \right.\\
\Leftrightarrow \left\{ \begin{array}{l}
5x - \left( {3\sqrt 2 + 1} \right)x = 3\sqrt 2 + 1\\
5y - \left( { - 2 - \sqrt 2 } \right)y = - 2 - \sqrt 2 
\end{array} \right.\\
\Leftrightarrow \left\{ \begin{array}{l}
\left( {4 - 3\sqrt 2 } \right)x = 3\sqrt 2 + 1\\
\left( {7 + \sqrt 2 } \right)y = - 2 - \sqrt 2 
\end{array} \right.
\end{array}\)

\(\displaystyle \Leftrightarrow \left\{ \matrix{
x = {{1 + 3\sqrt 2 } \over {4 - 3\sqrt 2 }} \hfill \cr 
y = {{-2 - \sqrt 2 } \over {7 + \sqrt 2 }} \hfill \cr} \right.\) 

\(\displaystyle \begin{array}{l}
\Leftrightarrow \left\{ \begin{array}{l}
x = \dfrac{{\left( {3\sqrt 2 + 1} \right)\left( {4 + 3\sqrt 2 } \right)}}{{\left( {4 - 3\sqrt 2 } \right)\left( {4 + 3\sqrt 2 } \right)}}\\
y = \dfrac{{\left( { - 2 - \sqrt 2 } \right)\left( {7 - \sqrt 2 } \right)}}{{\left( {7 + \sqrt 2 } \right)\left( {7 - \sqrt 2 } \right)}}
\end{array} \right.\\
\Leftrightarrow \left\{ \begin{array}{l}
x = \dfrac{{ - 22 - 15\sqrt 2 }}{2}\,(tmđk)\\
y = \dfrac{{ - 12 - 5\sqrt 2 }}{{47}}\,(tmđk)
\end{array} \right.
\end{array}\) 

Vậy hệ phương trình có nghiệm duy nhất \(\left( {x;y} \right) \)\(=\displaystyle \left( {\dfrac{{ - 22 - 15\sqrt 2 }}{2};\dfrac{{ - 12 - 5\sqrt 2 }}{{47}}} \right)\)