a)

\(\begin{array}{l}
(1) \Leftrightarrow \left( {\cos 2x - \sqrt 3 \sin 2x} \right) + 7\left( {\cos x + \sqrt 3 \sin x} \right) = 8\\
 \Leftrightarrow \cos \left( {2x + \frac{\pi }{3}} \right) + 7\sin \left( {x + \frac{\pi }{6}} \right) - 4 = 0\\
 \Leftrightarrow 1 - 2{\sin ^2}\left( {x + \frac{\pi }{6}} \right) + 7\sin \left( {x + \frac{\pi }{6}} \right) - 4 = 0\\
 \Leftrightarrow 2{\sin ^2}\left( {x + \frac{\pi }{6}} \right) - 7\sin \left( {x + \frac{\pi }{6}} \right) + 3 = 0\\
 \Leftrightarrow \left[ {\begin{array}{*{20}{c}}
{\sin \left( {x + \frac{\pi }{6}} \right) = \frac{1}{2}\quad \quad }\\
{\sin \left( {x + \frac{\pi }{6}} \right) = 3\;(ptvn)}
\end{array}} \right.\\
 \Leftrightarrow \left[ {\begin{array}{*{20}{c}}
{x = k2\pi \quad \quad }\\
{x = \frac{{2\pi }}{3} + k2\pi }
\end{array}} \right.\;\left( {k \in Z} \right).
\end{array}\)

Vậy phương trình có nghiệm \(x = k2\pi ,\) \(x = \frac{{2\pi }}{3} + k2\pi ,k \in Z.\)

b) Điều kiện \(2{x^2} - y - 2 \ge 0\).

\(\begin{array}{l}
\left( 1 \right) \Leftrightarrow (x + 1 + y) + \sqrt {{{\left( {x + 1} \right)}^2} + 1}  - \sqrt {{y^2} + 1}  = 0\\
 \Leftrightarrow (x + 1 + y) + \frac{{(x + 1 + y)(x + 1 - y)}}{{\sqrt {{{\left( {x + 1} \right)}^2} + 1}  + \sqrt {{y^2} + 1} }} = 0\\
 \Leftrightarrow (x + 1 + y)\left( {1 + \frac{{x + 1 - y}}{{\sqrt {{{\left( {x + 1} \right)}^2} + 1}  + \sqrt {{y^2} + 1} }}} \right) = 0\\
 \Leftrightarrow \left[ {\begin{array}{*{20}{c}}
{x + 1 + y = 0}\\
{1 + \frac{{x + 1 - y}}{{\sqrt {{{\left( {x + 1} \right)}^2} + 1}  + \sqrt {{y^2} + 1} }} = 0}
\end{array}} \right.\\
 \Leftrightarrow \left[ {\begin{array}{*{20}{c}}
{y =  - x - 1\quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \quad \;}\\
{\sqrt {{{\left( {x + 1} \right)}^2} + 1}  + \sqrt {{y^2} + 1}  + (x + 1) - y = 0\;(*)}
\end{array}} \right.
\end{array}\)

Ta có 

\(\sqrt {{{\left( {x + 1} \right)}^2} + 1}  + \sqrt {{y^2} + 1}  + (x + 1) - y > \left| {x + 1} \right| + (x + 1) + \left| y \right| - y \ge 0\) nên phương trình  (*) vô nghiệm.

Thay \(y=-x-1\) vào phương trình (2) ta được phương trình

\(\begin{array}{l}
{x^3} - \left( {5{x^2} + 4x - 4} \right)\sqrt {2{x^2} + x - 1}  = 0\\
 \Leftrightarrow {x^3} + \left[ {3{x^2} - 4\left( {2{x^2} + x - 1} \right)} \right]\sqrt {2{x^2} + x - 1}  = 0\quad (3)
\end{array}\)

Đặt \(a = \sqrt {2{x^2} + x - 1}  \ge 0\), phương trình (3) trở thành

\(\begin{array}{l}
{x^3} + 3{x^2}a - 4{a^3} = 0 \Leftrightarrow (x - a){(x + 2a)^2} = 0 \Leftrightarrow \left[ {\begin{array}{*{20}{c}}
{x = a}\\
{x =  - 2a}
\end{array}} \right.\\
x = a \Leftrightarrow \sqrt {2{x^2} + x - 1}  = x \Leftrightarrow \left\{ {\begin{array}{*{20}{c}}
{x \ge 0}\\
{{x^2} + x - 1 = 0}
\end{array}} \right. \Leftrightarrow x = \frac{{ - 1 + \sqrt 5 }}{2} \Rightarrow y = \frac{{ - 1 - \sqrt 5 }}{2}\\
x =  - 2a \Leftrightarrow 2\sqrt {2{x^2} + x - 1}  =  - x \Leftrightarrow \left\{ {\begin{array}{*{20}{c}}
{x \le 0}\\
{7{x^2} + 4x - 4 = 0}
\end{array}} \right. \Leftrightarrow x = \frac{{ - 2 - 4\sqrt 2 }}{7} \Rightarrow y = \frac{{ - 5 + 4\sqrt 2 }}{7}
\end{array}\)

Vậy hệ đã cho có nghiệm (x;y) với \(\left\{ \begin{array}{l}
x = \frac{{ - 1 + \sqrt 5 }}{2}\\
y =  - \frac{{1 + \sqrt 5 }}{2}
\end{array} \right.\) và \(\left\{ \begin{array}{l}
x = \frac{{ - 2 - 4\sqrt 2 }}{7}\\
y = \frac{{ - 5 + 4\sqrt 2 }}{7}
\end{array} \right..\)