1. \({\sin ^2}3x\cos 2x + {\sin ^2}x = 0\) (1)

Ta có: \(\sin 3x = (1 + 2\cos 2x){\mathop{\rm s}\nolimits} {\rm{inx}}.\) 

\(\begin{array}{l}
(1) \Leftrightarrow ({(1 + 2\cos 2x)^2}{\rm{cos}}2x + 1){\sin ^2}x = 0\\
 \Leftrightarrow (1 + c{\rm{os2x)(1 + 4co}}{{\rm{s}}^2}2x){\sin ^2}x = 0\\
 \Leftrightarrow \left[ \begin{array}{l}
\sin x = 0\\
{\rm{cos2x =  - 1}}
\end{array} \right. \Leftrightarrow x = \frac{{k\pi }}{2}
\end{array}\)

2. Gọi q là công bội của CSN \( \Rightarrow {x_2} = {x_1}q;{x_3} = {x_1}{q^2};{x_4} = {x_1}{q^3}\) 

Theo viet ta có:

\(\left\{ \begin{array}{l}
{x_1} + {x_2} = 3\\
{x_1}{x_2} = a\\
{x_3} + {x_4} = 12\\
{x_3}{x_4} = b
\end{array} \right. \Rightarrow \left\{ \begin{array}{l}
{x_1}(1 + q) = 3\\
{x_1}{x_2} = a\\
{x_1}{q^2}(1 + q) = 12\\
{x_3}{x_4} = b
\end{array} \right.\)

Suy ra \({q^2} = 4\) 

•  q = 2 \( \Rightarrow {x_1} = 1\), giải ra được a = 2, b = 32
•  q = - 2 \(\Rightarrow {x_1} =  - 3\), giải ra được a = - 18, b = - 288