\(\begin{array}{l}
{a^x}{b^{{x^2} - 1}} = 1 \Leftrightarrow {a^x}{b^{{x^2}}} = b \Leftrightarrow \ln \left( {{a^x}{b^{{x^2}}}} \right) = \ln b\\
 \Leftrightarrow x\ln a + {x^2}\ln b = \ln b \Leftrightarrow {x^2}\ln b + x\ln a - \ln b = 0
\end{array}\) 

Phương trình có 2 nghiệm phân biệt \( \Leftrightarrow \left\{ \begin{array}{l}
\ln b \ne 0\,\,\,\left( {\,luon\,\,dung\,\,do\,\,b > 1} \right)\\
{\ln ^2}a + 4{\ln ^2}b \ge 0\,\,\left( {luon\,\,dung} \right)
\end{array} \right.\) 

Do đó phương trình luôn có 2 nghiệm với mọi \(a, b>1\). Gọi \(x_1, x_2\) là 2 nghiệm phân biệt của phương trình đã cho. Áp dụng định lí Vi-ét ta có: \(\left\{ \begin{array}{l}
{x_1} + {x_2} = \frac{{ - \ln a}}{{\ln b}} =  - {\log _b}a\\
{x_1}{x_2} = \frac{{ - \ln b}}{{\ln b}} =  - 1
\end{array} \right.\)  

Khi đó ta có:

\(\begin{array}{l}
S = {\left( {\frac{{{x_1}{x_2}}}{{{x_1} + {x_2}}}} \right)^2} - 4{x_1} - 4{x_2} = {\left( {\frac{{{x_1}{x_2}}}{{{x_1} + {x_2}}}} \right)^2} - 4\left( {{x_1} + {x_2}} \right)\\
S = {\left( {\frac{{ - 1}}{{ - {{\log }_b}a}}} \right)^2} + 4{\log _b}a = \frac{1}{{\log _b^2a}} + 4{\log _b}a\\
{\rm{Do}}\,\,a,b > 1 \Rightarrow {\log _b}a > {\log _b}1 = 0
\end{array}\)

Áp dụng BĐT Cô-si ta có:

\(S = \frac{1}{{\log _b^2a}} + 4{\log _b}a = \frac{1}{{\log _b^2a}} + 2{\log _b}a + 2{\log _b}a \ge 3\sqrt[3]{{\frac{1}{{\log _b^2a}}.2{{\log }_b}a.2{{\log }_b}a}} = 3\sqrt[3]{4}\) 

\( \Rightarrow {S_{\min }} = 3\sqrt[3]{4}\). Dấu “=” xảy ra \( \Leftrightarrow \frac{1}{{\log _b^2a}} = 2{\log _b}a \Leftrightarrow \log _b^3a = \frac{1}{2} \Leftrightarrow {\log _b}a = \frac{1}{{\sqrt[3]{2}}} \Leftrightarrow a = {b^{\frac{1}{{\sqrt[3]{2}}}}}\) 

Ta có: \({b^{\frac{1}{{\sqrt[3]{2}}}}} < {b^1} = b\,\,\left( {do\,\,b > 1} \right) \Rightarrow a < b\)