Điều kiện

\(\left\{ \begin{array}{l} {x^2} - 6x + 12 > 0\\ x + 2 > 0\\ mx - 5 > 0\\ mx - 5 \ne 1 \end{array} \right. \Leftrightarrow \left\{ \begin{array}{l} x > - 2\\ mx > 5\\ mx \ne 6 \end{array} \right.\quad \left( I \right)\)

Giải phương trình

\(\begin{array}{l} \quad {\log _{mx - 5}}\left( {{x^2} - 6x + 12} \right) = {\log _{\sqrt {mx - 5} }}\sqrt {x + 2} \quad \quad \quad \quad pt\left( 1 \right)\\ \Leftrightarrow {\log _{mx - 5}}\left( {{x^2} - 6x + 12} \right) = {\log _{mx - 5}}\left( {x + 2} \right)\\ \Leftrightarrow {x^2} - 6x + 12 = x + 2\\ \Leftrightarrow {x^2} - 7x + 10 = 0\\ \Leftrightarrow \left[ \begin{array}{l} x = 2\\ x = 5 \end{array} \right. \end{array}\)

Khi \(m<0\Rightarrow x<\frac{5}{m}<0\) Suy ra phương trình \(\left( 1 \right)\) vô nghiệm

Khi \(m=0\Rightarrow 0x>5\) không có x thỏa điều kiện.

Khi \(m>0\Rightarrow x>\frac{5}{m}>0\) khi đó \(\left( I \right) \Leftrightarrow \left\{ \begin{array}{l} x > \frac{5}{m}\\ x \ne \frac{6}{m} \end{array} \right.\)

TH1. Phương trình \(\left( 1 \right)\) có nghiệm duy nhất x=2 khi đó

\(\left\{ \begin{array}{l} 2 > \frac{5}{m}\\ 5 = \frac{6}{m} \end{array} \right. \Leftrightarrow \left\{ \begin{array}{l} \frac{{2m - 5}}{m}\\ m = \frac{6}{5} \end{array} \right. > 0 \Leftrightarrow \left\{ \begin{array}{l} m > \frac{5}{2}\\ m = \frac{6}{5} \end{array} \right. \Leftrightarrow m \in \emptyset \)

TH2. Phương trình \(\left( 1 \right)\) có nghiệm duy nhất x=5 khi đó

\(\left[ \begin{array}{l} \left\{ \begin{array}{l} 5 > \frac{5}{m}\\ 2 < \frac{5}{m} \end{array} \right.\\ \left\{ \begin{array}{l} 2 > \frac{5}{m}\\ 2 = \frac{6}{m} \end{array} \right. \end{array} \right. \Leftrightarrow \left[ \begin{array}{l} \left\{ \begin{array}{l} \frac{{5m - 5}}{m} > 0\\ \frac{{2m - 5}}{m} < 0 \end{array} \right.\\ \left\{ \begin{array}{l} 2 > \frac{5}{m}\\ m = 3 \end{array} \right. \end{array} \right.\left[ \begin{array}{l} \left\{ \begin{array}{l} m > 1\\ 0 < m < \frac{5}{2} \end{array} \right.\\ m = 3 \end{array} \right. \Leftrightarrow \left[ \begin{array}{l} 1 < m < \frac{5}{2}\\ m = 3 \end{array} \right.\)

Vậy các giá trị m thỏa mãn điều kiện đề bài là \(m=3\vee 1<m<\frac{5}{2}\)

Vậy \(S=\left\{ 2;3 \right\}\)