Gọi độ dài AB = a, BC = b, AA' = c.

Khi đó theo đề ta có \(\left\{ \begin{array}{l} ab + bc + ca = 18\\ {a^2} + {b^2} + {c^2} = 36 \end{array} \right.\)

Suy ra \({\left( {a + b + c} \right)^2} = {a^2} + {b^2} + {c^2} + 2\left( {ab + bc + ca} \right) = 72.\)

Hay \(a + b + c = 6\sqrt 2 \Leftrightarrow b + c = 6\sqrt 2 - a.\)

Ta có: \({b^2} + {c^2} + {a^2} = 36 \Leftrightarrow {\left( {b + c} \right)^2} - 2bc + {a^2} = 36\)

Hay \({\left( {6\sqrt 2 - a} \right)^2} - 2bc + {a^2} = 36 \Rightarrow bc = \frac{{{{\left( {6\sqrt 2 - a} \right)}^2} + {a^2} - 36}}{2}\).

Từ đó ta có \(V = abc = a.\frac{{{{\left( {6\sqrt 2 - a} \right)}^2} + {a^2} - 36}}{2} = \frac{{2{a^3} - 12\sqrt 2 {a^2} + 36a}}{2}\)

Không mất tổng quát, giả sử \(a = \max \left\{ {a,b,c} \right\}\), khi đó \(6\sqrt 2 = a + b + c \le 3a \Rightarrow a \ge 2\sqrt 2 \).

Lại có \(36 = {a^2} + {b^2} + {c^2} \ge {a^2} + \frac{{{{\left( {b + c} \right)}^2}}}{2} = {a^2} + \frac{{{{\left( {6\sqrt 2 - a} \right)}^2}}}{2} \Rightarrow 3{a^2} - 12\sqrt 2 a \le 0 \Rightarrow a \le 4\sqrt 2 \).

Xét hàm số \(f\left( a \right) = \frac{{2{a^3} - 12\sqrt 2 {a^2} + 36a}}{2}\) với \(a \in [2\sqrt 2 ;4\sqrt 2 {\rm{]}}\).

Ta có \(f'\left( a \right) = \frac{{6{a^2} - 24\sqrt 2 a + 36}}{2},f'\left( a \right) = 0 \Leftrightarrow \left[ \begin{array}{l} a = \sqrt 2 \left( L \right)\\ a = 3\sqrt 2 \left( N \right) \end{array} \right.\).

Ta có \(\left\{ \begin{array}{l} f\left( {2\sqrt 2 } \right) = 4\sqrt 2 \\ f\left( {3\sqrt 2 } \right) = 0\\ f\left( {4\sqrt 2 } \right) = 8\sqrt 2 \end{array} \right.\)

Vậy \({V_{\max }} = 8\sqrt 2 \) khi \(a = 4\sqrt 2 ,b = c = \sqrt 2 .\)