Gọi N là trung điểm của \(BC,G\) là trọng tâm tam giác \(ABC\)

Hình chiếu vuông góc của điểm \(A'\) lên mặt phẳng \(\left( ABC \right)\) trùng với trọng tâm tam giác \(\left( ABC \right)\) nên \(A'G\bot \left( ABC \right)\)

Tam giác \(ABC\) vuông cân tại \(A\) nên \(AN\bot BC\left( 1 \right)\)

Lại có \(A'G\bot BC\left( 2 \right)\)

Từ \(\left( 1 \right)\) và \(\left( 2 \right)\) ta có \(BC\bot \left( A'AN \right)\)

Trong mặt phẳng \(\left( A'AN \right)\) từ \(N\) kẻ \(NH\bot A'A\) suy ra \(NH\) là đường vuông góc chung của \(AA'\) và \(BC\) do đó \(d\left( A'A;BC \right)=NH=\frac{\sqrt{17}}{6}a\)

Đặt \(AB=2x\)

Vì tam giác \(ABC\) vuông cân tại \(A\) nên \(BC=2x\sqrt{2};AN=\frac{1}{2}BC=x\sqrt{2}\)

G là trọng tâm tam giác \(ABC\Rightarrow AG=\frac{2}{3}AN=\frac{2x\sqrt{2}}{3}\)

Trong tam giác vuông \(A'AG\) có \(A'{{G}^{2}}=A'{{A}^{2}}-A{{G}^{2}}=4{{a}^{2}}-\frac{8{{x}^{2}}}{9}\)

Trong mặt phẳng \(\left( A'AN \right)\) kẻ \(GK//NH\Rightarrow GK=\frac{2}{3}NH=\frac{a\sqrt{17}}{9}\)

Trong tam giác vuông \(A'AG\) có

\(\frac{1}{G{{K}^{2}}}=\frac{1}{A'{{G}^{2}}}+\frac{1}{A{{G}^{2}}}\Leftrightarrow \frac{81}{17{{a}^{2}}}=\frac{1}{4{{a}^{2}}-\frac{8{{x}^{2}}}{9}}+\frac{1}{\frac{8{{x}^{2}}}{9}}\)

\(\Leftrightarrow \frac{81}{17{{a}^{2}}}=\frac{4{{a}^{2}}}{\left( 4{{a}^{2}}-\frac{8{{x}^{2}}}{9} \right).\frac{8{{x}^{2}}}{9}}\)

\(\Leftrightarrow 64{{x}^{4}}-288{{a}^{2}}{{x}^{2}}+68{{a}^{4}}=0\)

Mà \(AB

Cách để tính AB

Ta có \(NH.AA'=A'G.AN\) (vì cùng bằng 2 lần diện tích tam giác \(A'NA)\)

\(\Leftrightarrow \frac{a\sqrt{17}}{6}.2a=\sqrt{4{{a}^{2}}-\frac{8{{x}^{2}}}{9}}.x\sqrt{2}\)

\( \Leftrightarrow 16{x^4} - 72{a^2}{x^2} + 17{a^4} = 0 \Leftrightarrow \left[ \begin{array}{l} {x^2} = \frac{{17}}{4}{a^2} \Rightarrow x = \frac{{\sqrt {17} }}{2}a \Rightarrow AB = a\sqrt {17} \\ {x^2} = \frac{1}{4}{a^2} \Rightarrow x = \frac{1}{2}a \Rightarrow AB = a \end{array} \right.\)

Mà \(AB

\(A'{{G}^{2}}=A'{{A}^{2}}-A{{G}^{2}}=4{{a}^{2}}-\frac{8{{x}^{2}}}{9}=\frac{34{{a}^{2}}}{9}\Rightarrow A'G=\frac{a\sqrt{34}}{3}\)

Thể tích \(V\) của khối lăng trụ \(ABC.A'B'C'\) là

\(V=A'G.{{S}_{ABC}}=\frac{a\sqrt{34}}{3}.\frac{1}{2}.a.a=\frac{\sqrt{34}{{a}^{3}}}{6}.\)