Tìm giá trị lớn nhất của biểu thức sau : \(P=\frac{12}{\sqrt{36+(1+9a^2)(1+b^2)}}+3ab-\frac{a^4+b^4}{ab}\)

GT: \((a^3+b^3)(a+b)-ab(a-1)(b-1)=0\)

\(\Leftrightarrow \frac{(a^3+b^3)(a+b)}{ab}=(1-a)(1-b) (*)\)

Vì \(\frac{(a^3+b^3)(a+b)}{ab}=\left ( \frac{a^2}{b}+\frac{b^2}{a} \right )(a+b)\geq 2\sqrt{ab}.2\sqrt{ab}=4ab\)

Và \((1-a)(1-b)=1-(a+b)+ab\leq 1-2\sqrt{ab}+ab\) khi đó từ (*) suy ra \(4ab\leq 1-2\sqrt{ab}+ab\)

Đặt \(t=ab(t> 0)\) ta được \(2\sqrt{t}\leq 1-3t\Leftrightarrow \left\{\begin{matrix} 0< t< \frac{1}{3}\\ 4t\leq (1-3t) \end{matrix}\right.\Leftrightarrow 0< t< \frac{1}{9}\)

Ta có \((1+9a^2)(1+9b^2)\geq 36ab\Rightarrow \frac{12}{\sqrt{36+(1+9a^2)(1+9b^2)}}\leq \frac{2}{\sqrt{1+ab}}\)

và \(3ab-\frac{a^4+b^4}{ab}\leq 3ab-2ab=ab\)

Suy ra \(P\leq \frac{2}{\sqrt{t+1}}+ab\). Dấu đẳng thức xảy ra \(\Leftrightarrow a=b=\frac{1}{3}\)

Xét hàm \(f(t)=\frac{2}{\sqrt{t-1}}+t\) với \(0< t< \frac{1}{9}\)  ta có

\(f'(t)=1-\frac{1}{(1+t)\sqrt{t+1}}> 0, \forall t\in \bigg(0;\frac{1}{9} \bigg]\Rightarrow f(t)\) đồng biến trên \(\bigg(0;\frac{1}{9} \bigg]\)

\(f(t)\leq f(\frac{1}{9})=\frac{6}{\sqrt{10}}+\frac{1}{9}\), dấu đẳng thức xảy ra \(\Leftrightarrow \left\{\begin{matrix} a=b\\ t=ab=\frac{1}{9} \end{matrix}\right.\Leftrightarrow a=b=\frac{1}{9}\)

Vậy \(MaxP=\frac{6}{\sqrt{10}}+\frac{1}{9}\) đạt được tại \(a=b=\frac{1}{3}\)