Phương trình \(x^2−(m+1)x−3=0 (1)\)

+ Nhận xét \(Δ=(m+1)^2+12>0,∀m∈R\),. Suy ra (1) luôn có hai nghiệm phân biệt x₁,x₂

+ Theo hệ thức Viet ta có: \(\left\{ \begin{array}{l} {x_1} + {x_2} = m + 1\\ {x_1}{x_2} = - 3 \end{array} \right.\)

Ta có

\(\begin{array}{l} B = \frac{{3x_1^2 + 3x_2^2 + 4{x_1} + 4{x_2} - 5}}{{x_1^2 + x_2^2 - 4}} = \frac{{3\left( {x_1^2 + x_2^2} \right) + 4\left( {{x_1} + {x_2}} \right) - 5}}{{x_1^2 + x_2^2 - 4}}\\ = \frac{{3\left[ {{{\left( {{x_1} + {x_2}} \right)}^2} - 2{x_1}{x_2}} \right] + 4\left( {{x_1} + {x_2}} \right) - 5}}{{{{\left( {{x_1} + {x_2}} \right)}^2} - 2{x_1}{x_2} - 4}} = \frac{{3\left[ {{{\left( {m + 1} \right)}^2} + 6} \right] + 4\left( {m + 1} \right) - 5}}{{{{\left( {m + 1} \right)}^2} + 6 - 4}} = \frac{{3{m^2} + 10m + 20}}{{{m^2} + 2m + 3}} \end{array}\)

Nên \(\begin{array}{l} = \frac{{3{m^2} + 10m + 20}}{{{m^2} + 2m + 3}}\\ \Leftrightarrow \left( {B - 3} \right){m^2} + 2\left( {B - 5} \right)m + 3B - 20 = 0 \end{array}\)

+ Nếu \( B = 3 \to m = - \frac{{11}}{4}.\)

+ Nếu \( B≠3\) thì (*) là phương trình bậc hai ẩn mm. Phương trình (*) có nghiệm mm khi và chỉ khi Δ′≥0

hay \(\begin{array}{l} {\left( {B - 5} \right)^2} - \left( {B - 3} \right)\left( {3B - 20} \right) \ge 0 \Leftrightarrow 2{B^2} - 19B + 35 \le 0\\ \left( {2B - 5} \right)\left( {B - 7} \right) \le 0 \Leftrightarrow \frac{5}{2} \le B \le 7 \end{array}\)

Với B=7 thì thay vào (*) ta có \( 4{m^2} + 4m + 1 = 0 \Leftrightarrow {(2m + 1)^2} = 0 \Leftrightarrow m = - \frac{1}{2}.\)

Vậy giá trị lớn nhất của B bằng 7 khi m=−1/2.