Ta có:ĐKC: giả sử hệ có nghiệm $(x_0;y_0)$
$-2.(1)+(2)\Leftrightarrow (x_0+3y_0)^2\leq\frac{-4}{a+1}\Rightarrow a+1,0\Leftrightarrow a<-1$(Vì $\frac{-4}{a+1}\geq(x_0+3y_0)^2\geq 0$
ĐKĐ: Giả sử $a<-1$
$\Rightarrow \frac{1-a}{1+a}=-1+\frac{2}{a+1}>-1$ (Vì $a<-1\Rightarrow \frac{2}{1+a}<0)$
Xét hệ $\begin{cases}x^2+2xy-7y^2=-1 \\ 3x^2+10xy-5y^2=-2 \end{cases} (II)$
Hệ (II) có nghiệm thì hệ (I) cũng có nghiệm vì $S_I\supset S_{II}$
Tương tự điều kiện cần ta được: $\begin{cases}(x+3y)^2=0 \\ x^2+2xy-7y^2=-1 \end{cases}\Leftrightarrow \begin{cases}x=-\frac{3}{2} \\ y=\frac{1}{2} \end{cases}$ hoặc $\begin{cases}x\frac{3}{2}= \\ y=-\frac{1}{2} \end{cases}$
Vậy điều kiện cần và đủ để hệ có nghiệm là $a<-1$