Đặt $t=2x-y$ thì $(1)\Leftrightarrow (1+4^t)5^{1-t}=1+2^{t+1}$
$\Leftrightarrow 1+4^t=5^{t-1}(1+2^{t+1})\Leftrightarrow (1-5^{t-1})+4(4^{t-1}-10^{t-1})=0$
Xét $t>1$ thì $VT>0$, xét $t<1$ thì $VT<0$ nên chỉ có nghiệm $t=1$
$\Leftrightarrow 2x-y=1\Leftrightarrow 2x=y+1$
Thế vào $(2):$ $y^3+2y+3+\ln(y^2+y+1)=0$
Xét hàm $f(y)=y^3+2y+3+\ln(y^2+y+1),D=\mathbb{R}$ thì
$f'(y)=3y^2+2+\frac{2y+1}{y^2+y+1}=3y^2+\frac{2(y+1)^2+1}{y^2+y+1}>0,\forall y$
Suy ra hàm số đồng biến trên $\mathbb{R}$
Ta có: $f(-1)=0$ nên $y=-1$ là nghiệm duy nhất
Vậy nghiệm hệ $(x;y)=(0;-1)$