Điều kiện của phương trình là $x\neq \frac{\pi }{4}+\frac{k\pi }{2}$ với $k$ nguyên.Phương trình trở thành $2cosxsin^2x+\sqrt{3}sin3x=cos2xcosx-2cos2x$,
hay $cosx(1-cos2x)+\sqrt{3}sin3x=cos2xcosx-2cos2x$,
hay $cosx-2cosxcos2x+\sqrt{3}sin3x=-2cos2x$,
hay $-cos3x+\sqrt{3}sin3x=-2cos2x$,
hay $\frac{1}{2}cos3x-\frac{\sqrt{3}}{2}sin3x=cos2x$,
hay $cos(3x+\frac{\pi }{3})=cos2x$,
hay $3x+\frac{\pi }{3}=2x+k 2\pi\vee 3x+\frac{\pi }{3}=-2x+k 2\pi$,
hay $x=-\frac{\pi }{3}+k 2\pi\vee x=-\frac{\pi }{15}+\frac{k2\pi }{5}$, trong đó $k$ nguyên.
Các nghiệm này đều thỏa mãn điều kiện của phương trình.
Vậy, phương trình đã cho có hai họ nghiệm, đó là $x=-\frac{\pi }{3}+k 2\pi$ hoặc $x=-\frac{\pi }{15}+\frac{k2\pi }{5}$, trong đó $k$ nguyên.