Xét khai triển:
(x2+1)n=n∑k=0Ckn(x2)n−k=C0nx2n+C1nx2n−2+C2nx2n−4+…+Cnn
(x+2)n=n∑k=0Cknxn−k2k=C0nxn+2C1nxn−1+22C2nxn−2+23C3nxn−3+…
+2nCnn
x3n−3=x2nxn−3=x2n−2xn−1
Hệ số
a3n−3 tương ứng với x3n−3 trong khai triển (x2+1)n(x+2)n là:
a3n−3=C0n.23.C3n+C1n.2C1n=26n
⇔8.n!0!n!.n!3!(n−3)!+2.n!1!(n−1)!.n!1!(n−1)!=26n
⇔2n2−3n−35=0⇔[n=5n=−72⇒n=5
Vậy chỉ có n=5 thoả mãn đề bài.