Ta có:S=x2.(1−y)y+y2(1−z)z+z2.(1−x)x−(x2+y2+z2).Vì0<x,y,z<1→y>0,1−y>0
Áp dụng bđt Cosi ta có:
x2.(1−y)y+y(1−y)≥2x(1−y)
Tương tự rồi cộng vế vs vế ta đc
S≥2x−2xy+2y−2yz+2z−2xz−x−y−z=(x+y+z)−2(xy+yz+zx)=(x+y+z)−2
Mặt khác :x2+y2+z2≥xy+yz+zx
→(x+y+z)2≥3.(xy+yz+zx)→x+y+z≥√3.(xy+yz+zx)=√3
-->S≥√3−2.
Dấu "=" xảy ra ↔{x=y=zxy+yz+zx=1↔x=y=z=1√3