这个what 是既引起一个名词性从句又同时在从句中充当成分,这种情况下的what是不可以用that代替的。本句中的what正是这样,它一方面引起了宾语从句what was left of the cake, 又同时在从句中充当主语(谓语是was left), 这时的what常常理解为汉语"所"字,本句是理解为:所剩下的蛋糕。
for they greedily devoured what was left of the cake.
what ....引导的从句是名词性从句,具有名词的功能,可以用作主语或宾语。此处用作动词 devoured的宾语,同时what还在从句中充当主语。
thαt没有类似功能,所以不能替换。