寻求集友法律援助：买二手房违约后，如何支付违约金

为了更好地照顾岳父母，老婆和岳父母商量把房屋置换到我家附近。今年1月看到合适的房源，于是老婆和岳父母一商量就签了买房合同，约定今年7月17日支付全款共480W。谁料到签完买房合同后，岳父母的房子迟迟没卖出去，目前还有一周就要支付全款了。否则就要违约。
合同中关于违约是这样约定的：“因乙方原因，拒绝购买房屋的，应在违约行为发生之日起十五日内，以相当于房屋总价款的20%向甲方支付违约金，乙方向甲方已支付的全部款项冲抵违约金，多退少补。”

这套房全款480W，我们先期已支付20W。我们和卖家商量，准备在已支付20W的基础上，再加10W，共30W做为违约金。但对方不同意，说要按合同执行。但按合同执行要支付96W的违约金，这太多了，我们无法接受。

我们又问了房产中介，房产中介说，如果打官司，法院会按对方的实际损失适当调整违约金比率，这套房与买时相比大约跌了15W左右（北京南三环附近）。请坛子里熟悉房产法律的兄弟给支支招，如果真到打官司这一步，我大概会赔付多少违约金，我的心里底线是最多赔40W，不知法院会否支持，不会真判我赔96W吧？ 我最担心的是真走上这一步，法院判我赔96W，我就没有没有别的选择了（现在还有另一选择，把岳父母家的房降价几十万卖，我们也问了中介，现在看房的人很少，较难在短期卖掉。但如果降40W，应该也有一点儿希望卖掉）

本人把仅有的金币奉上，远远不够，略表心意。