求支招～家庭关系复杂
我的家庭关系很复杂，父母离异，我跟爸爸，爸爸再婚，我现在有个妹妹，妹妹的外公外婆现在也住在我们隔壁，这是我爸的房子（我爸两套房，一套3室，我们一家人还有爷爷奶奶住，外公外婆住隔壁两室）。我今年结婚的，现在要买房，那天去看了一个花园洋房，觉得很喜欢，当时我爸说支持我一些钱，把外公外婆住那套房子卖了，给我付首付，我就交了5万定金。现在我后悔了不想买了，因为爸爸的条件是一家人都要住进去，包括外公外婆，我觉得家里老人本来就多，怕到时候吵架，本来是一家人，因为习惯等各种问题闹不愉快，一家人反而不和谐了。不过那个房子确实很好，反正以我自己的能力，是买不起那个房子的。现在我的烦恼是：1.我不想买了，我的押金能退回来吗？（没写认购合同，只是之前写了一个协议）2，对于家庭关系是不是我想多了？请懂法律的同学或者过来人给点意见。