你可以不给，房子是你的（如果你是你爸的唯一继承人的话）！从法律上讲这是你父亲的遗产，不是你爷爷的遗产，父亲去世了如果你是唯一遗产的继承人，那么这房子是归你所有的。
如果属于财产 当然你妈应是第一继承人，不过你也有权不给你大伯，具体情况还得去村委问一下
这就关系到继承的问题了，具体去律师事务所咨询下
