我母亲去世前给我留下遗嘱，把她的房产份额留给了我（房产本是我父亲的名字，已去世），老人子女有四个，我大姐，我大哥，我二哥，我。法院调解过程中我大姐大哥均放弃其应继承份额（其实是私底下经过法院我把我大姐的房产份额买了，我二哥买了我大哥的），经法院调解，原告我享有被继承人我母亲与我父亲共有登记在我父亲名下的房产五分之四的份额，被告我二哥享有该房产五分之一的份额。这套房子现在由我和我二哥共同居住，不到70平米的房子两家人在一起实在是太麻烦，难免有碰撞。我想把我二哥手里的房产份额买过来，他也不同意，请问在我不出卖自己的份额前提下这件事情有什么稳妥的办法可以解决吗？