Venta de casa antes de 3 años

Buenos dias ,Mi anterior pareja y yo compramos una casa en 2004,aunque no estabamos casados vivimos juntos durante 5 años entre esa vivienda y otra,y la vendimos en 2006 por roper la relacion y no tener solucion.Tengo que devolver todos los beneficios fiscales de sos 3 años? y tambien el tantopor ciento del beneficio de la venta?Reinverti casi la totalidad del dinero en la precompra d otro piso a mi nombre... que puedo hacer? devolver todo? no es de causa mayor la rotura d una pareja aunque no estuviera casado?