Czynność pozorna a prawo do odliczenia VAT

Prowadzę działalność gospodarczą i jestem podatnikiem VAT. W trakcie kontroli urząd stwierdził, że faktura VAT została wydana na podstawie czynności prawnej pozornej zmierzającej do obejścia prawa podatkowego, wobec czego nie stanowi podstawy do obniżenia podatku należnego o wynikający z niej podatek naliczony. Czy organy podatkowe są uprawnione do stwierdzenia, że dana czynność jest pozorna? Jeśli tak, to czy tracę prawo do odliczenia VAT z faktury dokumentującej taką czynność?