能要回。原因是赠与合同无效，受赠人就应予以返还。《中华人民共和国民法典》第一百五十三条规定：“违反法律、行政法规的强制性规定的民事法律行为无效。但是，该强制性规定不导致该民事法律行为无效的除外。

违背公序良俗的民事法律行为无效。”

因此，赠与合同无效的依据有两条。第一条是违背公序良俗。夫妻之间负有互相忠实义务，基于婚外不正当男女关系而发生的赠与行为违背公序良俗，应属无效。

第二条是违反法律的强制性规定。《中华人民共和国民法典》第三百零一条规定：“处分共有的不动产或者动产以及对共有的不动产或者动产作重大修缮、变更性质或者用途的，应当经占份额三分之二以上的按份共有人或者全体共同共有人同意，但是共有人之间另有约定的除外。”在夫妻双方未约定其他财产制的情况下，婚姻关系存续期间所得的财产是夫妻共同共有，未经全体共同共有人同意而处分共有财产，应属无效。