未婚です。彼女の浮気で受け取ったお金を返す義務はありますか？

失礼いたします。29歳の男です。
現在私には3年程交際している彼女がいます。
その彼女が一年程前に浮気をしました。
その際にもう別れようと思いましたが、何でもするから許して欲しい、50万でも100万でも払うから。と言われ本当に100万払うなら我慢しようかと思い受け取りました。
その後しばらくしてまた同じ様に浮気され今度こそ別れようと思いましたが、本当に結婚したいから付き合って行きたいと言われ、また100万円受け取りました。もちろんこんな高額をしかも未婚の関係で受け取る事は良くないし、請求できる権利も無いと思いましたが、私には彼女と交際をする前に8年間交際した別の女性がいましたが、関係も良くなく、今後の事を考えていた時に今の彼女と出会い以前の彼女とは別れ真剣に交際を始めました。
そんな気持ちで付き合っていたので今度こそは大丈夫と思い受け取ってしまいました。
しかし、現在になり簡単に嘘を付く事、その他性格の不一致から別れたいと思うようになり別れ話を持ちだすと、お金を全て返すように言われてます。
執拗に何度も何度も電話したり、私の母親にも連絡をすると言われております。
そして脅してもないし返す義務は無いと言うと、怖かったとか人生めちゃくちゃにしてやるとか言われた脅されたとか言ってきてます。私は脅してお金を受け取ってません。一切そんな事はないです。
この場合は返す義務がありますか？。
ご教授お願いします。