もらったお金を返さなくてはいけませんか？

契約書のない金銭授受に関して質問です。
現在親族の会社に勤務しています。

入社の際、現金を受け取りました。
そのうち1/3は自社株を購入するように言われ、購入しました。
残り2/3については、社長は『５年間雇用を保証する契約金』との認識だったようです。
『誠意を示す』とも言われました。

パワハラに遭い、2年6ヶ月で退職を申し出たところ、全額返金するよう言われました。
私は全額返金しないといけないのでしょうか？

社長に請われて入社するにあたり、正社員で働いていた会社を退職しました。
親族の会社で定年まで働けないようなことがあった場合、年齢的に非正規社員しかなれないであろう、その補償のつもりで受け取りました。
なんの書面も交わさず、手渡しなので振込の記録もありません。
言われるまま返金しないといけないのでしょうか。
退社したあとのことを考えると、熱心に誘ってきたくせに親子揃ってパワハラしてきた社長はなにも傷つかず、損もせず。
正社員の職を辞めて入社した私は、もう以前の待遇での就労はムリです。
傷ついたのは私だけ…という結末になるのはイヤです。なんならこれは慰謝料？くらいに考えてしまいます。