辞职后老板让我赔偿违约金2010年1…

辞职后老板让我赔偿违约金2010年1月12日我口头向领导表达要辞职,领导说第二天找我谈话,可是没找我,在我不知道的情况下在全体大会上宣布我要离职并且要我交接手头工作,见此情况我就在2010年1月15日提交了辞职报告,在之后的1周内我完成了工作的交接,并侧面问领导说我明天有事就不来了可不可以,只来做没有交接完的工作,就在21日我按时去完成工作交接,22日便没有去上班,之后单位没有给我打电话,在23日我接到通知说我3天没有上班属于违约,让我赔偿违约金,之后我回到单位请求让我继续上班,单位不让我再继续上班,只是让我赔偿并且让我去见律师,现在很害怕不知道该怎么办?