我爱上了离异的男人

我现在21未婚，他26离婚一年有个孩子在女方，我们是同事在一个部门工作，一开始我们没有任何交集就是偶尔说句话，后来一次的一起聚会，发现我们有共同爱好一起喝酒抽烟玩游戏，之后总是四个特别好的同事一起吃饭喝酒。
其实到后来我俩每天聊天一直玩游戏我就对他有点感觉，淄博侦探也没事逗我还把游戏名称改成和我一样的，但我俩都没有捅破，知道有一次去同事家里喝酒，我俩同事带着女朋友还有我和他，他们两对在一起住，我们各在各屋，喝完酒睡觉他跟我发微信聊天，说想找我一起睡。
其实那时候我俩每天聊天有点污了，但是都是同事没想过出事，最后那天他还是来了，跟我睡了。
第二天我同事也知道了，我跟我一个比较好的同事聊这些事，我同事说，他们原来聊过我，说淄博侦探是个小姑娘他离过婚对我影响不好一直就这也挺好
反正经过那天晚上之后，他对我态度更好了，然后我家没人的时候他来住，他出去跟他表哥表弟喝酒也让我过去，把我介绍给他们，他说他把我睡了，要对我负责。把我也带去过他家，他爸妈跟他一起住，虽然没正面跟他爸妈说过话，我俩总是夜里喝完酒回去下午在走，但是他爸妈应该是知道了，我俩现在也三个多月了，因为单位不让搞对象或者结婚的在一起上班，所以只有这三个特别好的同事知道，我俩每天也没事说几句话，对我有时候冷淡有时候热情，觉得我现在已经投入进去了，我不知道该怎么办了？