我是一个普通农民，经朋友介绍在贵阳给一个私人老板做工（新农村立面改造工程，也是由公司发包给私人老板的），我邀了十几个民工兄弟一起做兄弟班，还签了一份协议，协议上写明了，工资月付百分之五十，余款在工程完工验收合格45天内付清，安全责任由我们自己承担，开始我们不敢签这个协议（因为这毕竟是一项危险的高空作业），后来老板说这只是一个形式问题，公司全部买了保险的，在说如果真的出事了也不可能让我们承担，况且我们也承担不起，听了老板这番话我们也把协议签了，可是后来真的出了意外造成一名民工死亡，当时没有报警，是由老板和公司出面私了的，当时我们就不想做了，但是老板给我们承诺不让我们承担一分钱，也没有让我们在处理结果上签字，后来我们又继续做，工程于2016年10月30日完工验收合格，到现在我们向老板讨要工钱，老板确要扣我们五万块钱，而且这个钱在价格上降低来算（例如协议签到的40，共计1万平方，那么每平方降低五元，就算下来凑足五万），，这个事情上我们该如何处理？