質問 
 忙しくて、夜中の12時まで仕事をさせましたが、残業時間はどのように計算すればいいのでしょうか?

答え 
まず、1日については労働時間(休憩時間を除いた時間)が8時間を超えた時間について、25%割り増しの残業手当(時間外割増賃金)を支給しなければなりません。

 例えば、午前8時から午後5時までの会社の場合(昼休み1時間とします)は、午後5時以降に仕事をした時間には、時間外割増賃金を支払わなければなりません。

 また、時間外割増賃金とは別に、深夜割増賃金というものがあります。
 午後10時から午前5時の間に仕事をさせた場合には25%増しの深夜割増賃金を支払わなければなりません。

 ご質問のケースは、
午後5時から10時までは、
時間外割増賃金として25%増し、
午後10時から12時までの2時間について、
時間外割増賃金と深夜割増賃金が重複することになり、
時間外の25%割増、深夜の25%割増を足して、50%の割増賃金を支払わなければなりません。