我去特地翻了一下，说是凌晨三点左右。

我翻了一下另一译本，和楼主的是一样的。
又翻了一下美版的原著书，出发的时间是yesterday mornin'，被叫起来的时间是 yesternight，均为原文表述。我觉得楼主比较在意的是，“昨天晚上”好像在“昨天早上”之后才对。我当时读并没有什么问题，可能我有惯性思维，我当时的感觉就是黑夜里把他叫起来，然后收拾了一下船，早上天不亮就走了。如果yesternight翻译成，昨天夜里，就有点好理解了。昨天夜里，昨天后半夜的时候。是这样一个意思。
最后，我去看了一下格林纳达版改编的电视剧四签名一集，由于是改编，台词和书里并不是完全一样的，这段戏的台词也有删改。这两处时间问题，最后只保留了一处，表述为 in the middle of the night.简单说就是，半夜。所以我觉得可以理解为：半夜来叫他，整理了一阵子，大清早出发了。书的截图就不拍了，原文表述刚才写了。把电视剧的截图发出来。