Reproche

Le conditionnel passé ou le plus-que-parfait s'emploient, notamment, pour considérer rétrospectivement une action passée non réalisée, avec une connotation possible de reproche ou de regret :

Het zou beter geweest zijn als je nooit gekomen was.
Il aurait mieux valu que tu ne sois jamais venu.

Notez le double infinitif dans :

Je bent te laat.  Je had hier al om vier uur moeten zijn.
Tu es en retard.  Tu aurais déjà dû être ici à quatre heures.

Al die kosten waren toch echt niet nodig. Je had al dat geld niet hoeven uit te geven.
Tous ces frais étaient inutiles.  Tu n'aurais pas dû dépenser tout cet argent.