ゴミ箱をタスクバーに置いてしまおう！というTipsがあるようです。

Place a Fully Functional Recycle Bin on your Windows 7 Taskbar
Windows7でゴミ箱をタスクバーに配置する方法

というわけで、やってみると…

スッキリ！

ファイルをドラッグしたときにあまり目に見えた反応がないので、ちょっとわかりづらいのですが、それ以外はバッチリデス。
ゴミがあれば、ちゃんとアイコンも変わるみたいですし。