音楽は勝手にすすみますが。

勝手に進みませんよ。 ;-)

ヘッドフォン端子からヘッドフォンを抜くと、音楽の再生が止まるのが iPod の仕様です（抜くタイミングでたまに失敗することがあるようですが）。

ちなみに保証期間内だったのでAppleに持ち込んだところ、修理不可ということで
新品をもらえましたが、
2代目からはその技は一切使っていません。

それは iPod 側が摩耗してしまったということですね。余裕がないとき以外は、きちんと再生停止するようにします。

私は手持ちの iPhone/iPod の中でそのようになるものはないですね。接触がおかしいのかも? お近くに Apple Store があるなら、iPod はバックアップした上で (←これ重要)、予約してジーニアスバーで見てもらうとよいかもしれません。