В моей практике была ситуация, когда использовавшийся для транскодинга ffmpeg из дистра операционки (насколько помню, убунта какая-то была) косячил артефактами. Проблема решилась использованием ffmpeg, собранного из сорцов.