Стримь через nvenc h264 , профиль main, и не парься , что то слишком тяжелое на ультрах не пастримишь ,а вот для кс\вов и тд нормльно заходит с минимумом "блочности". Это на сколько я понимаю иза масштабирования возникает , как вариант используй метод Ланцоша 32 выборки.

PS битрейт оптимал для 1080р 3500-5000