Браузеры давно не поддерживают запуск exe используя абсолютный путь. Решение с описания расширения:

Если не работает, то откройте настройки плеера (клавиша "F5"), выберите вкладку "Связи", затем отметьте галочкой любой тип файлов и нажмите кнопку применить или ок (после принятия настроек можно убрать галочку с ранее отмеченного типа файла)."

качество меняется в самом PotPlayer.
Метод 1: https://i.postimg.cc/vHdFvXgR/Screenshot_3.png
Метод 2: "Во время воспроизведения нажать и выбрать качество. Находится в ПКМ > Воспроизведение > Закладки и эпизоды."

--- Обновление ---
еще раз, если выбрано "добавить видео по ссылке в плейлист", то будет добавлять в первую открытую копию PotPlayer (даже при "воспр. в новой копии" в настройках плеера), у меня так работает, если у вас не так, то я ничем помочь не могу

расширение на это вообще никак не влияет, когда-то в старых версиях плеера добавляло каждый раз в новую копию, когда выбрано "воспр. в новой копии" в настройках плеера, потом разработчик плеера сделал, так чтобы эта опция не влияла, когда просто добавляешь видео (не воиспроизводишь) - всегда добавлять в первую открытую копию плеера

"воиспроизвести видео по ссылке" - будет открываться в новой копии плеера (логически, если выбрано "воспр. в новой копии" в настройках плеера)
-----------------------

"после обновление до версии 1.10 видео с таким же сочетанием клавиш стало открываться просто в новой вкладке браузера. на данный момент"

Обновитесь до 1.10.1. Просто используется один код для всех браузеров (Chrome, Firefox, Opera), но при обновлении для Firefox требуется одну строчку поправлять, на этот раз забыл это сделать...

"Shift + средняя кнопка мыши по названию видео на ютюбе должно добавлять видео в плейлист PotPlayer"

В настройках выбрано "добавлять видео в плейлист" или "воспроизвести видео по ссылке"? Если первое, то всё должно быть нормально, видео добавляет в ту же копию плеера, если второе, то понятно, что в новой копии (если в настройках PotPlayer вы указали открытие видео в новой копии)

я протестировал с предыдущими версиями расширения, то же есть подобная проблема (логика контекстного меню вообще давно не менялось в расширении, не вижу в коде проблем), походу баг в последних версиях Firefox 59.*, 60.*. С Google Chrome расширение пока нормально работает (код расширения для Firefox и Chrome один и тот же...)

nothing is changed for the context menu in this update, I checked again and everything is fine, please try to remove and install the extension again

EDIT# 1: please write version of Firefox, Extension and PotPlayer. Also try with portable Firefox (to check with a clean profile) https://portableapps.com/apps/internet/firefox_portable

EDIT# 2: it's a Firefox bug (latest versions), it's not about extension 1.9.20 update, you can install older versions of extensions and you will get the same problem

чтобы открывать видео с разных сайтов (необязательно Youtube, например, по прямым ссылкам, или чтобы работало контекстное меню для Youtube ссылки, которая находится на каком-либо другом не-youtube сайте)

UPDATE 4 для последних версий PotPlayer специально подправил кое-что, чтобы работало с опцией "Предпочитаемое качество". UPDATE не используйте опцию предпочитаемого качества пока... UPDATE 3 на версии 1.7.7150 (январь) PotPlayer нормально работает с опцией качества и Firefox... UPDATE 2 проблема в последних версиях PotPlayer и при включенной опции качества (не по умолчанию) в расширении (будем писать разработчику плеера), хотя на Google Chrome всё летает. Предыдущий ответ: На Chrome такой проблемы нет, что-то с браузером Firefox. Браузеры уже давно не позволяют указывать путь к exe... А работает это все сейчас по windows url protocol, путь прописан в реестре, оттуда и узнает - https://s18.postimg.cc/hh9o0fbcp/Screenshot_2.png