Могу ли я конвертировать RJ11 в RJ45 без модема для использования Ethernet?

нет. Это не просто вилка, которая отличается, но сама сигнализация. Маршрутизатор ожидает говорить Ethernet через его порты 'RJ45', но телефонная линия обычно предоставляет ADSL, который использует различные электрические сигналы и несет различные форматы данных также.

(не говоря уже о том, что обычный вид Ethernet требует по крайней мере двух витых пар – четыре для GbE – и большинство телефонных линий, которые я видел, имеют только одну пару проводов...)

Итак, вы должны каким-то образом преобразуйте сигнал ADSL в сигнал Ethernet, и, как уже упоминалось в комментариях, это называется "DSL-модемом".