При отключении шнура USB каждый раз отваливается раскладка. Это баг. Багрепоры писать не умею, поэтому исправил сам, путем редактирования /etc/default/keyboard. У меня стоит раскладка us colemak, поэтому
XKBLAYOUT="us,ru"
XKBVARIANT=","
исправил на
XKBLAYOUT="us,ru"
XKBVARIANT="colemak,"
И теперь она больше не отваливается.