Лиля Брик выгоняла. Так во всяком случае следует из большинства свидетельств современников (этоя ерунде сейчас несу конечно).

Поэтому рифму он в этом случае искал к слову "сволочь" или "ненавижу", ну или "люблю" что в принципе одно и то же))