Если слово не воробей, а воробей, точно также, не слово, то присутствие слов может означать отсутствие воробьев, а наличие воробья может означать отсутствие слов. И действительно — там, где слова, уж какие там воробьи. И, соответственно, где есть воробьи, слова просто не нужны.
Если слово не воробей, то «Вам слова не давали!» можно сказать, как «Вам не воробья не давали»
«Мне не дали ни слова» может означать «Мне дали воробья»