这个谜语的答案是 "非"。

解释：
- "驱除" 可以理解为去掉或排除。
- "雀斑" 是一种皮肤状况，表现为小的棕色或黄色的斑点。
- 把 "雀斑" 中的 "雀" 去掉，就剩下 "斑"。
- "斑" 减去 "文"（"文" 在这里代表花纹或图案）就是 "非"。

所以，综合起来，答案是 "非"。