Python Selenium自动化问卷填写实战：从环境搭建到验证码处理

1. 项目概述与核心价值

最近在帮一个朋友处理一个挺有意思的需求：他手头有一批问卷需要填写，来源是问卷星，数量大概有几百份。手动操作显然不现实，不仅耗时耗力，还容易出错。他问我能不能用技术手段自动化搞定，顺便看看能不能绕过那些烦人的验证码。我一听，这不就是典型的Web自动化场景吗？用Python+Selenium这个黄金组合再合适不过了。这个项目听起来简单，但里面涉及到的知识点其实挺全的，从环境搭建、元素定位、模拟操作，到处理验证码这个“拦路虎”，每一步都有讲究。对于想入门Web自动化，或者想了解如何应对简单反爬机制的朋友来说，这是一个非常棒的实战案例。它不仅能帮你完成具体的填问卷任务，更能让你掌握一套处理类似Web交互问题的通用方法论。

2. 环境配置与工具选型解析

2.1 核心工具链：为什么是Python + Selenium + Chrome？

工欲善其事，必先利其器。选择Python+Selenium+Chrome这套组合，是基于以下几个核心考量：

首先，Python的语法简洁，生态丰富，有大量成熟的库支持网络请求、数据处理，学习曲线平缓，非常适合快速开发和脚本编写。其次，Selenium是一个强大的浏览器自动化工具，它不像简单的requests库只能处理静态页面，而是能驱动真实的浏览器（如Chrome），执行点击、输入、滚动等所有用户能做的操作，完美模拟真人行为，这对于需要与JavaScript动态加载元素交互的问卷星页面至关重要。最后，选择Chrome浏览器是因为其市场占有率最高，Selenium对它的支持也最成熟稳定，相关的驱动（ChromeDriver）更新及时，社区资源丰富。

注意：虽然也有Firefox（geckodriver）、Edge等选项，但在国内网络环境下，Chrome及其驱动的获取和配置通常最顺畅，能减少很多不必要的麻烦。

2.2 一步步搭建你的自动化环境

环境配置是第一步，也是最容易踩坑的一步。很多人在这里放弃，其实只要按顺序来，很简单。

第一步：安装Python如果你还没安装Python，直接去官网下载最新稳定版（比如3.8+）的安装包。安装时务必勾选“Add Python to PATH”，这样就能在命令行里直接使用python和pip命令了。安装完成后，打开命令行（CMD或PowerShell），输入python --version，能显示版本号就说明成功了。

第二步：安装Selenium库Python环境好了，安装第三方库就是一键的事。在命令行里输入：

pip install selenium

这条命令会从Python的官方包索引下载并安装Selenium库。为了后续管理方便，我强烈建议你使用虚拟环境（venv），但如果你是新手，先在全域安装也没问题，目的是先跑起来。

第三步：下载与Chrome版本匹配的ChromeDriver这是最关键也最容易出错的一步。Selenium需要通过一个叫ChromeDriver的组件来控制和通信。你必须确保ChromeDriver的版本与你电脑上已安装的Chrome浏览器主版本号一致。

1. 查看Chrome版本：打开Chrome浏览器，点击右上角三个点 -> 帮助 -> 关于Google Chrome，记下版本号（比如 115.0.5790.170）。
2. 下载ChromeDriver：打开ChromeDriver的官方下载站或国内镜像站。找到与你Chrome主版本号（115）一致的驱动版本进行下载。如果版本号是115.5790.170，就找主版本为115的驱动。
3. 放置驱动：下载的是一个可执行文件（Windows是chromedriver.exe）。你需要把它放在一个你知道的路径下，比如D:\Tools\。更重要的，必须将这个路径添加到系统的环境变量PATH中。这样，Selenium才能在任意位置启动它。
   • 添加PATH方法（Windows）：右键“此电脑”->属性->高级系统设置->环境变量，在“系统变量”里找到Path，编辑，新建一条，填入你的chromedriver.exe所在文件夹的路径（如D:\Tools）。

验证配置：打开命令行，输入chromedriver，如果出现“Starting ChromeDriver...”等字样而没有报错，说明驱动配置成功。

3. Selenium核心操作与问卷星页面解析

3.1 初始化浏览器与基础导航

环境配好，我们就可以开始写代码了。首先，初始化一个浏览器实例。

from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC import time # 初始化Chrome浏览器驱动 driver = webdriver.Chrome() # 如果chromedriver已在PATH中，这里无需指定路径 # 如果需要指定路径，可以这样：webdriver.Chrome(executable_path=r‘D:\Tools\chromedriver.exe‘) # 最大化窗口，避免某些响应式元素错位 driver.maximize_window() # 打开目标问卷星的链接 questionnaire_url = “https://www.wjx.cn/vm/xxxxxxxx.aspx“ # 替换为你的问卷链接 driver.get(questionnaire_url) # 等待页面基本加载完成 time.sleep(2)

这里引入了几个关键对象：By用于定位元素，WebDriverWait和EC用于智能等待，后面会详细讲。time.sleep(2)是一个简单的强制等待，让页面有足够时间加载初始资源，但在实际脚本中应尽量减少使用，改用智能等待。

3.2 元素定位：与问卷表单的“对话”

问卷星上的每一个问题、每一个选项、每一个输入框，在HTML里都是一个元素（Element）。我们要操作它，必须先找到它。Selenium提供了多种定位方式，常用的是以下两种：

1. 通过ID定位：最精准、最快速的方式。如果元素有id属性，优先使用。例如，一个单选按钮的HTML可能是：<input type=“radio” id=“q1_1”>，那么可以用driver.find_element(By.ID, “q1_1”)来定位。
2. 通过XPath定位：最强大、最灵活的方式，可以定位到页面上的任何元素，尤其适用于没有ID或ID动态变化的情况。XPath就像文件的路径。例如，定位第一个问题的第一个单选按钮：driver.find_element(By.XPATH, ‘//*[@id=“divQuestion1”]//input[@type=“radio”][1]‘)。

如何获取这些定位信息？不要凭感觉猜！一定要利用浏览器的开发者工具（F12打开）。在页面上右键点击你想操作的元素（比如一个单选按钮），选择“检查”（Inspect），开发者工具会高亮显示对应的HTML代码。你可以右键该代码行，选择“Copy” -> “Copy XPath”或“Copy full XPath”，但自动生成的XPath往往很长且脆弱，我建议自己根据结构编写相对简洁的XPath。

实操心得：对于问卷星，其题目区域的id通常有规律，如divQuestion1、divQuestion2。单选/多选按钮、输入框等都嵌套在这些div下。多花几分钟研究页面结构，写出稳定的定位表达式，比后期频繁调试要高效得多。

3.3 模拟用户交互：点击、输入与提交

定位到元素后，就可以模拟操作了。

• 点击操作：对于单选、多选、下拉框触发等。

  # 定位并点击第一个问题的第一个选项 radio_option = driver.find_element(By.XPATH, ‘//*[@id=“divQuestion1”]//input[@type=“radio”][1]‘) radio_option.click()

  有时元素可能被遮挡，Selenium会报错ElementClickInterceptedException。这时可以尝试用JavaScript直接点击：

  driver.execute_script(“arguments[0].click();”, radio_option)

• 输入文本：对于填空题、问答题。

  # 定位文本输入框并输入内容 text_input = driver.find_element(By.ID, “q2”) text_input.clear() # 先清空可能存在的默认文本 text_input.send_keys(“这是自动填写的答案”)

• 处理下拉框：需要用到Select类。

  from selenium.webdriver.support.ui import Select select_element = driver.find_element(By.ID, “q3”) select = Select(select_element) select.select_by_index(1) # 通过索引选择（从0开始） # 或者 select.select_by_value(“value1”) # 通过value属性选择 # 或者 select.select_by_visible_text(“选项文本”) # 通过可见文本选择

• 提交问卷：最后点击提交按钮。

  submit_button = driver.find_element(By.XPATH, ‘//*[@id=“submit_button”]‘) # 按钮ID可能不同 submit_button.click()

3.4 等待的艺术：显式等待 vs. 隐式等待 vs. 强制等待

网络有快慢，页面加载和元素出现需要时间。错误的等待会导致脚本运行时找不到元素而报错。

• 强制等待：time.sleep(n)。简单粗暴，但效率低下，因为你不知道元素到底需要多久，可能等太久浪费了时间，也可能等不够导致失败。仅在非常确定且短暂的等待时使用。
• 隐式等待：driver.implicitly_wait(10)。设置一个全局等待时间，在查找任何元素时，如果没立即找到，会持续尝试直到超时。但它不够灵活，无法针对特定条件。
• 显式等待（推荐）：使用WebDriverWait配合expected_conditions。它可以等待某个特定条件成立，比如元素可见、可点击、数量大于某个值等。这是最智能、最可靠的方式。

  from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC # 等待提交按钮出现并可点击，最多等10秒 wait = WebDriverWait(driver, 10) submit_btn = wait.until(EC.element_to_be_clickable((By.ID, “submit_button”))) submit_btn.click()

  在填写问卷时，可以在点击一个可能触发动态加载的选项后，使用显式等待下一个相关元素出现，这样脚本的健壮性会大大增强。

4. 验证码识别与绕过策略实战

验证码是自动化脚本最大的挑战。问卷星的验证码通常不是最复杂的类型，这给我们留下了应对空间。处理思路通常分两种：识别和绕过。

4.1 验证码类型分析与应对思路

问卷星常见的验证码有：

1. 简单数字/字母图片验证码：扭曲度不高，背景干扰少。
2. 滑动拼图验证码：需要将滑块拖动到缺口。
3. 点选验证码：如“请点击图中所有的XXX”。
4. 智能验证码：如极验、腾讯云验证码等，交互复杂。

对于前两种，在非商业、低频、自用的前提下，我们有技术手段可以尝试。后两种则难度极大，通常需要寻求专业打码平台或考虑其他方案。

重要提示：本节讨论的技术方法仅用于学习自动化测试原理及应对简单反爬机制的技术探讨。在实际应用中，必须严格遵守目标网站的服务条款，尊重其防止恶意刷量的安全措施。任何自动化行为都应在合法、合规且不干扰网站正常服务的前提下进行。

4.2 方案一：手动干预半自动化

这是最稳妥、最合规的方法。思路是脚本运行到验证码出现时暂停，由人工识别并输入，然后脚本继续执行。

# ... 脚本填写完所有问题 ... # 假设验证码图片的id是‘imgCode’ captcha_element = driver.find_element(By.ID, ‘imgCode‘) # 将验证码图片截图保存 captcha_element.screenshot(‘captcha.png‘) print(“请查看当前目录下的captcha.png图片，并输入验证码：“) captcha_code = input() # 程序在此暂停，等待用户在控制台输入 # 找到验证码输入框并输入 captcha_input = driver.find_element(By.ID, ‘captcha_input‘) captcha_input.send_keys(captcha_code) # 继续点击提交...

这种方法适用于量不大、不追求全自动的场景，保证了100%的通过率，且完全合规。

4.3 方案二：使用OCR库自动识别（针对简单图形码）

对于简单的数字字母验证码，可以尝试使用OCR（光学字符识别）技术。Python中pytesseract库（Tesseract-OCR的封装）是一个选择，但识别率取决于图片复杂度。

步骤：

1. 安装Tesseract-OCR引擎：从其GitHub页面下载安装程序并安装，记住安装路径（如C:\Program Files\Tesseract-OCR）。
2. 安装Python库：pip install pytesseract pillow
3. 编写识别代码：

   from PIL import Image import pytesseract # 配置Tesseract路径（根据你的安装位置修改） pytesseract.pytesseract.tesseract_cmd = r‘C:\Program Files\Tesseract-OCR\tesseract.exe‘ # 获取验证码图片元素 captcha_element = driver.find_element(By.ID, ‘imgCode‘) # 先截图 captcha_element.screenshot(‘captcha_temp.png‘) # 用PIL打开图片，并进行预处理（提高识别率） image = Image.open(‘captcha_temp.png‘) # 预处理示例：转灰度、二值化 image = image.convert(‘L‘) # 转灰度 # 可以进一步调整阈值进行二值化，这里简单处理 # image = image.point(lambda x: 0 if x < 128 else 255, ‘1‘) # 使用Tesseract识别 custom_config = r‘--oem 3 --psm 7‘ # OEM 3 使用默认LSTM引擎，PSM 7 将图像视为单行文本 code = pytesseract.image_to_string(image, config=custom_config) code = code.strip() # 去除空白字符 print(f“识别出的验证码为：{code}“) # 输入验证码...

注意事项：原始验证码图片往往有噪声，直接识别成功率很低。必须进行图像预处理，如灰度化、二值化、降噪、去除干扰线等。预处理方法需要根据具体的验证码样式进行调整，这是一个需要反复试验的过程。

4.4 方案三：绕过策略探讨

“绕过”并非指破解，而是寻找不需要处理验证码的路径或漏洞，这需要观察和分析。

1. Cookie/Session维持：有些验证码只在首次访问或频繁提交时出现。可以尝试先手动在浏览器中正常访问一次问卷，通过driver.get_cookies()获取登录后的cookies，然后在自动化脚本中通过driver.add_cookie(cookie_dict)添加这些cookies，再访问问卷链接，可能就直接进入已“认证”的状态，跳过了验证码环节。
2. 请求头分析：检查正常浏览器提交问卷时的网络请求（F12 -> Network），观察其请求头（User-Agent, Referer等）和表单数据。尝试用requests库直接模拟这个POST请求，有时服务端验证不严格，可能绕过前端的验证码校验。但这需要分析提交地址和参数格式，且问卷星通常有较强的后端校验。
3. 时间间隔与行为模拟：验证码的触发往往与异常行为相关，如极快的填写速度、无规律的鼠标移动。在脚本中加入随机延迟（time.sleep(random.uniform(1, 3))）、模拟鼠标移动轨迹（使用ActionChains）等，可以降低被识别为机器的概率，从而可能避免触发复杂的验证码。

   from selenium.webdriver.common.action_chains import ActionChains import random element = driver.find_element(By.ID, “some_element”) # 模拟人类移动鼠标到元素上 actions = ActionChains(driver) actions.move_to_element(element).pause(random.uniform(0.5, 1.5)).click().perform()

核心建议：对于问卷星这类平台，方案一（人工干预）是最简单、最可靠的。方案二（OCR）可以作为技术练习，但要做好识别率不高的心理准备，需要复杂的调优。方案三需要较高的逆向分析能力，且存在不确定性，并可能违反服务条款。请务必优先考虑合规且稳定的方法。

5. 脚本健壮性优化与批量处理框架

一个能用的脚本和一个健壮的脚本之间，差了很多细节处理。

5.1 异常处理与日志记录

脚本在长时间运行中难免遇到网络波动、元素加载慢、意外弹窗等问题。良好的异常处理能让脚本在遇到问题时不会直接崩溃，而是记录错误并尝试恢复或安全退出。

import logging from selenium.common.exceptions import NoSuchElementException, TimeoutException, ElementClickInterceptedException # 配置日志 logging.basicConfig(level=logging.INFO, format=‘%(asctime)s - %(levelname)s - %(message)s‘) logger = logging.getLogger(__name__) def safe_click(element, description=“元素”): “”“安全点击，尝试多种方式”“” try: element.click() logger.info(f“成功点击：{description}“) except ElementClickInterceptedException: logger.warning(f“{description} 被遮挡，尝试JS点击”) driver.execute_script(“arguments[0].click();”, element) except Exception as e: logger.error(f“点击 {description} 时发生未知错误：{e}“) raise # 重新抛出异常，由上层处理 def fill_questionnaire(data): try: # 你的填写逻辑 # 每一步操作都可以用try...except包裹 answer_input = WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.ID, f“q{data[‘qid‘]}”)) ) answer_input.clear() answer_input.send_keys(data[‘answer‘]) except TimeoutException: logger.error(f“问题 {data[‘qid‘]} 输入框加载超时”) return False # 返回失败状态 except NoSuchElementException: logger.error(f“未找到问题 {data[‘qid‘]} 的元素”) return False return True

5.2 数据驱动与批量执行

如果需要填写多份问卷（内容不同），应该将数据和操作逻辑分离。

1. 准备数据源：可以将问卷答案保存在JSON文件或CSV文件中。

   // answers.json [ {“q1”: “选项A”, “q2”: “文本答案1”, “q3”: “下拉选项1”}, {“q1”: “选项B”, “q2”: “文本答案2”, “q3”: “下拉选项2”} ]

2. 编写主循环：

   import json with open(‘answers.json‘, ‘r‘, encoding=‘utf-8‘) as f: all_answers = json.load(f) for index, answer_set in enumerate(all_answers): logger.info(f“开始填写第 {index+1} 份问卷”) driver.get(questionnaire_url) # 每次打开新页面 # 调用填写函数，传入当前答案集 if fill_questionnaire(answer_set): logger.info(f“第 {index+1} 份问卷填写成功”) else: logger.error(f“第 {index+1} 份问卷填写失败，跳过”) # 每完成一份，可以随机等待一段时间，模拟人工间隔 time.sleep(random.uniform(5, 15)) driver.quit()

5.3 使用Headless模式与反检测策略

如果你在服务器或无界面的环境中运行，或者不想看到浏览器窗口弹出，可以使用无头（Headless）模式。

from selenium.webdriver.chrome.options import Options chrome_options = Options() chrome_options.add_argument(‘--headless‘) # 启用无头模式 chrome_options.add_argument(‘--disable-gpu‘) # 早期版本需要，现在可选 chrome_options.add_argument(‘--no-sandbox‘) # Linux环境下可能需要 chrome_options.add_argument(‘--disable-dev-shm-usage‘) # 解决共享内存问题 # 添加一些参数，让浏览器指纹更接近真实用户 chrome_options.add_argument(‘user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ...‘) chrome_options.add_experimental_option(“excludeSwitches”, [“enable-automation“]) chrome_options.add_experimental_option(‘useAutomationExtension‘, False) driver = webdriver.Chrome(options=chrome_options)

通过add_argument可以添加各种浏览器启动参数来优化和伪装。excludeSwitches和useAutomationExtension这两个选项可以隐藏Chrome受到自动化测试工具控制的提示。

6. 常见问题排查与实战心得

在实际操作中，你肯定会遇到各种各样的问题。这里我总结了一些典型问题的排查思路和解决方法。

6.1 元素定位失败问题

这是最常见的问题，错误信息通常是NoSuchElementException或TimeoutException。

• 可能原因1：页面未加载完成
  • 解决：增加等待时间，使用显式等待（WebDriverWait）代替time.sleep。确保等待的条件是元素可见或可点击，而不仅仅是存在。
• 可能原因2：元素在iframe/frame内
  • 解决：如果元素位于<iframe>标签内，必须先切换到该frame才能定位其中的元素。

    # 通过id或index切换到frame driver.switch_to.frame(“iframe_id”) # 操作frame内的元素... # 操作完成后切回主文档 driver.switch_to.default_content()

• 可能原因3：元素是动态生成的
  • 解决：检查页面HTML，确认元素是否在初始加载后通过JavaScript动态添加。确保你的操作（如点击上一个选项）已经触发了动态加载，并且使用了正确的等待条件来等待新元素出现。
• 可能原因4：XPath或Selector写错了
  • 解决：在浏览器的开发者工具Console中测试你的XPath。按F12打开Console，输入$x(‘你的XPath表达式‘)（对于XPath）或$(‘你的CSS选择器‘)（对于CSS），看是否能正确选中元素。这是最直接的调试方法。

6.2 脚本运行速度慢或不稳定

• 可能原因1：过度使用time.sleep
  • 解决：用显式等待替代固定的强制等待。显式等待只在必要时才等待，最大程度减少空闲时间。
• 可能原因2：网络环境或目标服务器响应慢
  • 解决：适当增加显式等待的超时时间（如从10秒加到30秒）。在脚本中加入重试机制，当操作失败时自动重试几次。
• 可能原因3：浏览器实例未复用
  • 解决：对于批量任务，尽量复用同一个driver实例，而不是每填一份问卷就quit()再重新启动。浏览器启动开销很大。

6.3 验证码处理失败

• OCR识别率低：
  • 排查：检查预处理步骤。尝试不同的二值化阈值、滤波算法。对于有干扰线的，可以尝试腐蚀、膨胀等形态学操作。Tesseract对于纯数字、字体规范的验证码识别较好，对于扭曲的中文或复杂背景效果差。
  • 升级方案：可以考虑使用更专业的OCR服务（如百度OCR、腾讯OCR的API），但通常需要付费，且同样受验证码复杂度限制。
• 绕过策略无效：
  • 理解：网站的反爬策略在持续升级。今天有效的绕过方法明天可能就失效了。基于Cookie、请求头模拟的方法高度依赖于网站的具体实现，没有通用解。
  • 务实选择：当技术手段成本过高或不可靠时，回归半自动化（人工识别）是最经济实用的选择。或者，评估项目是否真的需要全自动化，少量数据手动处理也许更快。

6.4 浏览器被检测为自动化工具

一些网站会检测浏览器是否被Selenium等工具控制。

• 迹象：页面显示“检测到异常访问”，或直接跳转到验证码特别复杂的页面。
• 缓解措施：
  1. 使用chrome_options添加反检测参数（如上文所述）。
  2. 使用undetected-chromedriver这类专门修改过的驱动，它能更好地隐藏自动化特征。
  3. 模拟真人行为：在操作间加入随机延迟、随机移动鼠标轨迹（ActionChains）。
  4. 注意，这是一场“军备竞赛”，没有一劳永逸的方法。

最后的个人体会：自动化脚本的编写，三分在代码，七分在调试和对目标系统的分析。耐心分析页面结构，精心设计等待逻辑，妥善处理异常，是脚本能否稳定运行的关键。对于验证码，保持一个务实的态度：优先考虑合规且能达成目标的方案，技术手段是为目的服务的，而不是目的本身。把这个项目走通一遍，你收获的将不仅仅是一个问卷填写工具，而是一套解决Web自动化问题的完整思维方式和工具箱。