¿Cómo puedo desplazar una página web usando selenium webdriver en python?

Actualmente estoy usando selenium webdriver para analizar a través de la página de amigos de usuarios de Facebook y extraer todos los identificadores del script AJAX. Pero necesito desplazarme hacia abajo para obtener todos los amigos. ¿Cómo puedo desplazarme hacia abajo en Selenium? Estoy usando python

Puedes usar

driver.execute_script("window.scrollTo(0, Y)") 

donde Y es la altura (en un monitor fullhd es 1080). (Gracias a @lukeis)

También puedes usar

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

para desplazarse al final de la página.

Si desea desplazarse a una página con carga infinita , como las de redes sociales, Facebook, etc. (gracias a @Cuong Tran)

SCROLL_PAUSE_TIME = 0.5

# Get scroll height
last_height = driver.execute_script("return document.body.scrollHeight")

while True:
    # Scroll down to bottom
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

    # Wait to load page
    time.sleep(SCROLL_PAUSE_TIME)

    # Calculate new scroll height and compare with last scroll height
    new_height = driver.execute_script("return document.body.scrollHeight")
    if new_height == last_height:
        break
    last_height = new_height

otro método (gracias a Juanse) es seleccionar un objeto y

label.sendKeys(Keys.PAGE_DOWN);

Si desea desplazarse hacia abajo hasta la parte inferior de la página infinita (como linkedin.com ), puede usar este código:

SCROLL_PAUSE_TIME = 0.5

# Get scroll height
last_height = driver.execute_script("return document.body.scrollHeight")

while True:
    # Scroll down to bottom
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

    # Wait to load page
    time.sleep(SCROLL_PAUSE_TIME)

    # Calculate new scroll height and compare with last scroll height
    new_height = driver.execute_script("return document.body.scrollHeight")
    if new_height == last_height:
        break
    last_height = new_height

Referencia: https://stackoverflow.com/a/28928684/1316860

Puede usar send_keyspara simular una pulsación de tecla END(o PAGE_DOWN) (que normalmente desplaza la página):

from selenium.webdriver.common.keys import Keys
html = driver.find_element_by_tag_name('html')
html.send_keys(Keys.END)

mismo método que se muestra aquí :

en python solo puedes usar

driver.execute_script("window.scrollTo(0, Y)")

(Y es la posición vertical a la que desea desplazarse)

element=find_element_by_xpath("xpath of the li you are trying to access")

element.location_once_scrolled_into_view

Esto ayudó cuando estaba tratando de acceder a un 'li' que no era visible.

Para mi propósito, quería desplazarme más hacia abajo, teniendo en cuenta la posición de las ventanas. Mi solución fue similar y utilizadawindow.scrollY

driver.execute_script("window.scrollTo(0, window.scrollY + 200)")

que irá a la posición actual de desplazamiento y + 200

Así es como se desplaza hacia abajo en la página web:

driver.execute_script("window.scrollTo(0, 1000);")

La forma más fácil que encontré para resolver ese problema fue seleccionar una etiqueta y luego enviar:

label.sendKeys(Keys.PAGE_DOWN);

¡Espero que funcione!

Ninguna de estas respuestas funcionó para mí, al menos no para desplazarse hacia abajo en una página de resultados de búsqueda de Facebook, pero encontré después de muchas pruebas esta solución:

while driver.find_element_by_tag_name('div'):
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    Divs=driver.find_element_by_tag_name('div').text
    if 'End of Results' in Divs:
        print 'end'
        break
    else:
        continue

Al trabajar con youtube, los elementos flotantes dan el valor "0" como la altura del desplazamiento, así que en lugar de usar "return document.body.scrollHeight", intente usar este "return document.documentElement.scrollHeight" y ajuste el tiempo de pausa de desplazamiento según su internet De lo contrario, se ejecutará solo una vez y luego se romperá después de eso.

SCROLL_PAUSE_TIME = 1

# Get scroll height
"""last_height = driver.execute_script("return document.body.scrollHeight")

this dowsnt work due to floating web elements on youtube
"""

last_height = driver.execute_script("return document.documentElement.scrollHeight")
while True:
    # Scroll down to bottom
    driver.execute_script("window.scrollTo(0,document.documentElement.scrollHeight);")

    # Wait to load page
    time.sleep(SCROLL_PAUSE_TIME)

    # Calculate new scroll height and compare with last scroll height
    new_height = driver.execute_script("return document.documentElement.scrollHeight")
    if new_height == last_height:
       print("break")
       break
    last_height = new_height

Estaba buscando una manera de desplazarme por una página web dinámica y detenerme automáticamente una vez que se llega al final de la página, y encontré este hilo.

La publicación de @Cuong Tran , con una modificación principal, fue la respuesta que estaba buscando. Pensé que otros podrían encontrar útil la modificación (tiene un efecto pronunciado sobre cómo funciona el código), de ahí esta publicación.

La modificación consiste en mover la declaración que captura la última altura de la página dentro del bucle (para que cada verificación se compare con la altura de la página anterior).

Entonces, el código a continuación:

Desplaza continuamente hacia abajo una página web dinámica ( .scrollTo()), solo se detiene cuando, para una iteración, la altura de la página permanece igual.

(Hay otra modificación, donde la declaración de ruptura está dentro de otra condición (en caso de que la página se 'pegue') que se puede eliminar).

    SCROLL_PAUSE_TIME = 0.5


    while True:

        # Get scroll height
        ### This is the difference. Moving this *inside* the loop
        ### means that it checks if scrollTo is still scrolling 
        last_height = driver.execute_script("return document.body.scrollHeight")

        # Scroll down to bottom
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

        # Wait to load page
        time.sleep(SCROLL_PAUSE_TIME)

        # Calculate new scroll height and compare with last scroll height
        new_height = driver.execute_script("return document.body.scrollHeight")
        if new_height == last_height:

            # try again (can be removed)
            driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

            # Wait to load page
            time.sleep(SCROLL_PAUSE_TIME)

            # Calculate new scroll height and compare with last scroll height
            new_height = driver.execute_script("return document.body.scrollHeight")

            # check if the page height has remained the same
            if new_height == last_height:
                # if so, you are done
                break
            # if not, move on to the next loop
            else:
                last_height = new_height
                continue

Este código se desplaza hacia abajo pero no requiere que esperes cada vez. Se desplazará continuamente y luego se detendrá en la parte inferior (o tiempo de espera)

from selenium import webdriver
import time

driver = webdriver.Chrome(executable_path='chromedriver.exe')
driver.get('https://example.com')

pre_scroll_height = driver.execute_script('return document.body.scrollHeight;')
run_time, max_run_time = 0, 1
while True:
    iteration_start = time.time()
    # Scroll webpage, the 100 allows for a more 'aggressive' scroll
    driver.execute_script('window.scrollTo(0, 100*document.body.scrollHeight);')

    post_scroll_height = driver.execute_script('return document.body.scrollHeight;')

    scrolled = post_scroll_height != pre_scroll_height
    timed_out = run_time >= max_run_time

    if scrolled:
        run_time = 0
        pre_scroll_height = post_scroll_height
    elif not scrolled and not timed_out:
        run_time += time.time() - iteration_start
    elif not scrolled and timed_out:
        break

# closing the driver is optional 
driver.close()

Esto es mucho más rápido que esperar 0.5-3 segundos cada vez por una respuesta, cuando esa respuesta podría tomar 0.1 segundos

desplazarse cargando páginas. Ejemplo: medio, quora, etc.

last_height = driver.execute_script("return document.body.scrollHeight")
    while True:
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight-1000);")
        # Wait to load the page.
        driver.implicitly_wait(30) # seconds
        new_height = driver.execute_script("return document.body.scrollHeight")
    
        if new_height == last_height:
            break
        last_height = new_height
        # sleep for 30s
        driver.implicitly_wait(30) # seconds
    driver.quit()

si desea desplazarse dentro de una vista / marco particular (WebElement), lo que solo necesita hacer es reemplazar "cuerpo" con un elemento particular dentro del cual desea desplazarse. obtengo ese elemento a través de "getElementById" en el siguiente ejemplo:

self.driver.execute_script('window.scrollTo(0, document.getElementById("page-manager").scrollHeight);')

este es el caso en YouTube , por ejemplo ...

La ScrollTo()función ya no funciona. Esto es lo que usé y funcionó bien.

driver.execute_script("document.getElementById('mydiv').scrollIntoView();")

driver.execute_script("document.getElementById('your ID Element').scrollIntoView();")

Está funcionando para mi caso.