¿Cómo recuperar tweets desde la línea de comandos?

¿Hay una manera simple de recuperar los tweets de alguien desde la línea de comandos?

La cuenta sería pública y el comando, o secuencia de comandos, si fuera necesario, recuperaría todos o un número específico de los tweets más recientes en un archivo de texto, un tweet por línea, sin los metadatos, el más nuevo en la primera línea.

Sin el uso de API, solo bash.

A partir de una fecha de cierre, Twitter no le permitirá ingresar a su API sin tener una clave OAuth. Pero como solución alternativa puede usar la API de búsqueda. Es RESTful, por lo que puede usar curlpara recuperar resultados de búsqueda en formato JSON. Por ejemplo, si desea recuperar los tweets de @java y guardarlos en un archivo ~/.tweets, puede usar esta línea de código:

curl http://search.twitter.com/search.json?q=from:java&page=1&rpp=10&callback=? >> $HOME/.tweets

Y puede analizar el archivo, utilizando cualquier analizador JSON.

Hay herramientas para analizar JSON desde la interfaz de línea de comandos. Aunque nunca he usado uno, pondré algunos enlaces a algunos recursos, para ayudarlo a encontrar la herramienta más adecuada:

• /programming/3858671/unix-command-line-json-parser
• http://www.conigliaro.org/2011/01/24/jazor-a-simple-command-line-json-parsing-tool/
• /programming/1955505/parsing-json-with-sed-and-awk
• http://kmkeen.com/jshon/

Y como pequeña nota, es más rápido usar Python o Ruby (u otros).

Si no desea utilizar la API de Twitter, puede obtener el feed RSS del perfil de Twitter utilizando un script bash y luego proceder a formatearlo desde allí.

• /programming/8632233/read-rss-feed-using-a-shell-script

Dado que la API de Twitter ha dejado de utilizar la fuente RSS, puede solucionar esto generando una fuente RSS utilizando los resultados de búsqueda.

Aquí está el feed RSS de mis tweets .

Sin embargo, tendrías que armar el script bash necesario. Desde buscar la fuente RSS hasta formatear los tweets según sus requisitos.

Este es mi script hecho para el uso del protector de pantalla

#!/bin/bash

user="$1"
user="${user:=pontifex_pl}"

last_status_url=$(lynx -dump https://twitter.com/$user \
    | grep -i "$user/status/" \
    | head -1 \
    | awk '{print $2}')

lynx -dump "$last_status_url" \
    | grep 'Twitter:' -m1 -A4 \
    | tr -d '\n' \
    | sed -e 's/[^"]*"//' -e 's/".*//' \
    | tr -s ' '

echo

Creé una herramienta que debería hacer casi exactamente lo que describiste: twitter-screen-scrape . De forma predeterminada, se generará en JSON, con metadatos, pero es trivial canalizar la salida a través de algo como subrayado-cli para eliminar todo lo que no desea.

$ twitter-screen-scrape -u slang800 | underscore pluck text --outfmt text > outputfile

Podrías seguir la ruta python + tweepy de la siguiente manera:

1. Crear su propia aplicación de Twitter (para obtener claves de API)
2. Crea tokens de acceso para tu cuenta de Twitter
3. Utilice un script como este junto con sus credenciales: https://gist.github.com/yanofsky/5436496

Lo acabo de probar y funciona muy bien. Sin embargo, hay usuarios que protegen sus tweets, por lo que es posible que no le permita descargar todo. Pero esa es una característica de Twitter.

El límite sigue siendo 3200 y obtienes un archivo CSV.

Puede usar twarcpara dar un ejemplo si desea archivar los tweets de Nassim Nicholas Taleb que usa.

twarc timeline nntaleb --format csv> taleb.csv 

También puedes usar otros formatos: --format {json,csv,csv-excel}

Cómo configurar twarc: la única forma de obtener los tweets completos es usar APIdesafortunadamente, incluso si la aplicación es transparente, debe tener una configuración y configuración iniciales, también debe solicitar la API(

A partir de julio de 2018, debe solicitar una cuenta de desarrollador de Twitter y ser aprobado antes de poder crear nuevas aplicaciones.

)

Una vez que tenga las claves de su aplicación , puede saber twarccuáles son con el comando configure.

twarc configure

Esto almacenará sus credenciales en un archivo llamado .twarcen su directorio personal para que no tenga que seguir introduciéndolos en. Si prefiere suministrar directamente se puede establecer en el medio ambiente ( CONSUMER_KEY, CONSUMER_SECRET, ACCESS_TOKEN, ACCESS_TOKEN_SECRET) o usando las opciones de línea de comandos ( --consumer_key` --consumer_secret` --access_token, --access_token_secret).