Mientras que el sitemap permite dar a conocer al buscador la estructura de información de contenidos que alojamos en nuestro sitio web o blog, el archivo robots.txt se centra en controlar qué páginas pueden rastrear los robots de los diferentes buscadores que "pasan" por nuestro sitio web.
Si siempre ha suscitado tu curiosidad este archivo o no conocías su exsitencia, es posible que este artículo te ayude a entenderlo mejor.
QUÉ ES UN ARCHIVO ROBOT.TXT Y CÓMO INTERACTÚA CON EL BUSCADOR
Los robots rastreadores de los diferentes buscadores recorren nuestros sitios para añadir a sus correspondientes índices las nuevas entradas, páginas, imágenes y componentes que utilizamos en nuestro sitio web. Por medio del archivo robots podemos evitar que estos rastreadores incorporen páginas que no deseamos que se añadan al índice. A priori, parece un "sin sentido" no querer que estén todas nuestras páginas listas para servir en los resultados del buscador, pero en realidad es absolutamente necesario cuando queremos evitar que se produzcan duplicidades en la información añadida al índice o, simplemente, impedir el acceso a ciertos directorios donde tengamos información que no deseamos "indizar" o por la que no deseamos "ser encontrados".
Hay que dejar claro, que el archivo robots es perfectamente accesible desde el navegador y por tanto, susceptible de ser alterado utilizando métodos avanzados a tal propósito. Podéis comprobar que poniendo la URL de vuestro sitio web o blog "/robotos.txt", el navegador tratará de descargarse dicho archivo para mostrároslo en pantalla.
PRECAUCIONES A TENER EN CUENTA:
EJEMPLOS DE ARCHIVO ROBOTS.TXT EN BLOGGER PARA COMPRENDER SU FUNCIONAMIENTO:
El archivo robots.txt es un texto "plano" perfectamente editable por medio del Notepad o cualquier otro editor del cual dispongamos para realizar las modificaciones que estimemos oportunas. Viendo estos ejemplos podemos llegar a comprender parte de los conceptos básicos que conforman la construcción de esta clase de archivos.EJEMPLO 1 de contenido de un Robots.txt
User-agent: *Siempre suele comenzarse con la palabra clave "User-agent" que especificará el nombre del rastreador al que daremos acceso o, por el contrario, decidamos denegárselo. Si utilizamos como en el ejemplo "User-agent: *", al emplear el carácter comodín "*" estamos indicando que la sentencia que a continuación introduzcamos aplica para todos los robots rastreadores. A continuación como aparece "Disallow:" y no hay ningún directorio o "/" especificado, estamos indicando que todos los robots ("User agent: *") pueden acceder a todo el contenido de nuestro sitio web o blog ("Disallow:").
Disallow:
EJEMPLO 2 de contenido de un Robots.txtEn este otro ejemplo, "User-agent: NOMBRE_BOT #" indica que vamos a establecer normas de trabajo para sólo el robot con el nombre que pongamos a la derecha de la sentencia User-agent. A continuación "Disallow:" indica que el robot indicado en User-agent tiene acceso completo para rastrear toda la información al índice. A continuación "User Agent: *" está especificando que se va a aplicar una regla para todos los robots. Al encontrarse bajo otra sentencia "User Agent" anterior, no afecta a la anterior norma ya establecida. El "Disallow: /" que aparece bajo "User-agent: *", indica que todos los demás robots que accedan para rastrear que no sean el robot autorizado en el primer bloque de sentencia ("User-agent:*"), no tendrán acceso a ningún directorio del sitio ("Disallow:/").
User-agent: NOMBRE_BOT #
Disallow:
User-agent: *
Disallow: /
CÓMO EDITAR ROBOTS.TXT EN TU BLOG DE BLOGGER
Dentro de tu panel de control Blogger, accede en el menú de la izquierda a la opción "Configuración" y posteriormente a "Preferencias para motores de búsqueda". En la pantalla mostrada nos vamos a la sección inferior llamada "Rastreadores e indexación" y ahí podemos realizar la edición del archivo robots.txt
PROBAR TU ROBOTS.TXT
Si realizas cambios en tu Robot.txt no dudes en utilizar las herramientas para webmaster de Google y su función "Probador de Robots.txt" para localizar posibles errores o avisos con el que estás trabajando. En la parte inferior te muestro una pantalla de esta magnífica utilidad que te ayudará a resolver todos los problemas con tu archivo robots.txt
EN DEFINITIVA
Como siempre, si tenéis alguna duda o inquietud utilizad los comentarios y la atiendo en cuanto me sea posible.
Muy buen aporte, sigue así toda esta información es necesaria para dar a conocer con seguridad lo que publicamos para nuestros seguidores. un saludo amigo.
ResponderEliminarGracias, me anima a seguir escribiendo, a veces resulta agotador. Un saludo y muchas gracias de nuevo.
ResponderEliminarTu blog es espectacular! uno de mis blogs de referencia
ResponderEliminary si trabajas con un dominio propio pero utilizando la plataforma wordpress cómo se puede mejorar este aspecto? porque a pesar de tener plugins instalados para mejorar el SEO acabo de pasarle el woorank y me dice que no tengo el robots.txt
ResponderEliminarEl archivo robots reside en el directorio raíz de tu blog. Puedes crear uno con una web online que te genere el robots.txt y luego lo puedes subir al directorio raíz.
ResponderEliminarHola Miguel, estoy en problemas, este mes he pasado de casi 3 euros a 20 centimos con adsense y es pq tengo bloqueadas 31 páginas, en las herramientas para webmaster me sale:
ResponderEliminarUser-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://amiaireconmigs.blogspot.com/feeds/posts/default?orderby=UPDATED
No se que hacer, porque a su vez en adsense me dice que no puede acceder al blog, un lío, como no me ayudes tu.....
El rastreador no ha podido acceder a su página para ver el contenido y mostrar anuncios relevantes. Cuando el rastreador no consigue acceder al contenido, a menudo se muestran anuncios, con lo que la cobertura y los ingresos serán menores, o bien se muestran anuncios que no son relevantes, lo que puede conllevar un CTR más bajo. Siga los enlaces de la columna "Solución" para corregir esos errores y mejorar el rendimiento de AdSense.
Pero luego no me señala ningún error, en fin , no se, a ver si me puedes ayudar, gracias.
Hola Amiaire,
Eliminarel robots.txt está correcto. Los bloqueos de páginas que aparecen en webmaster no representan problema alguno con respecto a los ingresos de AdSense. Se trata de bloquear páginas para que no haya duplicidades en los resultados de las búsquedas del buscador. Yo tengo también unas cuantas, no te preocupes por eso.
Lo que sí hay que revisar es el problema de que los robots de AdSense no puedan analizar tus anuncios.
Realiza un repaso de este tutorial: http://www.diariosdelanube.com/2013/05/la-publicidad-en-tu-blog-todo-lo.html
Comprueba que tienes dados de alta los anuncios como explico ahí.
Verifica estas cuestiones y me vas preguntando las dudas para dejarlo arreglado.
¡Un saludo!
Gracias Miguel, me pongo a ello, no comprendo pq me dice que no puede analizar mis anuncios y luego me dice que no hay errores, voy a mirar tu enlace, gracias.
EliminarLo he estado mirando, pero no comprendo que tengo que modificar para que el rastreador de Adsense vuelva a entrar en mi blog, leo cosas sobre robots, pero me quedo igual que cuando miro pasar las nubes..........
EliminarErrores del rastreador
El rastreador no ha podido acceder a su página para ver el contenido y mostrar anuncios relevantes. Cuando el rastreador no consigue acceder al contenido, a menudo se muestran anuncios, con lo que la cobertura y los ingresos serán menores, o bien se muestran anuncios que no son relevantes, lo que puede conllevar un CTR más bajo. Siga los enlaces de la columna "Solución" para corregir esos errores y mejorar el rendimiento de AdSense.
URL bloqueadas
Error
Sin datos
Creo que donde te está sucediendo son páginas eliminadas (páginas que ya no existen), ¿es así?. Si le das a los enlaces de la columna solución, es posible que esas páginas ya no existan. Si es ese el caso, trata de eliminar los enlaces que van a ellas: http://www.diariosdelanube.com/2013/06/detecta-y-arregla-los-enlaces-rotos-en.html
EliminarEliminé 3 entradas, puede ser eso, no me muestra ningún enlace en la columna solución, de hecho no aparece columna solución, solo aparecen las columnas URL bloqueadas y Error, pero no muestran nada, voy a mirar tu enlace, gracias.
EliminarAcabo de ver otra perla en la herramientas para webmaster........................
ResponderEliminarGooglebot no ha podido acceder al archivo robots.txt y ha pospuesto el rastreo del sitio en vez de arriesgarse a rastrear páginas no autorizadas. Para obtener más información, consulta esta página.
Ésta es la página...........................pero creo que está en chino..
EliminarFallo del archivo robots.txt
Antes de rastrear tu sitio, Googlebot accede a tu archivo robots.txt para determinar si este impide que Google rastree algunas páginas o URL. Si tu archivo robots.txt existe pero no se puede acceder a él (es decir, no devuelve un código de estado HTTP 200 ni 404), pospondremos el rastreo en vez de arriesgarnos a rastrear URL no autorizadas. Cuando esto ocurra, Googlebot volverá al sitio y lo rastreará tan pronto como se pueda acceder correctamente al archivo robots.txt. Para obtener más información sobre el protocolo de exclusión de los archivos robots.txt, consulta esta página.
(Solo necesitas un archivo robots.txt si tu sitio incluye contenido que no quieres que indexen los motores de búsqueda. Si quieres que los motores de búsqueda indexen todo el contenido del sitio, no necesitas un archivo robots.txt, ni siquiera uno vacío. Si no tienes un archivo robots.txt, el servidor devolverá un mensaje 404 cuando Googlebot lo solicite y se seguirá rastreando el sitio normalmente).
El caso es que tengo esto 4 puntos verdes en optimización de ingresos y un 90% de descenso en ingresos respecto al mes pasado.
EliminarDame tu URL y veo qué puede estar sucediendo. ¿Has tocado el archivo robots.txt?.
EliminarComprueba que:
- En Blogger en "Configuración" y después en "Preferencias para motores de búsqueda" tienes la opción "Archivo robots.txt personalizado" en "[inhabilitado]" y en "Etiquetas de encabezado de robots personalizadas" lo tienes en "[inhabilitado]".
Pásame la URL también. Un saludo!
Tengo las dos inhabilitadas, aunque en la primera en su día puse.................................
EliminarUser-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Ésto último sigue saliendo en ..................
URL bloqueadas
Si tu sitio incluye contenido al que no quieres que accedan Google ni otros motores de búsqueda, utiliza un archivo robots.txt para especificar cómo deben rastrear el contenido del sitio los motores de búsqueda.
Comprueba si tu archivo robots.txt funciona según lo esperado. No se guardará ningún cambio que realices en el contenido de robots.txt que se muestra a continuación.
Archivo robots.txt
http://amiaireconmigs.blogspot.com.es/
Gracias.
mi blog es aún un bebé. y estoy tratando de seguir tus guías. muy buenas todas por cierto, pero me surgen dudas por todas partes. Mi pregunta sobre este tema es: ahora mismo no sé que puede resultar mal para mi blog, no creo que tenga nada que no quiera que se pueda encontrar (o no lo sé, si me das un ejemplo de cosas q la gente oculta tal vez crea que tengo yo también que tapar algo a la vista de los robots). Uso blogger. Y lo que quiero saber es si debo hacer algo con los robot o dejarlos tal como están
ResponderEliminarSi tu robot es el de Blogger, está perfecto como está, en él no hagas cambios. Te viene bien conocer cómo funciona más que nada, pero deja por defecto el que trae Blogger. Un saludo!
Eliminarpongo esto en la opción Archivo robots.txt personalizado, ¿es así verdad?
ResponderEliminarUser-agent: NOMBRE_BOT #
Disallow:
User-agent: *
Disallow: /
Hola,
EliminarSi vas por Blogger no es necesario personalizar el robots.txt porque el que te pone por defecto es correcto.
Si quieres ponerlo personalizado, copia la estructura del mío cambiando direcciones fijas si es que aparecieran en su interior.
Un sale!!!
Hola, en primer lugar te felicito por tu trabajo con este blog. Da gusto encontrar gente desinteresada que nos ayude a los que no dominamos este mundillo. Verás, estoy siguiendo esta guía para que mi blog aparezca en las búsquedas de google y esta mañana he recibido un correo diciendo que googlebot no puede acceder a mi sitio. Hasta ahora, si busco el blog como "grup de danses de xixona" (que es lo que me interesa) no lo encuentra. En cambio, si escribo "grupdedansesxixona" si que lo encuentra. Me estoy volviendo loco y no se donde está el error.
ResponderEliminarEl archivo robots.txt lo tengo tal cual dices que debe de estar. Es curioso que esta mañana en el trabajo lo he buscado (por si los cambios que hice el fin de semana con tu guía habían funcionado) me ha aparecido en la segunda página de la búsqueda, y usando Bing me aparecía el primero. Más tarde lo he vuelto a probar y ya no aparecía. No sé, flipo en colores.
Te estaría muy agradecido si me pudieras ayudar para dejar todo en orden.
grupdedansesxixona@blogspot.com
Un saludo,
Santiago.
Hola!,
Eliminares que hay muchas formas en las que Google puede llegar a detectar tu Blog como opción para los resultados de búsqueda. El caso es que es posible que no tengas una descripción o un nombre en la configuración de Blogger que indique así tu dirección.
Es importante que revises la entrada sobre SEO en particular que puede ayudarte a ganar una presencia real en Internet: http://www.diariosdelanube.com/2013/09/aprende-practicar-seo-y-mejorar-el.html Esta es para que realices una parte cada semana o cada día, dependiendo del tiempo que tengas disponible, para ir con calma aplicándola poco a poco y notar resultados a largo plazo.
En cuanto a cómo podrías salir con la descripción que indicas, dentro de esa guía en particular prueba con esto: http://www.diariosdelanube.com/2013/06/aprende-escribir-la-descripcion-de-tus.html y ten en cuenta que todo depende de los cálculos que realice el buscador para entender qué es más relevante en el resultado.
Prueba con la descripción, date de alta correctamente en las herramientas para webmaster de Google (como te viene en la guía SEO o en su propia guía específica aquí en Diarios de la nube) y paciencia, que al final todo sale.
Cualquier cosa por aquí estoy.
Un saludo!,
Hola, en primer lugar te agradezco tu respuesta.
ResponderEliminarEl nombre y la descripción los tengo puestos y la entrada sobre SEO ya la leí y realicé todos los pasos antes de enviarte el anterior comentario, aunque no estoy seguro de haberlo hecho todo bien. Me sigue dando el error "Google no ha podido rastrear tu sitio porque no hemos podido acceder al archivo robots.txt del sitio", aunque el probador me dice que no tengo errores. También me dice que no tengo ninguna página indexada.
Creo que hay algo que se me escapa y no se qué es. Si no te importa, me gustaría que le pegaras un vistazo a las herramientas de webmaster del blog por si hay algo que no esté correcto, si no es molestia.
Otra cosa, cuando puse en marcha el blog tenía ya varias páginas ordenadas con pestañas. ¿Había que hacer algo concreto con ellas?
Muchas gracias y un saludo.
Hola,
Eliminar¿has probado a subir el sitemap a las herramientas para webmasters de Google?. Prueba esta entrada: http://www.diariosdelanube.com/2013/04/utilizacion-del-mapa-del-sitio-en-tu.html
Un saludo,
Hola,
Eliminarsi que tengo el sitemap subido. Tengo los dos, el sitemap.xml y el atom/... En el primero me dice ahora que tengo una página enviada e indexada y en el segundo dos pero si lo miro en estado de indexación no me aparece ninguna.
El archivo robots.txt lo tengo con /sitemap.xml ¿Lo tengo que cambiar al de atom/...? Si es así, ¿cómo lo tendría que hacer?
Siento ser tan pesado. Gracias por todo.
Un saludo.
Perdona, lo de editar el archivo robots.txt estaba en esta misma entrada. Lo acabo de ver.
ResponderEliminarHola, no te preocupes.
EliminarLo de editar el robot no es necesario, deja el que te ponga Blogger por defecto. Otra cosa, el sitemap tarda en actualizarse, no es instantáneo. Si tu Blog tiene poco tiempo puede ser por ello que aún no tenga todo indexado.
un saludo.
Hola, parece que el blog va escalando posiciones poco a poco. Ya aparece en la segunda página y a veces en la primera. Se ve que era cuestión de tiempo. También me aparecen 12 páginas indexadas.
ResponderEliminarSigo teniendo el error de que no puede encontrar el archivo robots.txt. Me dice "El servidor ha devuelto un error 5xx (inaccesible) al intentar recuperar el archivo robots.txt." Si clico en el enlace que aparece justo al lado me dice: "Comprueba que el proveedor de alojamiento no bloquee a Googlebot. Si tienes un cortafuegos, asegúrate de que permita acceder a Google."Y ahí ya me pierdo.
¿Me podrías ayudar?
Otra cosa, he estado buscando en tu blog algo relacionado con la usabilidad móvil que aparece en las heramientas de webmaster. Me dice: "Google aún no ha procesado tu sitio. Asegúrate de comprobar todas las variantes del sitio". ¿Qué tendría que hacer?
Gracias y un saludo.
¿Ves?, ya te comenté que era cuestión de tiempo ;) me alegro mucho que vaya funcionando la cosa.
EliminarCon respecto a los del robots.txt es muy extraño porque yo si accedo con facilidad. Quizás sería bueno que para resolver problemas de rastreo hagas esta guía: http://www.diariosdelanube.com/2014/09/como-detectar-y-solucionar-los-errores.html Con ellos podremos ir descartando problemas porque yo, al menos, si he podido visitar tu robot.txt y lo veo todo correcto.
Lo que comenta ese aviso es que todavía no ha pasado el Googlebot para analizar tu Blog desde el punto de vista móvil. A priori, si dejas la plantilla para móviles por defecto de Blogger no tendrás ningún problema, eso sí, piénsate el ponerte una buena plantilla responsive: http://www.diariosdelanube.com/2014/02/que-es-responsive-design.html y el tema móvil estará mucho mejor.
En Google Pagespeed Insights te hacen un buen análisis de usabilidad móvil, pero vamos, en términos generales si utilizas la plantilla para móviles de Blogger no creo que tengas ningún problema.
Cualquier cosa aquí estoy!
A pesar de tu ayuda sigo perdido. He repasado varias veces tus guías y no encuentro dónde puede estar el fallo. He detectado que en la búsqueda nunca aparece la página principal con la descripción del blog, sino una entrada. Tampoco aparecen las páginas, aunque con la búsqueda por site:... si las encuentra.
Eliminar¿Qué tendría que hacer para que google encontrara la página principal? Ya te comenté que usando Bing aparece en primer lugar, con su descripción. Quiero centrarme en este tema antes de seguir con otras cosas. ¿Te podría enviar por correo capturas de mi configuración de las herramientas webmaster para ver si algo no está correcto?
Gracias y un saludo.
Hola, sigue esta guía para que te funcione la descripción del blog en los motores de búsqueda para las entradas: http://www.diariosdelanube.com/2013/06/aprende-escribir-la-descripcion-de-tus.html (recuerda que no es instantáneo) y esta para el Blog: http://www.diariosdelanube.com/2014/03/como-presentar-la-descripcion-de-tu-web.html (recuerda que no es instantáneo).
EliminarUn saludo,
Hola, he estado viendo lo de las metaetiquetas y, para variar, no lo tengo claro. Tengo una puesta que, creo recordar, la puse porque lo leí por aquí pero no es ninguna de las que tú indicas. ¿Serías tan amable de echarle un vistazo al código fuente del blog y decirme cuáles tendría que colocar? Siento ser tan pesado, espero que me puedas ayudar.
EliminarUn saludo.
Hola,
EliminarBlogger te pone las metaetiquetas básicas por defecto, sin necesidad de tocar nada. De todas maneras tienes este post: http://www.diariosdelanube.com/2014/02/las-meta-etiquetas-imprescindibles-en.html
Un saludo!
Hola, tengo un problemilla y no sé cómo solucionarlo. Estoy en "Explorar como Google", escribo una de las páginas de mi blog y el resultado es "bloqueada". Voy al probador de robots.txt y me sale: "Disallow: /search".
ResponderEliminar¿Esto es realmente un problema? ¿Se puede solucionar? Gracias!
Hola Carol,
Eliminarel "Disallow:/search" no bloquea la página para el acceso externo, mi robots.txt lo tiene igualmente. Si es un tema de rastreo, la razón puede ser otra totalmente distinta. Hazte esta guía para solucionar problemas de rastreo: http://www.diariosdelanube.com/2014/09/como-detectar-y-solucionar-los-errores.html
Y cualquier duda pregunta lo que necesites, es posible que con ella ya te aclare bastantes cosas.
Un saludo y muchas gracias,
Muchas gracias. Tengo otra duda: el blog lo tengo sin "www" y con "www". Los pasos de las herramientas para webmasters los he seguido para el sitio sin "www", tengo que hacer los mismos pasos con el otro sitio? Gracias otra vez!
EliminarSi, puedes hacerlos igual, lo que sucede que si ya has validado con tu dirección y por ejemplo la etiqueta HTML verás que ya te sale validado. To tengo los dos, con www y sin www (y marco como preferido el www). Mírate este post (PUNTO 2): http://www.diariosdelanube.com/2014/06/como-evitar-el-contenido-duplicado-en.html
EliminarUn saludo y muchas gracias.
Hola Miguel, muchas gracias por compartir tus conocimientos y tu tiempo con tus lectores. Lo haces genial!
ResponderEliminarMi problema es que al comprobar el estado de indexación de mi recien nacido blog http://lamalandrinadelantalandco.blogspot.com.es/ , resultan que hay el mismo numero de paginas indexadas que bloqueadas por robots. He mirado en la pestaña Rastreadores e indexación de mi blog y tanto archivo como etiquetas de robots están inhabilitados. Que más tengo que controlar?
Muchas gracias
Hola,
Eliminarel bloqueo al que aludes no debe preocuparte, son otros elementos y páginas de tu web que no tienen que ver con tus entradas indexadas por el sitemap (páginas archivadas e información que no es relevante y por ello se alude a ellas como "bloqueada".
Analizando tu Blog al poner site:lamalandrinadelantalandco.blogspot.com.es se ve al quitar la opción de sacar los resultados omitidos, que hay más páginas indexadas. Todas las páginas indexadas son las que tiene tu Blog para ser localizadas en el índice de Google.
Prueba de todas maneras este artículo: http://www.diariosdelanube.com/2014/09/como-detectar-y-solucionar-los-errores.html y el dedicado a SEO: http://www.diariosdelanube.com/2013/09/aprende-practicar-seo-y-mejorar-el.html
Cualquier duda aquí estoy.
Un saludo!
Cordial saludo, soy una fan más de tus publicaciones ya que me han ayudado en más de una ocasión, actualmente tuve el error de involucrarme con el ROBOTS.TXT de blog en blogger y digo error porque no sé como funciona y en los buscadores cuando intento colocar el nombre del mi blog aparece esa inconsistencia. Mi blog es este: https://digitalogbook.blogspot.com Agradecería cualquier solución ya que no sé nada y para mí es error porque no me registra como debiera en los buscadores.
ResponderEliminarDe antemano gracias por la atención prestada
Hola Kat,
Eliminarsi no has tocado el robots.txt original de Blogger, no tienes nada mal en dicho archivo. No lo toques, déjalo configurado por defecto.
Cuando aparece en los resultados de búsqueda el blog y un mensaje del tipo "bloqueado por robots.txt", es normalmente porque no se ha introducido la descripción del artículo y del blog correctamente.
Debes utilizar y seguir este tutorial para las descripciones por entrada: http://www.diariosdelanube.com/2013/06/aprende-escribir-la-descripcion-de-tus.html
Este para la descripción de tu Blog: http://www.diariosdelanube.com/2014/03/como-presentar-la-descripcion-de-tu-web.html donde es fundamental seguir "Para poner la descripción en Blogger debes ir una vez dentro de él al menú de la izquierda, a la opción "Configuración", luego la sub-opción "preferencia para motores de búsqueda" y en la pantalla que sale, donde pone "Etiquetas meta" en Descripción es donde tienes que escribir el texto que la componga."
Un saludo!
Gracias por tu respuesta, estuve realizando los pasos y está muy bien explicado, lo que pasa es que en el buscador de Google cuando coloco el nombre del blog me sigue apareciendo el bloqueo de robots.txt. agradecería cualquier tipo de ayuda de ante mano gracias por la atención prestada.
ResponderEliminarGracias por tu respuesta, estuve realizando los pasos y está muy bien explicado, lo que pasa es que en el buscador de Google cuando coloco el nombre del blog me sigue apareciendo el bloqueo de robots.txt. agradecería cualquier tipo de ayuda de ante mano gracias por la atención prestada.
ResponderEliminarEso no es realmente porque lo esté bloqueando tu archivo de robots. Es porque necesitas colocar e identificar bien la descripción de tu web o de la entrada que sale de tu web en el buscador, para que Google lo entienda bien.
EliminarSigue los pasos aquí descritos y lo tendrás solucionado:
- Esto para descripción de tus entradas: http://www.diariosdelanube.com/2013/06/aprende-escribir-la-descripcion-de-tus.html
- Esto para la descripción general de toda la web: http://www.diariosdelanube.com/2014/03/como-presentar-la-descripcion-de-tu-web.html
Sigue las instrucciones explicadas en los enlaces que te he pasado.
Cualquier duda, aquí estoy.
Quería probar de cambiar unas lineas de mi archivo robots.txt antes de subirlo, en google es posible? No he encontrado la opción de añadir el texto. He encontrado este, https://www.robotstxt.pro/checker.html, es fiable? Gracias!
ResponderEliminar