davidbgk
/
larlet-fr-david

<!doctype html>
<html lang=fr>
<head>
  <!-- Always define the charset before the title -->
  <meta charset=utf-8>
  <title>Les 100 premiers mots-clés recherchés par les utilisateurs d&#39;AOL — Biologeek — David Larlet</title>
  <!-- Define a viewport to mobile devices to use - telling the browser to assume that the page is as wide as the device (width=device-width) and setting the initial page zoom level to be 1 (initial-scale=1.0) -->
  <meta name="viewport" content="width=device-width, initial-scale=1"/>
  <!-- Fake favicon, to avoid extra request to the server -->
  <link rel="icon" href="data:;base64,iVBORw0KGgo=">
  <link type="application/atom+xml" rel="alternate" title="Feed" href="/david/log/" />
  <link rel="manifest" href="/manifest.json">
  
  <link rel="stylesheet" href="/static/david/css/larlet-david-_J6Rv.css" data-instant-track />
  
  <noscript>
    <style type="text/css">
      /* Otherwise fonts are loaded by JS for faster initial rendering. See scripts at the bottom. */
      body {
        font-family: 'EquityTextB', serif;
      }
      h1, h2, h3, h4, h5, h6, time, nav a, nav a:link, nav a:visited {
        font-family: 'EquityCapsB', sans-serif;
        font-variant: normal;
      }
    </style>
  </noscript>
  
  <!-- Canonical URL for SEO purposes -->
  <link rel="canonical" href="https://larlet.fr/david/biologeek/archives/20060809-les-100-premiers-mots-cles-recherches-par-les-utilisateurs-d-aol">

</head>
<body>
  <div>
    
    <header>
      <nav>
        <p>
          <small>
            Je suis <a href="/david/" title="Profil public">David Larlet</a>, <a href="/david/pro/" title="Activité professionnelle">artisan</a> du web qui vous <a href="/david/pro/accompagnement/" title="Activité d’accompagnement">accompagne</a><span class="more-infos"> dans l’acquisition de savoirs pour concevoir des <a href="/david/pro/produits-essentiels/" title="Qu’est-ce qu’un produit essentiel ?">produits essentiels</a></span>. <span class="more-more-infos">Discutons ensemble d’une <a href="/david/pro/devis/" title="En savoir plus">non-demande de devis</a>.</span> Je partage ici mes <a href="/david/blog/" title="Expériences bienveillantes">réflexions</a> et <a href="/david/correspondances/2017/" title="Lettres hebdomadaires">correspondances</a>.
          </small>
        </p>
      </nav>
    </header>
    
    
  <section>
    <h1 property="schema:name">Les 100 premiers mots-clés recherchés par les utilisateurs d&#39;AOL</h1>
    <article typeof="schema:BlogPosting">
      <div property="schema:articleBody">
        <img src="/static/david/biologeek/images/logos/aol_data.png" alt="vignette" style="float:left; margin: 0.5em 1em;" property="schema:thumbnailUrl" />
        <p>Vous n'êtes pas sans savoir que des <a href="http://fr.techcrunch.com/2006/08/07/aol-vient-de-mettre-en-ligne-des-donnees-privees-en-quantite/">données reatives aux utilisateurs d'AOL ont été mises en ligne dernièrement</a> (<a href="http://www.techcrunch.com/2006/08/06/aol-proudly-releases-massive-amounts-of-user-search-data/">version anglaise</a>, je pense que les serveurs sont plus régulièrement mis à jour si vous voulez récupérer les données). Voici le script et les 100 premiers mots-clés de recherche réalisées par ces utilisateurs. <strong>Attention les données n'ont pas été filtrées donc ce post peut contenir des mots heurtant la sensibilité des plus jeunes lecteurs.</strong></p>

<h2>Les 100 premiers mots-clés</h2>

<p><a href="http://www.aolsearchdatabase.com/">Un site est déjà en ligne pour fouiller dans toutes ces données</a> mais je voulais connaître les meilleurs mots-clés.</p>

<h3>Script Python</h3>

<pre>freq = {}
for i in range(1, 11):
    if i in range(1, 10): i = '0'+str(i)
    for line in open('user-ct-test-collection-'+str(i)+'.txt'):
        for word in line.split('\t')[1].split():
            if len(word) &gt;= 3:
                try:
                    freq[word] += 1
                except KeyError:
                    freq[word] = 1

total = float(sum(freq.values()))
items = freq.items()
items.sort(lambda a, b: -cmp(a[1], b[1]))
for word, count in items[:100]:
    print count, word, round(count/total*100., 2)</pre>

<h3>Résultats</h3>

<p>Les résultats sont dans l'ordre décroissant, chaque ligne correspond à <strong>position. occurences, mot-clé, taux d'apparition</strong></p>

<ol>
<li>837298 the 1.03</li>
<li>698426 for 0.86</li>
<li>692358 and 0.85</li>
<li>449102 free 0.55</li>
<li>363020 google 0.45</li>
<li>270158 new 0.33</li>
<li>251125 http 0.31</li>
<li>236473 pictures 0.29</li>
<li>231574 county 0.28</li>
<li>217750 yahoo 0.27</li>
<li>208600 how 0.26</li>
<li>188800 lyrics 0.23</li>
<li>182564 school 0.22</li>
<li>176714 myspace 0.22</li>
<li>166225 sex 0.2</li>
<li>160174 ebay 0.2</li>
<li>159871 florida 0.2</li>
<li>155790 com 0.19</li>
<li>145346 sale 0.18</li>
<li>144472 with 0.18</li>
<li>144242 city 0.18</li>
<li>140896 home 0.17</li>
<li>138907 american 0.17</li>
<li>136993 state 0.17</li>
<li>127214 www 0.16</li>
<li>121237 .com 0.15</li>
<li>120478 what 0.15</li>
<li>119897 games 0.15</li>
<li>118366 texas 0.15</li>
<li>117860 music 0.14</li>
<li>115674 york 0.14</li>
<li>110711 yahoo.com 0.14</li>
<li>109857 bank 0.13</li>
<li>108839 black 0.13</li>
<li>108607 beach 0.13</li>
<li>108228 nude 0.13</li>
<li>104911 high 0.13</li>
<li>102669 online 0.13</li>
<li>102016 aol 0.13</li>
<li>101424 news 0.12</li>
<li>101226 map 0.12</li>
<li>101138 pics 0.12</li>
<li>98942 girls 0.12</li>
<li>96254 college 0.12</li>
<li>96063 you 0.12</li>
<li>92866 2006 0.11</li>
<li>92701 car 0.11</li>
<li>91862 real 0.11</li>
<li>89954 mapquest 0.11</li>
<li>89768 from 0.11</li>
<li>88975 university 0.11</li>
<li>87936 jobs 0.11</li>
<li>87283 center 0.11</li>
<li>86572 google.com 0.11</li>
<li>86083 myspace.com 0.11</li>
<li>85265 homes 0.1</li>
<li>85156 porn 0.1</li>
<li>84175 ohio 0.1</li>
<li>82530 california 0.1</li>
<li>80015 women 0.1</li>
<li>79429 white 0.1</li>
<li>78212 photos 0.1</li>
<li>77077 san 0.09</li>
<li>74934 estate 0.09</li>
<li>74360 club 0.09</li>
<li>74161 day 0.09</li>
<li>73791 art 0.09</li>
<li>72760 park 0.09</li>
<li>72728 house 0.09</li>
<li>72437 world 0.09</li>
<li>71346 baby 0.09</li>
<li>70068 big 0.09</li>
<li>69716 parts 0.09</li>
<li>69413 hotel 0.09</li>
<li>68313 weather 0.08</li>
<li>67802 furniture 0.08</li>
<li>67756 airlines 0.08</li>
<li>65458 blue 0.08</li>
<li>65332 credit 0.08</li>
<li>64648 movie 0.08</li>
<li>64619 south 0.08</li>
<li>64333 lottery 0.08</li>
<li>64138 internet 0.08</li>
<li>64137 island 0.08</li>
<li>64003 john 0.08</li>
<li>63017 your 0.08</li>
<li>62882 video 0.08</li>
<li>62866 north 0.08</li>
<li>62574 hot 0.08</li>
<li>62137 air 0.08</li>
<li>62059 wedding 0.08</li>
<li>61841 lake 0.08</li>
<li>61674 best 0.08</li>
<li>61363 used 0.08</li>
<li>61103 dog 0.08</li>
<li>60942 hotels 0.07</li>
<li>60749 america 0.07</li>
<li>60702 love 0.07</li>
<li>59443 department 0.07</li>
<li>59153 pages 0.07</li>
</ol>

<h3>Interprétation</h3>

<p><del>Des commentaires sur ces résultats ce soir, faut que j'aille bosser là ;-).</del> La pause déjeuner devrait suffire.</p>

<p>On remarque déjà que les 3 premiers (<strong>the</strong>, <strong>for</strong> et <strong>and</strong>) sont à exclure... ou pas. Le <strong>and</strong> est probablement utilisé en tant qu'opérateur logique mais le <strong>the</strong> par exemple est un bon indicateur de l'utilisation des articles dans les moteurs de recherche. Il faut donc peut-être se tourner vers une référencement avec article et non plus par suite de mots-clés (d'où la pertinence d'avoir un contexte).</p>

<p>Ensuite le champ lexical de la pornographie est très présent mais beaucoup moins que ce que je pensais. Hônnetement, je m'attendais à <strong>sex</strong> dans le top 5. C'est presque rassurant (bon je me suis pas risqué à faire le total pour rester optimiste).</p>

<p>Ce qui est étonnant aussi c'est l'absence du mot <strong>mp3</strong> des recherches. Je ne sais pas si c'est par peur de la <abbr title="Recording Industry Association of America">RIAA</abbr>, qui sait&nbsp;? Les personnes utilisant le moteur de recherche d'AOL sont sûrement très respectueuses des lois (ou alors ont compris qu'il existait d'autres outils pour ça).</p>

<p>Les recherches sont un bon indicateur des tendances avec <strong>myspace</strong> qui a le vent en poupe, par contre il n'y a aucune star qui arrive à entrer dans le top 100 (bon à part John...). On remarque aussi qu'il y a beaucoup de recherches effectuées en utilisant en mot-clé le nom d'un autre moteur de recherche (j'avoue ne pas trop comprendre). De même, les mots-clés <strong>http</strong>, <strong>www</strong> ou <strong>com</strong> montrent l'ignorance de leur signification par les chercheurs.</p>

<p>Je trouve que l'on retrouve aussi beaucoup de localités présentes dans ces recherches, il faudrait pouvoir comparer à des données datant de quelques années mais c'est peut-être un nouvel aspect du web (ce qui m'étonne à moitié sinon personne n'aurait lancé la cartographie en ligne).</p>

<h2>Quels liens sont suivis&nbsp;?</h2>

<p>On dit souvent que les 3 premiers liens d'un moteur de recherche sont les seuls suivis. Je voulais vérifier si cela était vrai pour ces données, c'est pas tous les jours qu'on a cette d'aubaine&nbsp;!</p>

<h3>Script python&nbsp;:</h3>

<pre>nofollowed, followed, first_rank, second_rank, third_rank = 0, 0, 0, 0, 0
for i in range(1, 11):
    if i in range(1, 10): i = '0'+str(i)
    for line in open('user-ct-test-collection-'+str(i)+'.txt'):
        #for line in open('user-ct-test-collection-01.txt'):
        rank = line.split('\t')[3]
        if rank:
            followed += 1
            if rank == '1':
                first_rank += 1
            elif rank == '2':
                second_rank += 1
            elif rank == '3':
                third_rank += 1
        else:
            nofollowed += 1
total = float(nofollowed + followed)
print 'Total', total, round(total/total*100., 2), '%'
print 'Non suivi', nofollowed, round(nofollowed/total*100., 2), '%'
print 'Suivi', followed, round(followed/total*100., 2), '%'
print 'Premier suivi', first_rank, round(first_rank/total*100., 2), '% soit', round(first_rank/float(followed)*100., 2), '% des liens suivis'
print 'Deuxieme suivi', second_rank, round(second_rank/total*100., 2), '% soit', round(second_rank/float(followed)*100., 2), '% des liens suivis'
print 'Troisieme suivi', third_rank, round(third_rank/total*100., 2), '% soit', round(third_rank/float(followed)*100., 2), '% des liens suivis'</pre>

<h3>Résultats</h3>

<p>Chaque ligne correspond à&nbsp;: <strong>Type, nombre, taux par rapport au total</strong></p>

<ul>
<li>Total 36389577.0 100.0 %</li>
<li>Non suivi 16946938 46.57 %</li>
<li>Suivi 19442639 53.43 %</li>
<li>Premier suivi 8220278 22.59 % soit 42.28 % des liens suivis</li>
<li>Deuxieme suivi 2316738 6.37 % soit 11.92 % des liens suivis</li>
<li>Troisieme suivi 1640751 4.51 % soit 8.44 % des liens suivis</li>
</ul>

<h3>Interprétation</h3>

<p>Sur 36 millions de recherches, seules 54% sont considérées comme étant pertinentes par l'utilisateur. C'est énormément peu (<del>il serait très intéressant d'avoir les données de Google pour comparer</del> la recherche est faite par Google, encore plus étonnant !). Et ensuite sur ces 54%, il vaut en effet mieux être placé en tête de peloton mais moins que ce que je pensais, il reste tout de même 40% des liens suivis qui le sont par les résultats inférieurs. Quoiqu'il en soit, la lutte pour la première place est justifiée&nbsp;!</p>

<h2>Conclusion générale</h2>

<p>Les données sont celles des utilisateurs du moteur de recherche d'AOL et je ne pense pas que les recherches effectuées sur Google par exemple soient de même nature, <del>surtout en ce qui concerne les recherches fructueuses</del>. Ces résultats sont bruts et il serait très intéressant de les affiner davantage en fonction d'un secteur d'activité donné. Est-ce que tel type d'utilisateur utilise plusieurs mots-clés&nbsp;? Et suit-il le premier lien&nbsp;? etc.</p>

<p>Si vous ne donnez pas dans le p0rn, il peut-être intéressant de référencer un site de «&nbsp;new lyrics for free ». On comprend aussi pourquoi un moteur de recherche a toujours l'avantage sur ses concurrents en analysant ses recherches. Par exemple au sujet du nombre important de localités recherchées, il est évident que Google a fait une étude poussée là-dessus avant de s'investir dans GoogleMap et devant le nombre de recherches ils étaient certains de la future popularité de leur service.</p>

<p>Pour véritablement arriver à des conclusions solides, il faudrait les données de plusieurs moteurs de recherche réparties sur plusieurs dates. C'est impossible à avoir, il n'y a donc actuellement que les moteurs de recherche qui peuvent se précipiter sur ces données pour identifier les différents profils d'utilisateurs ;-).</p>

<p>Conclusion personnelle&nbsp;: je crois que l'aspect scientifique me manque un peu en ce moment... (sans compter le python).</p>

<p><strong>[edit du 15/08]</strong>&nbsp;: <a href="https://larlet.fr/david/biologeek/archives/20060814-analyse-des-donnees-utilisateur-d-aol-suite-et-fin/">Suite de l'analyse des données sur ce site</a>.</p>
      </div>
    </article>
    <footer>
      <h6 property="schema:datePublished">— 09/08/2006</h6>
    </footer>
  </section>
  <section>
    <div>
      <h3>Articles peut-être en rapport</h3>
      <ul>
        <li><a href="/david/biologeek/archives/20090327-reflexions-sur-les-conferences-de-geeks/" title="Accès à Réflexions sur les conférences de geeks">Réflexions sur les conférences de geeks</a></li>
        <li><a href="/david/biologeek/archives/20090221-son-propre-tinyurl-en-python-et-html5-avec-webpy/" title="Accès à Son propre TinyURL en Python et HTML5 avec webpy">Son propre TinyURL en Python et HTML5 avec webpy</a></li>
        <li><a href="/david/biologeek/archives/20060814-analyse-des-donnees-utilisateur-d-aol-suite-et-fin/" title="Accès à Analyse des données utilisateur d&#39;AOL : suite et fin">Analyse des données utilisateur d&#39;AOL : suite et fin</a></li>
      </ul>
    </div>
  </section>
  <section>
    <div id="comments">
      <h3>Commentaires</h3>
      
<div class="comment" typeof="schema:UserComments">
    <p class="comment-meta">
        <span class="comment-author" property="schema:creator">Charles Boone</span> le <span class="comment-date" property="schema:commentTime">09/08/2006</span> :
    </p>
    <div class="comment-content" property="schema:commentText">
        <p>merci pour cette analyse très interessante.<br />
Il est clair que la bourde d'AOL va beaucoup servir aux marketeurs pour affiner les approches de positionnements, les approches pour les adwords et nombre d'autres petits détails.<br />
<br />
Je pense aussi qu'il serait très interessant de pouvoir comparer ce genre d'informations avec d'autres sources, mais malheureusement je doute que cela arrive sous peu.<br />
<br />
Il n'y a pas que les moteurs de recherche qui ont interet à regarder leurs logs de près. C'est déjà ce que je fais pour certains de mes clients et parfois les résultats sont prodigieux en terme de retour marketing puis transformation commerciale.<br />
<br />
Pour la présence des www, http et autres moteurs de recherche, c'est parce que de très nombreux utilisateurs, non agguéris avec l'usage de web, tapent leur url directement dans la barre de recherche de leur homepage (AOL par défaut)<br />
J'ai eu plusieures fois des clients qui pour visiter leur propre site tapaient dans google (leur homepage) leur www. monsite.fr puis cliquaient sur leur site en résultat. Oui Oui ça existe encore aujourd'hui, la preuve par AOL.<br />
<br />
Encore une fois merci pour votre analyse, j'espère que vous aurez un peu de temps pour creuser plus profondement.<br />
<br />
Charles Boone</p>
    </div>
</div>
<div class="comment" typeof="schema:UserComments">
    <p class="comment-meta">
        <span class="comment-author" property="schema:creator">Cedric Giorgi</span> le <span class="comment-date" property="schema:commentTime">09/08/2006</span> :
    </p>
    <div class="comment-content" property="schema:commentText">
        <!-- TB -->
<p><strong>Statistiques sur les données de recherche AOL - Google</strong></p>
<p>Le scandale qui éclate sur la mise en ligne en grande quantité par AOL de données privées (voir articles de Techcrunch ici, ici, là ou là) a au moins un avantage: pouvoir tirer des conclusions et des statistiques sur les recherches dans les...</p>
    </div>
</div>
<div class="comment" typeof="schema:UserComments">
    <p class="comment-meta">
        <span class="comment-author" property="schema:creator">Gilles</span> le <span class="comment-date" property="schema:commentTime">09/08/2006</span> :
    </p>
    <div class="comment-content" property="schema:commentText">
        <p>Bonsoir,<br />
<br />
Je confirme que pas mal de monde continue à taper '<a href="http://www.blabla.com'" title="http://www.blabla.com'" rel="nofollow">www.blabla.com'</a> dans son moteur de recherche préféré pour aller sur une adresse signalée par ailleurs.<br />
<br />
J'ai régulièrement des appels au boulot de clients qui ne trouvent pas l'espace dédié à la récupération de fichiers (dont l'adresse leur est fournie par courrier) parce que rien ne sort quand ils tapent l'adresse sur internet ... qui après vérification s'avère être la barre de recherche du moteur (G***le en règle général d'ailleurs).<br />
<br />
L'accès au net se démocratise mais savoir l'utiliser &quot;correctement&quot; est encore au stade de l'étape à franchir pour un certains nombre.<br />
<br />
En tout cas, cette affaire avec Aol fait les gorges chaudes sur le net :-D<br />
<br />
@+<br />
Gilles.</p>
    </div>
</div>
<div class="comment" typeof="schema:UserComments">
    <p class="comment-meta">
        <span class="comment-author" property="schema:creator">Funky Zapata</span> le <span class="comment-date" property="schema:commentTime">11/08/2006</span> :
    </p>
    <div class="comment-content" property="schema:commentText">
        <p>Dans ton analyse, ne perds pas de vue que nous avons affaire a des utilisateurs d'AOL  ...<br />
<br />
pour ce qui est du faible niveau de satisfaction des recherches, ca montre que le meilleur moteur utilise sommairement (avec les articles, le www,...) ne donne pas de bons resultats.</p>
    </div>
</div>
<div class="comment" typeof="schema:UserComments">
    <p class="comment-meta">
        <span class="comment-author" property="schema:creator">Fa7</span> le <span class="comment-date" property="schema:commentTime">14/08/2006</span> :
    </p>
    <div class="comment-content" property="schema:commentText">
        <p>AOL...<br />
je dois connaitre une seule personne dans mon entourage qui utilise ce FAI (qui ne l'utilise plus pour cause de déménagement)</p>
    </div>
</div>
<div class="comment" typeof="schema:UserComments">
    <p class="comment-meta">
        <span class="comment-author" property="schema:creator">Robert</span> le <span class="comment-date" property="schema:commentTime">21/04/2007</span> :
    </p>
    <div class="comment-content" property="schema:commentText">
        <p>Allo, <br />
je crois que c'est tout à fait vrai pour les mots de types &quot;article&quot;... avec les statistiques de mon site perso, je constater que beaucoup de gens utilisent des phrases dans les moteurs de recherche... <a href="http://rambit.qc.ca/ecv" title="http://rambit.qc.ca/ecv" rel="nofollow">rambit.qc.ca/ecv</a></p>
    </div>
</div>
<div class="comment" typeof="schema:UserComments">
    <p class="comment-meta">
        <span class="comment-author" property="schema:creator">Nathalie</span> le <span class="comment-date" property="schema:commentTime">18/02/2009</span> :
    </p>
    <div class="comment-content" property="schema:commentText">
        <p>C&#39;est vrai j&#39;ai aussi constaté le même phénomène sur les stats de<br /><a href="http://www.emploi-conseils.com">http://www.emploi-conseils.com</a></p>
    </div>
</div>
<div class="comment" typeof="schema:UserComments">
    <p class="comment-meta">
        <span class="comment-author" property="schema:creator">amid</span> le <span class="comment-date" property="schema:commentTime">31/05/2009</span> :
    </p>
    <div class="comment-content" property="schema:commentText">
        <p>Le Commentaire est un peu hors du sujet, mais il me parait important d informer les webmasters.<br />Si vous faites une recherche sur Google sur un mot clés pour savoir votre positionnement.<br />Attention a ne pas être en  session Google .Google fausses les données  de votre page web et  <br />il a tendance a  sur positionner votre page.<br />J espère que  cela est suffisamment  clair.<br />A plus</p>
    </div>
</div>
<div class="comment" typeof="schema:UserComments">
    <p class="comment-meta">
        <span class="comment-author" property="schema:creator">Nicolas</span> le <span class="comment-date" property="schema:commentTime">02/11/2009</span> :
    </p>
    <div class="comment-content" property="schema:commentText">
        <p>Merci pour cet article très bien écrit et clair. Mais je suis d&#39;accord avec Funny c&#39;est des résultats de Aol et c&#39;est loin d&#39;être des résultats de Google. Avec Google les résultats sont beaucoup plus pertinents.</p>

<p>Bonne chance et bonne continuation avec ton site ! Bravo encore !</p>

<p>Nicolas</p>
    </div>
</div>

    </div>
  </section>

    
    <footer>
      <nav>
        <p>
          <small>
            Je réponds quasiment toujours aux <a href="m&#x61;ilto:d&#x61;vid%40l&#x61;rlet&#46;fr" title="Envoyer un email">emails</a> (<a href="/david/signature/" title="Ma signature actuelle avec possibilité de chiffrement">signés</a>) et vous pouvez me rencontrer à Montréal. <span class="more-infos">N’hésitez pas à <a href="/david/log/" title="Être tenu informé des mises à jour">vous abonner</a> pour être tenu informé des publications récentes.</span>
          </small>
        </p>
      </nav>
    </footer>
    
  </div>
  
  <script src="/static/david/js/larlet-david-3ee43f.js" data-no-instant></script>
  
  <script data-no-instant>InstantClick.init()</script>
  
</body>
</html>