Vous avez à réaliser, par groupe de 1 ou 2, un mini-mémoire sur l'un des sujets suivants. Certains sujets ne pouvant être effectués que par un unique groupe, les sujets seront attribués sur la règle du « premier demandé, premier servi ». Veuillez donc communiquer le plus tôt possible à Pierre Senellart (pierre.senellart@telecom-paristech.fr) la composition des groupes et au moins deux souhaits parmi la liste suivante. L'affectation définitive vous sera communiquée par retour de mail. Les mémoires seront soutenus les 17 et 20 février 2008. L'enseignant associé à chaque sujet est uniquement à contacter si vous avez des questions précises à lui poser sur le sujet. Méthodes d’indexation pour des données stockées sur des mémoires de type FLASH Les mémoires FLASH ont des caractéristiques très particulières en termes d’accès, de programmation (écriture) ou d’effacement (nécessaire avant l’écriture) rendant complexe le développement de système de gestion de bases de données utilisant ce média de stockage. Après une étude approfondie des ces mémoires, vous proposerez le design d’une méthode d’indexation permettant (sous certaines hypothèses à définir) d’obtenir de bonnes performances pour accéder à une table. La FLASH est une mémoire stable qui possède des caractéristiques assez particulières : Lecture rapide (25 microsecondes pour une page de 2 Ko) écriture assez rapide (300 microsecondes /page) effacement gros grain et long (2 millisecondes /bloc de 128 Ko) Il est impossible de mettre à jour une donnée sans effacer le bloc qui la contient. Le sujet consiste en : étude des mémoires flash (docs à chercher sur le web) définition du problème d’indexation de données en flash proposition d'une solution Hypothèses : On dispose d'une petite quantité de mémoire stable (qui ne s'efface pas sans courant) avec des bonnes propriétés (lecture/écriture rapide et grain fin) La BD est en append only (on ne fait que rajouter des données) Outil didactique pour la compréhension des mécanismes de contrôle de concurrence Il s’agit de créer un petit outil simulant le comportement d’un SGBD au niveau du contrôle de concurrence. Le SGBD gèrera 1 ou 2 données seulement. Deux fenêtres permettront d’entrer des ordres, simulant deux utilisateurs distincts. Suivant la configuration (avec ou sans contrôle, degré d’isolation, mode multiversion), on simulera le comportement du SGBD et on affichera l’état des variables. A chaque entrée d’un ordre sur l’une ou l’autre des fenêtres, l’outil affichera le comportement du SGBD (commande acceptée, blocage, erreur) avec l’état des données, des verrous etc. Outils de Gestion de la mémoire dans Oracle 9i Il s’agit de lire, comprendre et expliquer en détail les mécanismes mis en œuvre dans Oracle pour gérer la mémoire lors de l’exécution de Requêtes. Ce travail est basé sur un l’article suivant et peut être complété par des recherches sur le WEB :Benoît Dageville, Mohamed Zaït: SQL Memory Management in Oracle9i. VLDB 2002 http://www.vldb.org/conf/2002/S29P03.pdf Expérimentation de l'optimisation Oracle Vous créerez ou récupérerez une base exemple sur Oracle (je peux vous en fournir une). Vous imaginerez alors une requête suffisamment complexe et intéressante pour montrer l'impact du choix de différents plans d'exécution sous Oracle. Pour cela, vous utiliserez la fonction "explain plan" d'oracle, des mesures de performances et influencerez les choix de l'optimiseur par des "hints" (cf. Cours). Dans le rapport, vous détaillerez et expliquerez les différents plans et performances obtenus. Utilisation du package OracleObfuscationToolkit et JavaCrypto Il s’agit d’implanter sous oracle une petite application JAVA simpliste permettant d’insérer des données dans une table et d’interroger cette dernière en SQL (sélections simples, mono-relation, mono-prédicat ex. Select xxx, yyy From REL where x comp constante où comp est ‘=’, ‘<’ ou ‘>’). La difficulté provient du fait que les données doivent être stockées chiffrées. Pour cela, vous implanterez et comparerez deux méthodes : OracleObfuscationToolkit L’application manipule des données en clair, les données sont cryptées et décryptées sous Oracle grâce à OracleObfuscationToolkit JavaCrypto L’application insère des données déjà cryptées dans la table sous Oracle. Pour l’interrogation, on peut imaginer une collaboration entre Oracle et le client Algorithmes de jointure Il s’agit d’implanter quelques algorithmes de jointure pour joindre deux tables avec une quantité de mémoire variable (cf. cours). On pourra par exemple (au choix) : implanter et comparer le Block Nested Loop Join et le Hash Join Le Hash Join et le Sort Merge Join Le Hash Join classique et le Hash Join non bloquant Vous travaillerez avec deux tables fournies (ex. Client / Commande) et devrez réaliser la jointure avec les algorithmes programmés. Le programme prendra en entrée une quantité de mémoire donnée (ou un intervalle) et fournir en sortie : Le temps d’exécution Le nombre d’entrées / sorties La mémoire utilisée Vous pouvez vous aider de bibliothèques java existantes (ex. Hachage, tri) Outil didactique pour l'explication du modèle itérateur. Implémentation d'un mini moteur d'exécution basé sur le modèle itérateur Il s'agit d'implanter quelques opérateurs de base (au minimum, la sélection, la projection et la jointure), et, grâce au modèle itérateur vu en cours, d'exécuter une requête écrite sous forme algébrique. On créera "en dur" 3 relations (stockées sous la forme de 3fichiers) : R(RID, RA1, RA2) , S (SID, RID, SA1, SA2) et T (TID, SID, TA1, TA2) où tous les attributs sont des entiers (pour simplifier). RID, SID et TID sont des identifiants de tuples (attention à faire des relations cohérentes). RA1, RA2, SA1, SA2, TA1, TA2 sont des entiers et vous mettrez les valeurs qui vous arrangent (ça peut être utile que ces valeurs ne soient pas aléatoire pour montrer que l'on puisse vérifier le résultat des requêtes – exemple RA1 = RID, RA2 = RID*2, SA1 = RID*SID, SA2 = RID*SID*2, etc..) l'utilisateur entrera une requête sous forme algébrique, par exemple : project(join (R, select(S, SA2>10), R.RID = S.RID), R.RID, SA2) qui correspond à la requête : select R.RID, SA2 from R, S where R.RID = S.RID and SA2 > 10 L'outil calculera alors le résultat en produisant des traces permettant de comprendre comment cela s'exécute (i.e., liste des appels à open, next et close) Outil(s) de tuning automatique Vous devez chercher, installer et tester un outil de tuning automatique (e.g., SQL SERVER DTA ou celui d'Oracle, ou …) dans le cas où ces derniers sont disponibles et gratuits. Dans le cas contraire, l'étude se limitera à une étude bibliographique de documents décrivant un ou plusieurs de ces produits. Séquentialisation des IO aléatoires sur mémoire Flash Il s’agit de spécifier (plus raisonnable) ou d’implanter (plus difficile) un module s’intercalant entre l’OS et un composant FLASH permettant de séquentialiser les entrées sorties. Typiquement, une clé USB obtient de très bon temps d’accès (e.g., 1 à 3 ms) en lecture (séquentielle ou aléatoire) et en écriture séquentielle. Les écritures aléatoires sont par contre terriblement coûteuses (e.g. 200 ms). Le même comportement se vérifie sur un SSD (0,1 ms en lecture et écriture séquentielle) contre 5 à 20 ms en écriture aléatoire. L’idée est de réaliser une couche intermédiaire permettant de transformer les écritures aléatoires en écritures séquentielles quitte à transformer les lectures séquentielles en lectures aléatoires en gérant des structures de translation entre une adresse « logique » et une adresse « physique » (en fait le composant FLASH gère lui-même une telle translation mais à un granule trop important (e.g., 512 KB)). Vous ferez soit le design de cette solution, en prenant soin de considérer le cas de l’arrachement du composant ; c'est-à-dire, qu’il faut que votre structure qui serait a priori en RAM puisse être reconstruite dans un temps raisonnable lorsque le composant est connecté de nouveau. Si vous faites une implantation, vous pouvez considérer que l’arrachement se fait de manière « propre », i.e., qu’une procédure ‘éjecter’ existe et permet de sauvegarder la structure. Un petit scénario de démo devra aussi être implanté. Benchmarking de disques durs uFLIP est un benchmark crée pour mesurer et observer les performances des mémoires FLASH – voir http://www.uflip.org/. En fait, il est assez général pour capturer le comportement de plusieurs composants de stockage. Le but de ce projet est de comprendre uFLIP (toutes les informations sont sur le site web) et d’appliquer le benchmark sur un disque dur (attention, toutes les données sont détruites). Le résultat attendu est : Méthodologie de mesure employée (elle sera certainement différente) Analyse des résultats Discussion, critiques, propositions (ce qui manque et ce qui n’a pas d’intérêt) Le SGBD réparti Mariposa Il s'agit d'étudier une approche assez non conventionnelle pour la gestion de données dans un SGBD reparti. Le système Mariposa, développé par le groupe BD de l'Université de Berkeley, essaie d'employer des principes économiques dans les stratégies d'évaluation repartie de requêtes. Il s'agit de lire les documents qui donnent les grandes principes de ce système, comprendre et expliquer ces particularités, et peut être essayer de comprendre pourquoi l'approche de Mariposa n'a pas eu l'impact attendu en industrie. Le point de départ est la page du projet, http://mariposa.cs.berkeley.edu. Bases de Données « Hippocratiques » Les BD Hippocratiques (ou d'Hippocrate) proposent un ensemble de principes fondateurs et de mécanismes pour préserver les données privées des individus dans une base de données. Les principes hippocratiques ont été introduits par le groupe de recherche BD de IBM Almaden (le même endroit qui a donné les BD relationnelles). Il s'agit d'étudier cette approche pour la gestion de données privées: lire les documents qui donnent les principes fondateurs, comprendre et expliquer les particularités, essayer de comprendre les enjeux et les difficultés pour la mise en pratique. Le point de départ est la page du projet, http://www.almaden.ibm.com/cs/projects/iis/hdb/hdb_projects.shtml. Utilisation de Incognito: k-anonymity pour la confidentialité des individus Le but de ce projet et de tester le logiciel Incognito: Téléchargez le logiciel d'anonymisation de données Incognito, à partir de l'URL http://www.cs.cornell.edu/database/privacy Installez et configurez ce logiciel (le SGBD IBM DB2 est nécessaire, disponible en version « trial ») Définissez un schéma pour les relations qui seront anonymisées (il faut définir une schema-étoile qui donne les hiérarchies de généralisation des attributs) Remplissez les tables (il est envisageable d'utiliser un générateur de tuples) Utilisez Incognito pour traiter les données sensibles. Tous les documents nécessaires (et beaucoup plus sur ce thème de recherche) se trouve à l’URL http://www.cs.cornell.edu/database/privacy/. Extension possible pour ce projet: Le coût en temps de calcul peut être assez important (trouver la solution optimale est un problème NP-difficile). Il serait donc intéressant d'implémenter un des algorithmes d'approximation qui ont été proposé pour k-anonymity, et de comparer les performances. Généralisation de données pour protéger la confidentialité des individus Il s’agit d’étudier les différentes techniques proposées pour la généralisation de données (k-anonymity, l-diversity, t-closeness, m-invariance, etc) et de présenter dans une étude comparative leurs avantages et désavantages. Le SGBD KBD+ Il s’agit d’étudier un SGBD qui présente plusieurs particularités (in-memory, column-based), utilisé souvent dans la gestion de données de type « time series » (e.g., applications financières). Il s’appuie sur un langage de manipulation Q (extension du langage K), qui est assez différent de SQL. Un possible point de depart et la page Wikipedia http://en.wikipedia.org/wiki/K_programming_language. Implémentation du benchmark TPC-E TPC Benchmark™ E (TPC-E) is a new On-Line Transaction Processing (OLTP) workload being developed by the TPC. The TPC-E benchmark simulates the OLTP workload of a brokerage firm. The focus of the benchmark is the central database that executes transactions related to the firm’s customer accounts. Although the underlying business model of TPC-E is a brokerage firm, the database schema, data population, transactions, and implementation rules have been designed to be broadly representative of modern OLTP systems. (cf. http://www.tpc.org/tpce/tpc-e.asp) Le sujet est d'implémenter ce benchmark sur un SGBD centralisé (par exemple Oracle) Implémentation d'un index en mémoire Le but est d'implémenter un index en mémoire aussi performant que possible, dans le cadre du concours de programmation de SIGMOD 2009. cf. http://db.csail.mit.edu/sigmod09contest/. Benchmarking de requêtes XQuery composées. Le but de ce projet est d’analyser les capacités d’optimisation des interpréteurs XQuery actuels dans le cas particulier des requêtes composées (des requêtes qui s’appuient sur un résultat intermédiaire calculé par une sous-requêtes). Dans certains cas, les requêtes composées peuvent être réécrites sous forme plus simple et plus rapide à évaluer. Un exemple de requête vous sera fourni et le travail qui vous est demandé consiste à tester cette requête, dans sa forme composée puis dans sa forme simplifiée sur au moins deux interpréteurs XQuery de votre choix (Galax, eXist, Saxon, MonetDB, Berlkeley DB XML, etc.). Les tests doivent être réalisés sur des documents sources de différentes tailles. Pour cela, on utilisera le générateur de documents XML du benchmark Xmark. Les résultats obtenus doivent être commentés et illustrés par des courbes montrant les gains de temps éventuels, entre la requête composée et la requête simplifiée, et les différences entre les interpréteurs choisis. Requêtes continues : évaluation de l’outil Oracle CEP (Oracle Complexe Event Processing) Le développement des réseaux informatiques a facilité l’échange d’information et l’émergence de sources de données continues (cotations d’actions, réseaux de capteurs, etc.). Les flux de données échangés dans ce cas sont conséquents, leur traitement peut être complexe et leur stockage est souvent inutile (on veut juste en extraire des informations online). Des langages de requêtes continues ont été proposés pour répondre à ce besoin et Oracle vient de proposer une implantation de l’une de ces solutions : Oracle CEP. Description donnée sur le site Oracle : “Today's IT environments generate continuous streams of data for everything from monitoring financial markets and network performance, to business process execution and tracking RFID tagged assets. Oracle Complex Event Processing (Oracle CEP) provides a rich, declarative environment for developing event processing applications to improve the effectiveness of your business operations. Oracle CEP can process multiple event streams to detect patterns and trends at real time and provide enterprises the necessary visibility via Oracle Business Activity Monitoring (Oracle BAM) to capitalize on emerging opportunities or mitigate developing risks.” Travail demandé : Tester, analyser et évaluer cet outil sur un jeu de données de votre choix. Références : description sur le site Oracle : http://www.oracle.com/technologies/soa/complex-event-processing.html Outil à télécharger : http://www.oracle.com/technology/software/products/cep/index.html Article de recherche décrivant le langage de requêtes CQL : http://ilpubs.stanford.edu:8090/758/1/2003-67.pdf TrustRank Il s’agit de lire, comprendre et expliquer en détail les principes et le fonctionnement de l’algorithme de lutte contre les spams TrustRank adoptés par Google. Ce travail est basé sur un l’article suivant et peut être complété par des recherches sur le WEB : Zoltan Gyöngyi, Hector Garcia-Molina, Jan Pedersen : Combating Web Spam with TrustRank. http://www.vldb.org/conf/2004/RS15P3.PDF. Déduplication de données (Entity Resolution) La déduplication consiste à déterminer dans une base de données quelles couples d’enregistrements représentent une même entité du monde réel. Ce problème est important dans de nombreux domaines (gestion de la relation client, fédération de données dans les systèmes hétérogènes, extraction de connaissances à partir du web, etc.). Plusieurs solutions ont été proposées récemment et le travail demandé consiste à lire, comprendre et expliquer en détail une de ces solutions. Ce travail peut être basé sur l’un des articles suivants et peut être complété par des recherches sur le web : Omar Benjelloun, Hector Garcia-Molina, David Menestrina, Qi Su, Steven Euijong Whang, Jennifer Widom. Swoosh: a generic approach to entity resolution. http://ilpubs.stanford.edu:8090/708/1/2005-5.pdf Parag Singla, Pedro Domingos : Entity Resolution with Markov Logic. http://www.cs.washington.edu/homes/pedrod/papers/icdm06.pdf Indrajit Bhattacharya, Lise Getoor : Collective Entity Resolution In Relational Data. http://linqs.cs.umd.edu/basilic/web/Publications/2007/bhattacharya:tkdd07/bhattacharya-tkdd.pdf XSLT pour transformer des données numériques Mise en place d'un site Web permettant d'afficher des données (numériques) de diverses manières graphiques (au moins : histogrammes, courbes, diagrammes camembert ), en utilisant SVG (Scalable Vector Graphics). On rappelle que les versions récentes des navigateurs Opera et Firefox supportent relativement bien le SVG; en cas de souci, on pourra utiliser un outil comme rsvg pour convertir les images vectorielles SVG en images bitmap PNG. Les données devront également être présentées sous forme de tableaux HTML ou XHTML. L'application devra intégrer un moyen de convertir des données au format CSV (Comma-Separated Value), qui pourront être par exemple issues d'un tableur, vers un format XML à définir. L'application développée devra se baser sur XSLT (au choix, 1.0 ou 2.0), mais vous pouvez mettre en œuvre d'autres technologies. Application de la déduplication à des données réelles La déduplication consiste à déterminer dans une base de données quelles couples d’enregistrements représentent une même entité du monde réel. Ce problème est important dans de nombreux domaines (gestion de la relation client, fédération de données dans les systèmes hétérogènes, extraction de connaissances à partir du web, etc.). Le but du projet consiste à appliquer des techniques de déduplication détaillées dans le document de référence qui suit, à choisir de manière appropriée, à une base de données réelle de vente d'album de musique, fournie par l'enseignant sur demande. Ahmed K. Elmagarmid, Panagiotis G. Ipeirotis, Vassilios S. Verykios: Duplicate Record Detection: A Survey. IEEE Trans. Knowl. Data Eng. 19(1): 1-16 (2007). http://pages.stern.nyu.edu/~panos/publications/tkde2007.pdf MySQL vs PostgreSQL MySQL et PostgreSQL sont deux SGBD libres très populaires. Le but de ce projet est de faire une étude comparative de ces deux systèmes suivant les axes suivants Fonctionnalités Simplicité d'utilisation et de mise en place Performance (à tester avec un jeu de données et des requêtes dont il vous faudra décider, aussi varié que possible). Vous vous servirez de l'analyse effectuée pour émettre des recommandations sur les contextes dans lequel le choix de l'un de ces produits s'impose, et vous terminerez en comparant brièvement ces deux produit à un SGBD commercial comme Oracle. SGBD probabilistes Un SGBD probabiliste permet de stocker des informations avec un degré d'incertitude, et est utile dans un grand nombre de contexte (données bruitées, intégration de données, observations non fiables, etc.). Le but de ce projet est de faire une étude comparative de deux SGBD probabilistes: Trio et MayBMS, respectivement développées à Stanford et à Cornell. Il s'agit de parcourir la littérature correspondante afin de comprendre les différences d'approche, et d'expérimenter les deux systèmes (librement téléchargeables). http://infolab.stanford.edu/trio/ http://www.cs.cornell.edu/bigreddata/maybms/ Talel Abdessalem http://www.infres.enst.fr/~talel/ Bogdan Cautis http://www.infres.enst.fr/~bogdan/ Luc Bouganim http://www-smis.inria.fr/~bouganim/WebSitePerso/ Pierre Senellart http://pierre.senellart.com/ Hubert Naacke http://www-poleia.lip6.fr/~naacke/