共查询到20条相似文献，搜索用时 828 毫秒
1.
针对高校网站管理者对网站访问情况及时、直观了解的需求,本文提出了一种以SparkStreaming为核心的分布式网站访问日志分析系统。本系统使用Flume实时收集网站被访问时产生的日志,使用Kafka对收集到的日志进行缓存,使用Spark中的Streaming流处理框架按批次提取缓存的数据,并通过其中的Translation和Action算子对流量、站点、地区、终端信息进行分析,使用MySQL数据库对分析结果进行存储。使用Echarts设计界面并结合Ajax等前端技术对分析结果进行实时可视化处理。在分布式平台下实现了一个实时可扩展的日志数据分析系统。有效地支持了高校网站的管理工作。 相似文献
2.
在陶瓷行业信息聚合网站的基础上,通过Web日志分析可以获取网站用户的访问情况,但是随着Web服务器上日志的剧增,在单机上运行日志分析或挖掘程序变得越来越不可行。采用Hadoop并行计算平台对日志进行预处理,然后对页面访问量、用户访问量、网站流量等指标进行统计,还应用Apriori算法对日志进行挖掘,对群集在不同节点数、不同数据集以及不同最小支持度的情形下的性能进行比较。实验结果表明,在Hadoop平台上,随着集群节点的增加,大数据集处理性能会得到较大提升。应用Hadoop 平台构建的日志分析平台可以为陶瓷行业信息聚合平台的管理者提供各种有价值的信息。 相似文献
3.
钱立三 《安徽广播电视大学学报》2005,(3):116-118
构建了WEB日志挖掘技术在远程开放教育网站和网上教育平台建设中的应用模式，通过WEB日志挖掘可以掌握学习者个性化学习的特点和要求，从而为建设适合的现代远程教育网站和在线教育平台提供WEB页面结构设计、资源建设、教学互动等方面的依据。 相似文献
4.
刘斌 《安徽科技学院学报》2017,31(4)
针对Apache web服务器集群产生的海量日志记录进行数据分析,使用Flume-ng从web服务器集群收集日志文件,利用Hadoop云平台的HDFS进行分布式日志数据存储,以MapReduce为日志数据分析编程框架,设计实现了一个web日志分析系统,论文阐述了系统的结构、设计思想和实现方法。 相似文献
5.
王春霞 《商丘师范学院学报》2005,21(5):71-74
在数据挖掘研究领域中，Web日志挖掘是Web使用挖掘的一个分支。它作为Web挖掘的一个重要组成部分，具有独特的理论和实践意义．通过介绍Web日志挖掘的概念，系统阐述了Web日志挖掘的全过程：数据收集、数据预处理、模式识别、实际应用．说明Web日志挖掘应用广泛，能够实现网站的优化问题． 相似文献
6.
随着计算机网络技术的不断发展,远程教育教学系统越来越多地被应用到高校远程教育教学中,但当前的远程教学中,学员只是被动地接收远程教育网站中的知识。如何根据学员的访问信息,为学员提供个性化教学;如何通过学员的访问信息,改善网络的拓扑结构,更好地促进远程教育系统的功能的发挥,结合Web日志挖掘的基本功能,本文提出了基于Web日志挖掘改善远程教育教学系统,为学员提供个性化教学的基本模式。 相似文献
7.
分析了校园网络的日志结构及含义,探讨了典型数据挖掘技术在校园网日志挖掘系统上的应用,提出了基于校园网日志的数据挖掘系统的设计方法,为校园网日志数据挖掘系统的实现提供依据。 相似文献
8.
本论文将数据挖掘应用于图书馆网站Web日志记录,来获取用户访问网站的行为模式,帮助改善网站页面布局、改进为用户提供资源的方式,提高用户访问和使用资源的效率,介绍了用户行为模式挖掘的过程. 相似文献
9.
统一身份认证平台能在高度集成的校园网络应用环境中,将相互独立的应用系统中的用户和权限资源进行集中管理,文章对该平台的设计是通过定制CAS开源项目的认证流程来实现的;工作日志管理系统是为高职院校行政人员利用计算机以Web方式编写每天的工作记录而设计的应用系统,文章重点阐述了工作日志管理系统与统一身份认证平台的集成。 相似文献
10.
图书馆Web服务器日志分析技术及应用 总被引：1，自引：0，他引：1
随着Internet的迅速发展,图书馆的信息导航网站也逐步成为图书馆与读者信息交流的窗口。了解和监控网站的运行状态,对提高各个网站的服务效能和服务水平是必不可少的。通过对Web服务器的日志文件进行分析和统计,能够有效掌握系统运行状态以及网站内容的受访问情况、加强对整个网站及其内容的维护与管理。本文对Web服务器日志分析的意义以及技术、原理进行讨论。 相似文献
11.
粗糙集理论是有效处理不精确、不确定和含糊信息的软计算工具,模糊聚类分析是依据客观事务间的特征、亲疏程度和相似性,通过建立模糊相似关系对客观事务进行分类的方法.网站日志数据通常是大量的,冗余的,日志中的页面之间的关系也是模糊的,不确定的.该文利用粗糙集理论和模糊聚类的方法对某学校网站的日志数据进行实例分析,抽取用户感兴趣的模式,理解用户的浏览兴趣行为,以便进一步改善网站结构,为用户提供个性化服务. 相似文献
12.
针对传统关联规则 Apriori 算法难以适应大数据的问题,为提高可信计算平台日志数据分析效率, 提出了一种基于Hadoop的可信计算平台日志分析模型。构建了日志分析模型总体框架,对非结构化原始日志数据进行垂直划分,采用分布式文件存储系统,结合MapReduce编程模式给出一种分布式Apriori并行垂直算法。通过日志挖掘建立用户行为关联规则库,并采用规则匹配实现对用户异常行为的检测。理论分析和实验数据证明,该模型在大数据环境下能够有效提高日志分析效率。 相似文献
13.
大学英语写作能力的培养一直是较难解决的问题。然而,以现代信息技术为标志的语言教学现代化为解决这个问题提供了契机。本研究以形成性评价理论为依据,提出自主写作模型以指导实验过程,同时应用在线写作自动评价系统WRM2为写作和反馈工具,以问卷、教师日志、学生日志和访谈记录为数据收集工具,在两组学生中开展写作教学实证研究,试图探索融入WRM2系统的写作教学模式与大学生英语自主写作能力之间的关系。 相似文献
14.
15.
网络安全分析与监控平台通过收集防火墙、入侵防御系统等网络安全设备的事件日志、安全策略等信息,实现对整个网络的安全分析与监控,因此其安全性尤为重要。为了保障平台安全性,提出多重安全防护机制：利用智能密码钥匙和数字证书,实现高强度的身份鉴别;通过设置多级管理体系,实现管理权限的分割与访问控制;对每一次操作进行日志记录和数字签名,保证操作行为日志的完整性,可用于安全审计与责任追溯;采用秘密共享技术实现对对称密钥的分割存储,以保证安全策略等重要数据备份恢复的安全性。这些安全防护技术的使用,能够有效增强网络安全分析与监控平台的安全性,防止攻击者通过平台获取关键信息,或进行非法篡改等恶意攻击。 相似文献
16.
日本在泛在学习项目研究中创建了收集、整理、使用学习日志进行学习的开放平台(SCROLL系统).整体看,SCROLL系统共分为ULL recorder、ULL finder、ULL reminder、ULL navigator四部分,各部分具不同功能.集合多种学习功能的SCROLL系统具有较为广泛的适应性,为泛在学习在我国的发展提供了三方面的启示:互联网形态的转变将使传统在线教育面临极大的挑战;非正式学习将成为未来远程教育的重要形式;建设开放性的泛在学习平台以适应互联网的未来发展. 相似文献
17.
高校网站不仅是向外界展示学校风貌的门户网站,更是推动学校间教育资源共享、促进学术研究的平台。众多的高校网站所使用的Web服务器配置有很多。为了解我国高校网站服务器配置情况,本研究通过对国内高校网站的Web服务器配置信息进行收集、整理、分析,为未来中国高校网站的建设和发展提供借鉴。 相似文献
18.
基于XML的综合日志预处理模型设计 总被引：1，自引：1，他引：1
根据XML树形结构的特点,提出了XML结构相似度计算方法以及XML树结构融合算法。针对综合日志数量大和格式多样性特点,提出了一个基于XML的综合日志预处理模型,通过对日志进行过滤、格式化、归并、映射以及结构融合等相关处理,可以实现融合来自不同平台和系统的日志信息,并以统一的XML格式来表示,对日志审计系统的研究与实现起到至关重要的作用。 相似文献
19.
化学教育信息资源网络导航系统开发 总被引：1，自引：0，他引：1
在化学的研究和学习中,为了更好地查询和利用Internet上的化学资源,需要提供一个快捷、方便的网络资源指南.化学教育信息资源导航系统搭建了基于数据的Web平台,满足化学资源分类利用的需求,系统收集、整理和筛选了几百个网站,并对所链接的网站作了相关介绍,旨在方便对因特网信息资源的智能性获取. 相似文献
20.
免疫分析仪是临床免疫检验学不可或缺的检测设备,实时监控免疫分析仪使用状态对提高产品质量非常重要。免疫分析仪作为独立的系统,在运行中产生大量的系统日志、样本数据、校准数据、质控数据。设计了一款质控网站,收集存储这些信息,对这些数据进行处理、统计、分析,从机器日志信息中提取机器的错误代码,统计错误代码按时间、机器的分布,统计出样本使用量随时间的分布,从质控校准数据中统计不同项目试剂批次的质控校准结果,为查找设计缺陷和质量问题,制定生产销售策略提供依据。 相似文献