首页 > 热点资讯 >新闻内容

数据脱敏——什么是数据脱敏

2021年06月02日 12:06

一、什么是数据脱敏


数据脱敏(Data Masking),又称数据漂白、数据去隐私化或数据变形。

百度百科对数据脱敏的定义为:指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下,在不违反系统规则条件下,对真实数据进行改造并提供测试使用,如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。

生活中不乏数据脱敏的例子,比如我们最常见的火车票、电商收货人地址都会对敏感信息做处理,甚至女同志较熟悉的美颜、有些视频中的马赛克都属于脱敏。


二、为什么要进行数据脱敏


上面说到,在“涉及客户安全数据或者一些商业性敏感数据的情况下”对数据进行改造,说明我们要进行改造的数据是涉及到用户或者企业数据的安全,进行数据脱敏其实就是对这些数据进行加密,防止泄露。

对于脱敏的程度,一般来说只要处理到无法推断原有的信息,不会造成信息泄露即可,如果修改过多,容易导致丢失数据原有特性。因此,在实际操作中,需要根据实际场景来选择适当的脱敏规则。改姓名,身份证号,地址,手机号,电话号码等几个客户相关字段。

三、如何实现数据脱敏


按照脱敏规则,可以分为可恢复性脱敏和不可恢复性脱敏。可恢复性脱敏就是数据经过脱敏规则的转化后,还再次可以经过某些处理还原出原来的数据,相反,数据经过不可恢复性脱敏之后,将无法还原到原来的样子,可以把二者分别看做可逆加密和不可逆加密。

我们目前遇到的场景是日志脱敏,即在把日志中的密码,甚至姓名、身份证号等信息都进行脱敏处理。

脱敏前:


脱敏后:

如上图,仔细分析会发现,打日志之前,获得脱敏的数据就两个步骤:【拿到要输入的数据(user实体)】→【进行序列化】,所以要进行数据脱敏可以考虑在这两个步骤上进行实现。第一个方法就是在序列化实体之前先把需要脱敏的字段进行处理,之后正常序列化;第二个方法就是在实体序列化的时候,对要脱敏的字段进行处理。


相关推荐

Philip S. Yu 团队最新综述!社区发现的深度学习方法:进展、挑战、机遇

本篇文章10140字,读完约26分钟雷锋网AI科技评论按:社区发现(CommunityDetection)是网络科学领域中一个经久不衰的重要问题。随着深度学习的发展,研究者们逐渐从传统的统计推断和谱聚类等方法中解放了出来。那么,深度学习时代的社区发现工作有哪些特点,研究者们遇到了哪些挑战,有哪些前景光明的研究方向呢?近日,IJCAI2020上发表的一篇Survey文章,完整阐释了这一研究方向的方法、挑战和机遇。论文来自数据挖掘领域大牛PhilipS.Yu团队。论文标题:DeepLearningforCommunityDetection:Progress,ChallengesandOpportunities社区发现(CommunityDetection)是网络科学领域中一个经久不衰的重要问题。随着深度学习的发展,研究者们逐渐从传统的统计推断和谱聚类方法中解放了出来。那么,深度学习时代的社区发现工作有哪些特点,研究者们遇到了哪些挑战,有哪些前景光明的研究方向呢?网络中的社区指的是一组由节点以及与其相连的边紧密地形成的实体。社区发现旨在遵循「社区中的节点紧密相连,不同社区间的节点稀疏相连」的规则对实体集合进行聚类。包括谱聚类、统计推断在内的传统社区发现方法在处理高维图数据时存在计算速度的问题。因此,近年来,深度学习方法被广泛地应用。在本文中,作者特别调研了社区发现的深度学习方法这一研究领域中的最新进展,并根据用到的深度神经网络、深度图嵌入、图神经网络对这些方法进行分类。由于目前深度学习的能力仍然不能满足处理复杂网络结构的需求,本文作者指出了当前该领域面临的挑战和研究机遇。一、社区发现网络是有两种基本的实体(即节点和边)形成的。根据图理论,「社区」是一种内部节点紧密相连的子图,它遵循以下特定的规则:(1)社区内的节点紧密相连;(2)不同社区中的节点稀疏相连。人们也将社区看做一种聚类簇,其中相同社区内的节点可以共享共用的特性和/或扮演类似的角色。这里根据Radicchi等人基于网络统计分析给出的定义展开讨论。根据节点在社区内部和外部的度,我们可以将社区分为两类:强社区和弱社区。节点的「内部度」代表将该节点与同一个社区中其它节点连接起来的边数,节点的「外部度」则代表将该节点与属于其它社区的节点连接起来的边数。一个弱社区是其中的节点的内部度之和大于外部度之和的子图。一个强社区是其中每个节点的内部度都大于外部度的子图。针对社区的网络结构,本文采用了强社区的定义。社区发现可以帮助我们理解网络内在的模式和功能。在现实世界的应用中,社区将复杂系统中的信息聚集了起来。举例而言,Chen、Yuan等人发现在「蛋白质-蛋白质」交互(PPI)网络中,被聚合到社区中的蛋白质具有相似的生物学功能;Chen、Redner等人,在论文引用网络中,通过社区发现技术确定通过论文引用连接起来的课题的重要性、相互关联以及演变情况;Zhang等人,在企业网络中,通过研究离线的公司内部数据源以及在线的企业社交关系将雇员分组到不同的社区中;Yang等人指出,在线社交网络中(例如Twitter和Facebook)拥有共同的兴趣或朋友的用户可能来自同一个社区(如图1所示)。图1:社交网络中的社区发现示例。根据个体之间的紧密度,网络被划分为两个社区,即包含三个节点的社区C_1和包含四个节点的社区C_2。传统的社区发现方法大部分都是基于统计推断和机器学习发展出来的。例如,在统计学领域非常具有代表性的社区发现方法「随机分块模型」(SBM)被广泛用于描述社区是如何形成的。然而,在处理当下的复杂数据及和社交场景时,这些传统的方法面临着许多问题。此外,在机器学习领域,发现社区的工作往往被看做一个图上的聚类问题。Ng等人用特征向量(例如邻接矩阵和Laplacian矩阵)实现了将节点划分到社区中的谱聚类方法,然而这种方法在稀疏网络上的性能较差。同时,对于预设的社区数目的要求也特别限制了依赖统计推断的模型的研发。在网络分析领域中,传统的方法并没有考虑到节点的属性,而这些属性描述了特征的丰富信息。此外,由于过高的计算复杂度,动态方法也很难被应用于大规模网络。总而言之,处理由图及其属性、大规模网络和动态环境形成的高维数据需要更强大的技术,从而同时兼顾高性能和计算速度。深度学习使计算模型可以学习到具有多层次抽象的数据表征。许多计算模型和算法都需要对以网络结构形式存在的数据进行表征学习。深度学习技术在学习非线性特征时具有很大的优势。这一点在诸如计算机视觉、自然语言处理等领域中都取得了广泛的成功,在这些领域中数据有着内在的关系。在网络分析领域,深度学习可以有效地通过多层深度神经网络降低数据维度,从而完成社区发现、节点分类、链接预测等任务。这里重点研究深度学习在社区发现任务中的应用的新研究趋势,PhilipS.Yu等人的这篇综述贡献有:(1)分析了将深度学习方法用于社区发现的优势;(2)从技术的视角,总结了目前最先进的研究,并对其进行分类;(3)讨论了仍然存在的挑战,并指出了具有前景的未来工作的机遇。据AI科技评论所知,这篇综述也是首次全面回顾深度学习在社区发现中的应用,对研究人员和技术专家理解深度学习和社交网络领域的发展趋势有着巨大帮助。图2:社区发现之深度学习:进步、挑战和机遇。二、何为社区发现?简单来说,社区发现,即从网络G中发现社区C。这里提到的网络是一种特殊的图,它对现实世界中的系统(例如,互联网、学术合作网络以及社交群组)中的复杂关系进行了抽象。在这里,网络的概念主要强调的是其拓扑结构。定义1(网络G)基于图理论,有权网络可以被表征为G=(V,E,W),而无权网络可以被表征为G=(V,E),其中V和E分别代表节点的集合和边的集合,W代表E相应的权值。每条边通过权值描述连接强度或者容量。我们可以将无权图的W视为1,将其从图G中去除。子图g⊆G是对于图的一种划分,它保持了原始的网络结构。子图的划分遵循预先定义好的规则。根据不同的规则可能得到不同形式的子图。社区是一种表征真实社交现象的子图;也就是说,在群组中存在一组具有紧密关系的对象。这里遵循由Radicchi定义的强社区的概念。定义2(社区C)社区是一组网络中相互联系的子图。社区中的节点具有密集的连接,而不同社区之间的节点具有稀疏的连接。根据一种将节点聚类到不同群组中的网络划分方法给出一个社区C_i,我们得到C={C_1,C_2,...,C_k},其中k代表可以从原始网络中被划分出的社区数。被聚合到社区C_i中的节点v满足:v到社区内每个节点的内部度大于其外部度。三、为什么要使用深度学习进行社区发现?与其他机器学习方法相比,深度学习的明显优势是它能够将高维数据编码到一个新的特征表征中。通过使用以图结构的形式组织的数据表征节点之间的联系,许多深度学习方法都可以学习到节点、邻域以及子图的模式。在多数现实场景中,数据缺乏节点标签信息和关于社区的先验信息,而深度学习在无监督学习的任务中体现出了优势。除了简单地利用网络拓扑来发现社区之外,一些方法还将语义描述作为数据中的节点属性加以研究。在传统社区发现方法中,这类方法主要基于邻接矩阵和节点属性矩阵。然而,深度学习可以构建更有效的节点属性和社区结构表征。因此,深度学习填平了传统社区发现方法中存在的关键短板。为了实现这一目标,近年来的工作指出了一些具有前景的研究方向:将深度学习模型应用于社区发现,以及基于社区的特性修改深度学习模型。将深度学习应用于社区发现的前景可以被表述为:(1)通过深度学习模型提升传统社区发现方法的性能;(2)从对于深度学习至关重要的特征维度上引入更多的信息;(3)从网络实体的拓扑和属性入手,同时提升模型的学习性能和鲁棒性;(4)现在可以更好地从复杂的相关结构中对大规模网络进行检测。四、基于深度学习的社区发现为了对近年来将深度学习用于社区发现的研究进展进行概述,Philip等人从技术的角度总结了现有的方法。具体而言,他们首先对具有影响力的社区发现深度学习方法进行了分类。在每一类中,他们概述了框架、模型以及算法的技术贡献。为了研究近年来被应用于社区发现的深度学习方法,图2描述了相关深度学习方法的详细分类情况,并相应地附上了总结出来的挑战。本章将从基于深度神经网络、基于深度图嵌入、以及基于图神经网络的社区发现方法三个方面展开叙述。4.1基于深度神经网络的社区发现深度神经网络在对复杂的关系进行建模和发现的任务中具有天然的优势。考虑到现有的深度神经网络模型在社区发现领域的流形程度,作者选取了基于卷积神经网络(CNN)、基于自编码器、基于生成对抗网络(GAN)的社区发现方法进行调研。基于CNN的社区发现CNN的关键组件包含卷积操作和对卷积层结果的最大池化操作。卷积操作利用卷积核降低计算开销。随后,最大池化操作被用于特征提取,这保证了CNN的鲁棒性。得益于CNN的发展,Xin等人设计了一种用于社区发现的新型CNN,并提出了一种用于拓扑结构不完整的网络的有监督算法。由于社区发现被广泛看做一种无监督聚类任务,科研人员对基于无监督CNN的社区发现进行了研究。人们研发出了在CNN框架下的系数矩阵卷积,从而专门进行对高度稀疏的邻接矩阵的表征。基于自编码器的社区发现栈式自编码器是一种深度学习模型,它在社区发现任务中表现出了强大的性能,可以表征网络矩阵的非线性特征。研究者们发现自编码器和谱聚类在谱矩阵的低维近似方面有相似的框架,并受此启发将自编码器引入了社区发现领域。此后,Cao等人提出了一种将网络拓扑和节点属性相结合的栈式自编码器,它提升了深度神经网络隐层的泛化能力。为了进一步解决网络拓扑和节点属性之间的匹配问题,Cao等人通过引入一个控制这种匹配的折中的自适应参数,研发了一种带有图正则化的自编码器方法。着眼于网络拓扑,Xie等人提出在深度自编码器中对邻接矩阵进行变换,从而有效地学到节点相似度。同时,Bhatia和Rani提出的自编码器通过对随机游走序列建模学习节点的结构,他们通过优化社区结构的模块度对这种序列进行调优。为了避免预设社团的数量,Bhatia和Rani提出了一种层级栈式自编码器,他们找出种子节点,基于网络结构有效地将其它节点加入到社区中。此后,该领域的研究旨在自适应地学习而不是预定义社区结构。Choong等人提出的方法大大地提升了训练损失验证阶段的计算效率。这种自动选择机制保证了模型基于社区标准分配节点。Xu等人将包含具有正负号连接的网络成为有符号网络(signednetwork)。为了处理边上的有符号信息,Shen和Chung提出了一种半监督的栈式自编码器,它可以重构邻接矩阵,为进一步的深度学习网络嵌入的学习表征有符号网络。基于生成对抗网络(GAN)的社区发现GAN包含两种相互竞争的深度神经网络,因此它可以迅速调整训练精度。典型的GAN是以无监督方式运行的,它们生成与训练集中的数据具有相同统计特征的新数据。对于网络数据来说,GAN模型适用于无标签的数据集和序列化的网络划分。Yang和Leskovec等人基于对抗性机制,提出了社区隶属关系图模型(AGM)。AGM基于「节点-社区」成员隶属关系(nodemembership)的思想对重叠的社区中的节点进行编码。每个社区都有一个单一的概率,使得社区结构可以在GAN中进行。Jia等人通过将这种模型与GAN相结合研发了一种新型的框架,它根据具有中间项(即隶属图中的「节点-社区」成员隶属关系)进行社区发现。4.2基于深度图嵌入的社区发现深度图嵌入是一种将网络中的节点映射到一个低维向量空间中的技术。它将尽可能多的结构信息保存到表征中。通过图嵌入,基于网络分析的机器学习任务(例如链接预测、节点分类和节点聚类)可以利用表征的潜在特征,这样节省了主要由网络搜索引起的计算开销。对于社区发现任务来说,基于节点表征的图嵌入的输出支持聚类的任务(例如通过k-means聚类)。基于深度非负矩阵分解的社区发现非负矩阵分解(NMF)是一类将矩阵分解为两个矩阵的算法,它具有如下性质:三个矩阵都没有负的特征值。NMF自动地对输入数据的列进行聚类,通过训练阶段的误差函数,使原始矩阵和两个分解出的矩阵之间的近似误差最小。Ye等人提出了一种用于社区发现的深度NMF模型,其中深度学习架构可以促进NMF学习原始网络结构和社区结构之间的层次化映射。在某些情况下,社区发现的工作需要与对带有属性的内容的语义理解同时进行。为此,研究人员以一种带属性的图的形式表征网络,这种图同时包含了网络结构和节点的属性。Li等人特别针对带属性图的社区发现任务提出了一种嵌入方法,它将带有属性的社区发现看做一个NMF优化问题。为了使算法收敛,他们设计了一套可计算的迭代更新规则。基于深度稀疏滤波的社区发现邻接矩阵反映出了网络的稀疏性。嵌入对输入的成对关系进行编码,从而避免在稀疏矩阵上进行搜索。稀疏滤波(SF)是一种有效的深度特征学习算法,它只用到了一个超参数,但可以处理高维输入。SF的关键模块是针对L2正则化后的特征的稀疏性设计的简单代价函数。对于网络(尤其是在大型网络中)的社区发现,Xie等人基于深度稀疏滤波提出了一种高效的网络表征方法。他们通过一种无监督的深度学习算法划分网络,从而提取网络特征。基于社区嵌入的社区发现传统意义上,图嵌入重点关注单个的节点。Cavallari等人研究了另一种重要的、但是鲜有人探索过的图嵌入情况,他们重点关注对社区的嵌入。他们认为这种新的重要策略有益于社区发现任务。具体而言,社区嵌入的目标是在低维空间中学习一种社区的节点分布。我们可以通过过渡性(transitional)的图嵌入方法使用这种新的节点分布,从而很好地保留网络结构,这反过来可以提升社区发现的性能。此外,Tu等人提出了一种新的图嵌入模型,它同时探测每个节点的社区分布,并且学习节点和社区的嵌入。网络中的社区实际上反映了同一个社区中相似的观点、行为等高阶近似信息。Zhang等人提出了一种保留社区信息的社交网络嵌入方法来学习网络表征。他们提出的这种方法在社区检测任务中体现出了性能的优越性。4.3基于图神经网络的社区发现近年来,图神经网络(GNN)的迅猛发展表明了图挖掘和深度学习技术融合的趋势。基于GNN的社区发现被用于利用图神经网络对网络上的复杂关系进行建模,并捕获这种关系。例如,Chen等人提出的有监督社区发现GNN引入了一种非回溯的运算符,来定义边的邻接性。这种方法可以提升学习性能。对于GNN来说,运算符的选择非常方便。图卷积网络(GCN)是基于CNN研发的,它继承了快速学习的能力。面对图输入数据,GCN展现出了非常好的性能。GCN带来的巨大提升在于整合了考虑网络中实体概率分布的概率模型。例如,Jin等人通过马尔科夫随机场解决了包含语义信息的带属性网络中的半监督社区发现问题。Shchur和Gunnemann将「伯努利-泊松」概率模型整合到GCN中,用于重叠社区发现问题。通过这种方法,卷积层可以识别复杂的网络模式。五、挑战和机遇近年来(尤其是近5年来),用于社区发现的深度学习技术迅速发展。由于对现实世界具有重大的影响,这一领域持续受到研究人员的关注。尽管取得了令人欣喜的成果,在将深度学习应用于社区发现的领域中,仍然有一些挑战有待被更好地解决。下面,本文将总结这些挑战和机遇。挑战1:社区数未知长久以来,由于社区数未知而引发的挑战始终没有得到很好的解决。在机器学习领域中,社区发现经常被表示为一种无监督聚类任务。总现实世界的网络中提取出的研究数据大多是没有标签的。因此,我们很难获取有关社区数的先验知识。此外,大多数现有的深度学习社区发现方法(尤其是深度图嵌入),通过评估潜在特征空间中的节点相似度获取分类节点。然而,在后续的聚类算法中,聚类的目标数量仍然需要被事先定义。机遇:对于这一挑战,一个直接的解决方案是通过分析网络拓扑确定社区的数量,并将其整合到深度学习模型中。Bhatia和Rani等人遵循这一思想,采用基于随机游走的定制化PageRank算法,通过将图重构到一种线性的形式进行社区发现,并通过模块化的优化方法来应用调优。但是这些方法并不能保证网络中的每个节点可以被分配到特定的社区中。因此,我们需要为社区发现任务涉及新的模型,从而避免在分配社区的过程中漏掉某些节点。挑战2:网络层次网络层次反映了分层的网络结构,它将位于独立的层上的多个群组连接了起来,从而形成一个更加复杂的网络。而每一层都专注于特定的功能。对于多层网络,用于社区发现的深度学习技术必须实现对于两种层次上的表征的提取。而且他们将面临多层网络固有的挑战,这包括不同的关系类型以及不同层中不同的稀疏程度。机遇:为了区分不同种类的连接,Song和Thiagarajan提出了一种具有特殊子图设计的多层DeepWalk模型,从而保存了层次化的结构。但是他们并没有同时优化可以用于所有层的公用表征以及保留了特定层网络结构的局部表征。他们的目的是利用不同层之间的依赖,而实际上这种依赖关系经常被破坏。此外,对于新的设计来说,还应该考虑与层数增加有关的可伸缩性问题。因此,在研发用于具有网络层次的社区发现的深度学习方法的问题上,我们还有很长的路要走。挑战3:网络异质性网络的异质性指的是网络中实体类型的显著差异,而各种各样的节点集合和它们之间复杂的联系形成了异质网络。因此,我们应该通过不同于同质网络的方式研究异质网络中的社区发现。在应用和研发深度学习模型和算法时,应该解决异质网络实体上的概率分布的差异。机遇:大多数之前的深度学习方法并不是基于网络异质性研发的。Change等人设计了一种非线性嵌入函数,它被用于捕获异质组件之间的交互。因此,未来在异质网络上至少存在两个方面的研究机遇:(1)异质网络表征的深度图嵌入学习模型以及相关的支撑算法;(2)采用新型训练过程的特定深度学习模型,旨在学习隐藏层中的异构图属性。挑战4:边上带符号的信息许多现实世界中的网络具有边上的符号信息(即正关系或负关系)。在有符号网络的环境下,用于社区发现的深度学习方法面临的挑战是:通过不同的符号信息表示的节点之间的联系应该以不同的方式对待。机遇:一种可能的解决方案是,通过设计一种随机游走过程引入正关系边和负关系边。Hu等人遵循这一思路,基于词嵌入技术研发了一种稀疏图嵌入模型。但是,他们的方法在一些小型的真实世界中的有符号网络中的性能要差于作为对比基线的谱方法。另一种的可能的解决方案是重建一个有符号网络的邻接矩阵表征。然而,这又面临着另外一个问题:现实世界中的绝大部分邻接连接是正关系。Shen和Chung施加了更大的惩罚,使他们的栈式自编码器模型更加关注重建稀缺的负边而不是丰富的正边。然而,在大多数情况下,我们并不能获取关于大量节点的社区分配信息。因此,在有符号网络中,社区发现的高效的无监督方法仍然有待探索。挑战5:社区嵌入社区嵌入是一个新兴的研究领域,这种方法将对社区而不是每个独立的节点进行嵌入。社区嵌入重点关注对社区进行感知的高阶近似而不是在节点邻居之间的1阶或2阶近似。未来,社区嵌入研究面临的挑战有:(1)高昂的计算开销;(2)节点和社区结构之间的关系评估;(3)应用深度学习模型时发生的其它问题,例如社区之间的分部漂移。机遇:设想有一种智能的方法通过自动选择针对节点和/或社区的表征模块来支撑社区嵌入。为此,Philip等人建议从以下研究目标入手:(1)如何将社区嵌入整合到一个深度学习模型中?(2)如何为了「计算地更快」这样的目标直接嵌入社区结构?(3)如何优化整合好的深度社区发现学习模型中的超参数?挑战6:网络的动态性网络的动态性主要包含两种情况:网络拓扑的变化,以及在固定拓扑上的属性的变化。拓扑的变化会引起社区的演化。例如,添加或删除一个节点会影响全局的网络连接,因此它也会改变社区结构。对于静态网络来说,深度网络社区发现学习模型在面对每个网络的快照时,需要重新训练,这里面包含一些重复的工作。对于静态网络中的时序属性,技术上的挑战在于对于流数据的深度特征提取,这些流数据的概率分布和属性随时都会变化,它们引入图数据作为深度学习模型输入的另一部分。机遇:针对时间和空间维度上的动态特性,人们还没有研发用于社区发现的深度学习模型。未来的研究方向包括:(1)发现并识别社区间的空间变化;(2)学习深度模式,它同时对时序特征和社区结构信息进行嵌入;(3)为社区发现任务研发一种统一的深度学习方法,它可以同时处理空间和时间特征。挑战7:大规模网络大规模网络指的是拥有数以百万计的节点和边、大规模结构化模式以及高度动态性的大型网络。因此,大规模网络有其固有的规模特性(例如,社交网络中与规模无关的特性,节点度的米率分布特性),这些特性会影响社区发现任务中的聚类系数。此外,通过分解后的有关高维邻接关系的近似度度量,研究人员将分布式计算应用于可扩展的学习,同时他们也面临着鲁棒的学习控制和协作计算的问题。不断变化的网络拓扑进一步增加了近似度估计的难度。总而言之,大规模网络中的社区发现设计上述所有提到的挑战,以及可扩展学习方面的挑战。机遇:大规模网络(例如,Facebook和Twitter)不仅提出了挑战,也催生了设计更先进的深度学习方法的机遇。为了充分利用大规模网络中的丰富信息,社区上的聚类任务更需要具有较低的计算复杂度并具有灵活性的新型无监督算法。深度学习中用到的关键数据降维方法(即矩阵低秩近似)并不适用于大规模网络,它在分布式计算场景下的计算开销也是很高昂的。因此,人们急需新型的深度学习框架、模型和算法。研发应用于大规模网络的深度学习方法需要通过精度和速度来评估,这种评估方式可能是最大的挑战。六、结语如今,我们生活在各种各样的网络中。发现这些网络的内在功能和特征有助于我们全面地理解周围的环境(尤其是在社交网络中)。社区还原了描述社会现象的复杂关系。传统的社区发现方法曾经依赖的是统计推断和机器学习(谱聚类)。然而,深度学习的发展极大地提升了社区发现方法的计算性能,用于社区发现的深度学习方法近五年来被广泛地研究。在这篇综述文章中,Philip等人全方位地回顾了模型和算法研发方面相应的技术趋势,并针对基于深度学习领域社区发现进展做了详细的阐述。最为重要的是,这篇综述还指出了将深度学习用于社区发现任务时存在的七个重大挑战,这在一定程度上将为下一代社区发现研究指明方向。雷锋网雷锋网(公众号:雷锋网)雷锋网

2020年05月22日 11:50

做互联网运营,如何建立并增加网站关键词库?

网站建设容易,但是做互联网运营确是有难度的,而提升权重是需要技术操作的。实际上,网站权重的提升是一个增加网站词汇的过程。网站关键词的重要性不言而喻。SEO优化推广以关键词为中心,关键词是汉语教学的中心词。关键字也称为关键字。它是网站的三个要素之一(标题、描述、关键字)。它可以是一个词也可以是一个短句子。关键词搜索是搜索引擎索引的主要方式之一,是搜索引擎优化人员的主要优化对象。一、关键词分为哪几类?关键词一般分为三类:目标关键词、长尾关键词、品牌关键词,这三类关键词一般我们是大小通吃的,但是长尾关键词一般都是由关键词词根拓展而来,所以抓住关键词的词根进行拓展才是比较正确的方法。二、网站关键词库是怎么来的?网站关键词库是站长工具或爱站工具依据网站有指数并排名在前50名的关键词,关键词排名越好,关键词库关键词就越多,获得的流量就越多。这些关键词词是由核心关键词与长尾关键词组成,必须要重视关键词布局与网站内容质量。三、关键词库有什么用?1、指导优化方向与更新内容。平常在做优化的时候,很多人都是集中做核心关键词优化,这样的优化非常局限,互联网覆盖率很低,网站只有被少量的潜在客户看到。所以在更新内容的时候一定包含关键词、长为关键词,丰富关键词库,提高互联网覆盖率。2、指导网站内链的建设。平常在内链建设方面,很多的新手站长制作核心关键词锚文本,其实内链建设不是这样的,并不是说只有布局在网站内部关键词做锚文本链接,与布局关键词相关的关键词也是可以做锚文本链接,并且链接到布局相关关键词页面,利于提升关键词排名;四、怎么增加网站关键词库?1、筛选关键词。这个筛选关键词与布局网站筛选关键词有所不同,需要选择指数低于100的关键词来做,并且是长尾关键词,越核心的关键词指数越大,就越难有优化排名,一定要多筛选长尾关键词。2、优化栏目页与分类页关键词。网站有很多个页面,除了首页、产品详情页、资讯详情页,还有很多的栏目页与分类页,这些页面权重很高,布局一些竞争程度不大的关键词,更利于上首页,这样整个网站就有更多关键词排名。3、围绕关键词发布原创文章。文章本身就可以用来做长尾关键词优化,在写文章的时候,把关键词融合到标题里,融合在文章内容里,按照文章优化规则,不仅能被百度快速收录,还能获得好的排名。4、文章关键词上加锚文本。百度一直强调文章内部必须要有导入与导出链接,如果没有这些链接存在,蜘蛛会认为这是一个最终页面,也就不会往下爬行抓取,不利于网站收录与关键词排名,所以要做好关键词锚文链接,完善网站内部链接。具体的拓展方法有百度下拉框法、百度相关搜索挑选法、拓展深度3-4层即可,百度指数关键词工具,百度竞价后台,头脑风暴研究法以及关键词拓展工具如站长工具、5118、爱站等。五、筛选优质关键词什么是优质关键词?官方一点的说法就是能够带来精准客户流量,却又花费最少成本的关键词,不一定要是搜索量最高的关键词,不一定要是绝对的转化关键词。这样说起来就比较虚了,因为我们还是没有一个明确的标准。另外一般关键词后面带有“厂家”“价格”“十大品牌”,或者疑问形式的,如“哪家好”“去哪玩”都是比较有高意向的关键词,这类词作为后缀进行拓展或许会有很多意想不到的爆发式效果,但是得注意一个前提,量一定要上来,没有量,这些词的流量可能就太微不足道了。精准关键词是根据长尾理论兴起的一种seo新理论,即虽然少数核心关键字可以为网站带来一定的访问量,但有一些较长的精准关键词却能为网站带来可观的访问量并且这些精准关键词检索所形成的顾客转化率更高。打个比方,我们把“新疆美食”当作原始关键词,然后我们通过百度搜索的不断挖掘,我们大致可以得到“正宗新疆美食”、“新疆特色美食”、“新疆美食店铺”等等这些比较精准的关键词。六、测试关键词测试关键词的流量、点击和转化,量化关键词的转化其实很多时候让许多人感到苦恼,因为大家头疼量化的标准,这里我们大可不必,因为有太多可以量化了,例如用户注册的量作为一个转化,用户购买的量作为一个转化,用户点击公司“联系我们”作为一个转化等等。这里要说一说的就是测试的时候要注意了解关键词的流量和点击率,如果能够对于每个用户搜索过来的流量和点击流进行分析,综合起来,可能就能够摸清楚一些用户搜索的意图。更深层次地讲,就是做到定向你的客户群体,通过流量入口控制他们。主要就是“属性”与“关键词”通过数据中可以分析,比如从热搜地区可以选择你需要的地区市场。

2020年05月03日 19:34

租客网:别看那些千篇一律的租房攻略了,看这篇,颠覆你的租房思维!

如果你在百度上输入“租房攻略”或者类似的关键字,可以查到非常多的结果,还有不少“史上最全”“血泪总结”什么的。然而你仔细一看,这些攻略大多千篇一律,细节讲的不少,眼睛都看的花了,实际上却帮不上什么忙。有些攻略事无巨细,采光要好小区要好楼层要好地段要好,啥都考虑到了,就差直接帮你签合同了,然而你真的去租房了才发现,自己哪有那么多选择,能租到离公司近、价格合适的房子就谢天谢地了,攻略里说的完美房子就没有,即使有,自己也负担不起。有些攻略则根本是一本戏精教程,教你怎么和中介、房东斗智斗勇,然而实际情况千变万化,戏精也是需要天分的,不是每个人都能从中介和房东嘴里套话的。说着容易操作难,中介和房东身经百战,你初出茅庐,攻略里的所谓技巧,很难应用的了。攻略一份又一份的看,每一篇都觉得很有道理,看过就忘,结果租房还是那么难。要想真正让租房更简单,别再沉迷于那些长篇累牍的细节,让我们把思维逆转过来!我们不应该总想着怎么在有限的选择之内挑到更好的,而是应该拓宽我们的选择。当然,我们说拓宽选择,并不是让自己降低要求,而是要改变思路。其实思路很简单:(不过这个思路只适用于合租的朋友)先找室友,再找房子。(一)为什么是这样?2居室以上的房源出租,有两种方式:整套出租和单间出租。比如说一个3居室,月租3000的房子,一次性租出去,这叫整套出租;分3次每次租1间,1000元/月,分别租给3个人,这叫单间出租。中国目前的租房市场的现状是,无论是中介还是个人房源,整套出租的数量都比单间出租多得多得多。也就是说,你一个人去合租,你只能选择这些单间出租的房源,而单间出租的房源只是租房市场中的一小部分,你的选择被严重限制了。如果你先找室友,和找到的室友一起去租整套出租的2居室或者3居室,你们选择的余地将大大增加。回答几个问题:1.整套出租的房源真的比单间出租的房源多得多吗?如果你不信,可以去58同城或者链家,看看某个城市的某个小区,整套出租的房源有多少,单间出租的房源又有多少。2.为什么会这样?对于中介的经纪人来说,整租是房东直接出租,而单间很多是由二房东承租后再单个出租,或者空出一个单间需要转租,这些情况的租赁和利益关系链都比直接承租更长,可能存在问题的环节也更多,中介处理非常麻烦,加上单间成交价格低,中介从中获取的利益也低。个人房源也是如此,个人房东还得上班,一间一间往外租更加麻烦,一次租出去对谁来说都是省时省力。因此先找室友可以将你租房的选择数量完全提升至少一个量级。除此之外,这种方法还有更多的好处:1.室友是合租生活中仅次于房子的重要部分,在大城市打拼真的很辛苦,而天天见到的就是室友。一个合得来的室友可以让自己的生活质量大幅度提高,而一个奇葩室友可以让自己下班也不得安生(没有体验过奇葩室友的同学,建议百度一下“租房奇葩室友”,看看别人的血泪经历)。与其租房时随机被分配室友,不如主动出击,找到一个小伙伴愉快玩耍,岂不美哉?2.室友在找房子的时候可以互相帮助。如果你的工作找在一个陌生的大城市,举目无亲,一个人面对这样那样的烦心事,特别无助。但是如果你先找了一个室友,你们可以:·互相帮助,彼此分担:共同看房,搬行李等等·共同面对房东、中介,维护自己的权益·说不定还能以人数优势讲讲价(主动找室友真的能避免找到奇葩室友吗?不敢说百分之百,但是遇到奇葩室友的概率会小很多。原因有两个,第一是主动找室友的过程中和对方会有很多交流的机会,在这个过程中对于对方就有了一定的了解,可以规避一部分奇葩室友;第二是奇葩室友一般不会专门来找室友,反正他们都是奇葩,和谁一起住他们都是不怕的,奇葩和懒人一般不会费那个时间和精力来找室友。)(二)我要怎么做?看到这里有人可能就要说了:废话,如果有熟人我肯定就一起合租了,这不是找不到合适的人吗。确实,先找室友的前提是双方的居住区域、租金水平必须要保持一致,另外双方在对房子的要求、自身的生活习惯等方面也可能出现分歧。目前市面上还没有很好的专门找室友的产品,因此我们只能退而求其次,在微信群、QQ群、微博、贴吧、豆瓣等处寻觅自己的室友。发布自己的要求,或者查看他人发布的要求,看看有没有各方面合适的,再聊一聊互相了解一下,这样找到的室友,会比撞大运随机选择室友好得多。由于微信群无法搜索,找租房微信群会比较难一些。QQ群可以直接搜索“城市+租房”关键字,就会出来结果了。部分群需要付费,几毛钱到几块钱不等,加入后五分钟内退群系统会退款。不过总体来讲QQ租房群质量没有微信高。微博的话你可以发布带#租房##合租##(城市)租房##(城市)合租#这样的话题的微博,或者到这些话题下面去看别人发布的信息;贴吧可以在租房吧、合租吧、(城市)合租吧等贴吧发帖回帖;(除北京租房吧是单独的吧之外,其他城市+租房的贴吧都被系统合并到租房吧了)豆瓣则在租房相关的小组发帖,或者浏览其他人的帖子。租房是一件需要重视的事情,尤其是毕业生,不要等到马上没地方住了再去着手租房的事情,一来很多毕业生没有相关经验,时间紧急着找房的心态下容易被坑,二来毕业季是租房高峰期,不但租房难度变大,租金也可能会涨,应该要提前一些时间准备,事半功倍。祝大家都找到合适的室友和房子!(文章摘自网络,侵删)

2020年04月01日 14:33