SuperIT 专业IT技术社区之后端大数据与Devops

SQOOP 导出-Hive和MySQL数据导入导出

基本知识： Sqoop导出的基本用法：https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_syntax_4 的10. sqoop-export 一、sqoop导出hive表到mysql中: 实现语句： ...

4年前 (2020-10-26) 7℃

Sqoop学习之路（一）

Sqoop学习之路（一）讨论QQ：1586558083 目录一、概述二、工作机制三、安装 1、前提概述 2、软件下载 3、安装步骤四、Sqoop的基本命令基本操作示例五、Sqoop的数据导入 1、从RDBMS导入到HDFS中 2、把My...

4年前 (2020-10-26) 9℃

Sqoop 之数据迁移

文章目录 1.RDBMS到HDFS 1.1全部导入 1.2导入指定列 –columns 1.3导入指定行–where 1.4查询导入 1.5增量导入数据 1.6导入文件格式 2.RDBMS到Hive 3.RDBMS到Hbase 4.HIVE/H...

4年前 (2020-10-26) 5℃

hbase

hbase出现org.apache.hadoop.hbase.PleaseHoldException: Master is initializing错误解决

使用hbase创建namespace和table时提示该错误，完整的错误日志如下：按照网上的解决思路： 1、设置主机之间的NTP时间同步。 2、修改hbase-site.xml配置文件 <property> <name>hbase.ro...

4年前 (2020-10-26) 6℃

使用Sqoop导Mysql数据到Hbase报错

报错日志 20/04/14 16:40:45 WARN mapreduce.HBaseImportJob: Could not find HBase table hbase_company 20/04/14 16:40:45 WARN mapreduce.HBaseImpo...

4年前 (2020-10-26) 4℃

linux

命令行时区选择

tzselect：执行tzselect命令–>选择Asia–>选择China–>选择east China – Beijing, Guangdong, Shanghai, etc–>然后输入1 转...

4年前 (2020-10-22) 7℃

python

Python多进程-进程间数据的传递

两个进程间的数据是独立的，要进行数据传递的话可通过几个方法 Queue 通过队列来进行进程间数据的传递 1 2 3 4 5 6 7 8 9 10 11 12 13 14 # -*- coding:utf-8 -*- __author__ = "MuT6...

4年前 (2020-10-21) 8℃

hadoop

安装CDH&CM

(推荐)https://www.xiaokunli.com/2019/03/25/CM-CDH6.1.0%E5%AE%89%E8%A3%85%E8%BF%87%E7%A8%8B%E8%AF%A6%E8%A7%A3/ (推荐)https://blog.csdn.net/weixin...

4年前 (2020-10-13) 10℃

spark

运行Spark官方提供的例子

去spark官网把spark下载下来： https://spark.apache.org/downloads.html 解压，可以看下目录：其中examples目录下提供了java,scala,python,R语言的各种例子。点进src目录可以看到源代码，如：...

4年前 (2020-10-12) 6℃

大型云计算平台的搭建以及解决方案（超详细）

需求分析能接入 500 台以上的云终端，可以满足大型公司内各类员工的办公需求。公司员工用各自的账号能在公司内部的任何云终端上登录自己的远程桌面，实现公司内部移动办公；同时，要求出差在外的员工也能安全访问远程桌面，公司安全管理部门能监控到外发的电子文档资料。对于一家大型公司来说，...

4年前 (2020-10-12) 6℃

中型云计算平台的搭建以及解决方案（超详细）

需求分析能满足 100～500 个用户日常办公的需要，每个用户分配一个账号，从而使其能在任何一台云终端上登录云端桌面，实现公司内部的移动办公。应用场所包括大型的阅览室、培训教室、中型公司、大型门柜业务等。系统设计我们继续在前面双机方案的基础上做纵向和横向扩展：首先，在纵向上...

4年前 (2020-10-12) 7℃

小型云计算平台的搭建以及解决方案（超详细）

需求分析满足 60 个以内的终端用户（使用场合为办公、教学、多媒体阅览、门柜业务、家庭等），允许适度的不可用，要求满足若干个员工（如财务人员、老板）的高安全性。我们设计了单机和双机两种方案，大家可以根据自己的实际情况选择。单机方案结构简单、成本低，建设和运维容易，适合对可用性...

4年前 (2020-10-12) 8℃

漏洞危害列表

高危 1. sql注入有回显的sqli（and or union）真假页面注入-无回显延时注入错误信息注入 cookie 注入 sql错误信息泄漏（中危） 2.系统命令执行 3.代码注入 php/jsp/asp 代码注入 4.XXE-XML实体注入 5.CRLF注入 6....

4年前 (2020-10-12) 6℃

web漏洞扫码产品

AWVS：商业扫描器，有破解版。行业口碑最好的web扫描器。准确性最高、爬虫能力最强、通用漏洞覆盖类型广。windows版本有ui界面，Linux版本有web界面。优点：有api可以下任务、导出报表，扫描速度快，准确性高，可以自定义插件（但是语法晦涩教...

4年前 (2020-10-12) 7℃

云计算-云端本身还是 IT 系统

云端本身还是 IT 系统，所以逻辑上同样可以划分为这四层。底三层可以再划分出很多“小块”并出租出去，这有点像立体停车房，按车位大小和停车时间长短收取停车费。因此，云服务提供商出租计算资源有 3 种模式，满足云服务消费者的不同需求，分别是 IaaS、PaaS、SaaS，如图 1 所...

4年前 (2020-10-12) 6℃

常用数据库

表 1 所示列出了每一类数据库的前 3～5 名，排名会不断变化，实时的排名参见 http：//db-engines.com/en/ranking 网站。表 1 各类数据库排名大类类别前3~5名说明 SQL 关系数据库 Oracle、MySQL/MariaD...

4年前 (2020-10-12) 7℃

常见安全漏洞修复建议-3

Spring Boot Actuator 开放 Spring Boot 提供了安全限制功能。比如要禁用/env接口，则可设置如下： endpoints.env.enabled= false 如果只想打开一两个接口，那就先禁用全部接口，然后启用需要的接口： ...

4年前 (2020-10-12) 9℃

常见安全漏洞修复建议-2

Redis未授权访问 (1)漏洞详情 Redis因配置不当可以导致未授权访问，被攻击者恶意利用。在特定条件下，如果Redis以root身份运行，黑客可以给root账户写入SSH公钥文件，直接通过SSH登录受害服务器，可导致服务器权限被获取和数据删除、泄露或加密勒索事件发生，严重...

4年前 (2020-10-12) 8℃

常见安全漏洞修复建议-1

Marathon 未授权访问配置防火墙，限定可访问的源 ip。例如可以使用 iptables 利用 nginx 配置流量转发并设置 basic auth。低敏感文件泄露删除文件检查配置文件，禁止此文件能被访问跨站脚本攻击(...

4年前 (2020-10-12) 7℃

跨站脚本攻击(XSS, Cross Site Script)

跨站脚本攻击(XSS, Cross Site Script) (1)漏洞详情通常指黑客通过“HTML注入”篡改了原有网页，插入恶意脚本，从用户客户端发起的一种攻击。 XSS按效果的不同可以分为3种： 1. 反射型XSS：页面把攻击者输入的JS脚本直接回显在页面或源码中，需要诱...

4年前 (2020-10-12) 6℃

hbase

hbase默认端口

hbase.rootdir：这个目录是region server的共享目录，用来持久化Hbase。URL需要是’完全正确’的，还要包含文件系统的scheme。例如，要表示hdfs中的 ‘/hbase’目录，namenode 运行...

4年前 (2020-09-25) 7℃

hadoop

大数据系列的默认端口（hbase，hadoop，hived等）

常见端口汇总： Hadoop： 50070：HDFS WEB UI端口 8020 ：高可用的HDFS RPC端口 9000 ：非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalN...

4年前 (2020-09-23) 9℃

JConsole远程连接配置

转载：https://www.cnblogs.com/think-in-java/p/6138439.html JConsole远程连接还是有一点坑的。这里记录一下配置过程，好记性不如烂笔头。 1.在远程机的tomcat的catalina.sh中加...

4年前 (2020-09-22) 9℃

JVM内存设置多大合适？Xmx和Xmn如何设置？

问题: 新上线一个java服务，或者是RPC或者是WEB站点，内存的设置该怎么设置呢？设置成多大比较合适，既不浪费内存，又不影响性能呢？分析：依据的原则是根据Java Performance里面的推荐公式来进行设置。 296d1509689688.png...

4年前 (2020-09-22) 7℃

Linux命令之JVM性能监控

首先，让我们先从jps、jstack、jmap、jhat、jstat开始对JVM性能调优的认识。 jvm中运行的进程状态信息 jps：-m 输出传入main方法的参数 -v 输出传入jvm的参数 -q 不输出class名、jar名和传入main方法的参数 -l 输出main类或...

4年前 (2020-09-22) 8℃