大数据Spark Sql中日期转换FROM_UNIXTIME和UNIX_TIMESTAMP的使用
目录UNIX_TIMESTAMPFROM_UNIXTIME众所周知，数字整型用来大小比较和计算运算要比字符型快的多，因此部分业务需要把时间字段转化为整型方便业务的快速计算和到达，这个整形数字是选定的日期距UTC时间1970-01-01 00
数据库
关系型数据库和非关系型数据库概述与优缺点对比
目录一、关系型数据库1、概念2、关系型数据库的特点3、关系型数据库的瓶颈4、关系型数据遵循ACID原则1、A (Atomicity) 原子性2、C (Consistency) 一致性3、I (Isolation) 独立性4、D (Durab
SQL注入篇学习之盲注/宽字节注入
目录盲注布尔盲注时间盲注盲注函数length() 函数 返回字符串的长度演示语句burp抓包演示宽字节注入php魔术函数开启方式开启效果作用绕过方法宽字节注入总结盲注有时目标存在注入,但在页面上没有任何回显,此时，我们需要利用一些方法进行判
颜值与实用性并存的数据库建模工具Chiner教程
目录一、chiner介绍二、值得关注的功能点2.1. 兼容各种格式的数据建模文件2.2. 支持多数据库、代码生成2.3. 支持逻辑视图与物理视图设计2.4. 自动生成数据库文档三、总结一、chiner介绍在chiner出现之前进行数据库建模
InnoDB主键索引树和二级索引树的场景分析
我们这里讨论InnoDB存储引擎，数据和索引存储在同一个文件student.ibd场景1：主键索引树uid是主键，其他字段没有添加任何索引select * from student;如果是这样查询，这表示整表搜索，从左到右遍历叶子节点链表，
高效的数据同步工具DataX的使用及实现示例
目录前言一、DataX 简介1.DataX3.0 框架设计2.DataX3.0 核心架构二、使用 DataX 实现数据同步1.Linux 上安装 DataX 软件2.DataX 基本使用3.安装 MySQL 数据库4.通过 DataX 实
简单聊一聊SQL注入及防止SQL注入
目录SQL注入附防止sql注入的一些建议总结SQL注入SQL注入是通过操作输入来修改事先定义好的SQL语句，对用户输入的字符串进行过滤，转义，限制或处理不严谨，导致用户可以通过输入精心构造的字符串去非法获取到数据库中的数据，以达到执行代码对
时序数据库TDengine写入查询的问题分析
目录写入问题必须为每个Tag组合起一个表名Tag支撑与管理不支持乱序写入查询问题求topN的groupdownsampling和aggregation查询聚合架构写入问题必须为每个Tag组合起一个表名付出的代价：用户必须要保证每个Tag组合
hive中的几种join到底有什么区别
目录数据：1. left join2. join3. full join4. Join…on 1=15. union6. union allunion和union all的区别总结hive中，几种join的区别数据：tom,1
Lakehouse数据湖并发控制陷阱分析
目录1. 概述2. 数据湖并发控制中的陷阱3. 模型 1：单写入，内联表服务4. 模型2：单写入，异步表服务5. 模型3：多写入1. 概述如今数据湖上的事务被认为是 Lakehouse 的一个关键特征。 但到目前为止，实际完成了什么？ 目前
Apache Hudi集成Spark SQL操作hide表
目录1. 摘要2. 环境准备2.1 启动spark-sql2.2 设置并发度3. Create Table4. Insert Into4.1 Insert4.2 Select5. Update5.1 Update5.2 Select6. D
Nebula Graph解决风控业务实践
目录业务背景为什么选择 Nebula Graph金融风控业务实践关系图谱图模型预测未来展望版本规划更多应用场景互联网金融的借贷同传统信贷业务有所区别，相较于传统信贷业务，互联网金融具有响应快、数据规模大、风险高等特点。众安保险主要业务是做信
pentaho工具将数据库数据导入导出为Excel图文步骤
目录需求一：将mysql一张表数据导出到Excel第一步：添加数据库驱动包第二步：新建转换第三步：配置数据库连接第四步：配置输出Excel格式第五步：运行需求二：将Excel数据导入到mysql数据库第一步：整理数据第二步：新建转换第三步：
数据分析数据库ClickHouse在大数据领域应用实践
目录一、序言1、应用场景2、学习姿势二、知识储备（一）磁盘IO1、数据量与查询效率（二）性能对比1、磁盘工作机制2、按行（列）存储三、基础知识（一）表结构1、排序2、主键3、默认值（二）表引擎1、MergeTree2、ReplacingMe
victoriaMetrics代理性能优化问题解析
目录起因总结后续起因最近有做一个Prometheus metrics代理的一个小项目，暂称为prom-proxy，目的是为了解析特定的指标(如容器、traefik、istio等指标)，然后在原始指标中加入应用ID(当然还有其他指标操作，暂且
sql注入报错之注入原理实例解析
目录前言0x010x020x03总结前言我相信很多小伙伴在玩sql注入报错注入时都会有一个疑问，为什么这么写就会报错？曾经我去查询的时候，也没有找到满意的答案，时隔几个月终于找到搞清楚原理，特此记录，也希望后来的小伙伴能够少走弯路0x01我
Hive常用日期格式转换语法
目录获取当前时间日期格式转换返回日期中的年，月，日，时，分，秒，当前的周数计算日期差值返回当月或当年的第一天参考汇总获取当前时间获取当前时间戳select unix_timestamp()把时间戳转为正常的日期select from_uni
Beekeeper Studio开源数据库管理工具比Navicat更炫酷
目录前言Beekeeper Studio 简介下载安装使用外观设置创建数据源管理表操作SQL操作总结前言数据库管理工具，是后端程序员使用频率非常高的的工具。Navicat、DataGrip虽然很好用，但都是收费的。最近在逛Github的时候
如何利用SQL语句创建数据库详解
目录前言建立数据库总结前言SQL语言是集DDL、DML和DCL于一体的数据库语言SQL语言主要由以下9个单词引导的操作语句来构成，但每一种语句都能表达复杂的操作请求DDL语句引导词：Create（建立），Alter（修改），Drop（撤销）
Hive HQL支持2种查询语句风格
目录背景风格一风格二两种风格的区别背景在平时业务运营分析中经常会提取数据，也就是大家俗称的Sql Boy，表哥表姐，各大公司数据中台现在大部分用的都是基于Hadoop的分布式系统基础架构，用的比较多的有Hive数据仓库工具，数据分析师在数据
