Python常用库—tqdm

tqdm Tqdm库比较常用,用于显示进度条。 简单用法: from tqdm import tqdm for i in tqdm(range(2)): pass 100%|███████████████████| 2/2 [00:00<00:00, 1998.72it/s]  

海南IT互联网招聘数据简单分析

  前两天文章说了海南IT互联网相关数据提到公司数量很多,但招聘的岗位很少的问题,但由于只是简单截图了相关招聘数据做就吐槽招聘数据少。可能数据维度太少、没做横向对比,导致看上去不太不太科学、客观。但该篇文章的结论是否有问题呢?   公司增、税收增、人员不增的说法是否站得住脚,这篇文章将主流招聘网站的

Mongo Spark Connector中的分区器(一)

  MongoSpark为入口类,调用MongoSpark.load,该方法返回一个MongoRDD类对象,Mongo Spark Connector框架本质上就是一个大号的自定义RDD,加了些自定义配置、适配几种分区器规则、Sql的数据封装等等,个人认为相对核心的也就是分区器的规则实现;弄清楚了其

一、Golang中的反射基本使用

  Go中也提供了反射机制,与Java一样Go的反射也是在运行时获取对象的相关信息,更新对象内部状态;Golang通过反射可以获取对象类型、字段类型与值、调用struct实例方法、更新实例值等;   Go关于反射相关的对象、函数都在reflect包中最主要的两个为:Type与Value;   Go提

Golang中的sync.Pool对象

  Golang中存在一个Sync.Pool 对象,从名字上看像是对象池,但他本质上和实际上的对象池有着很大的区别,下面将详细介绍该对象。 Sync.Pool对象可伸缩、并发安全; 数据结构 type Pool struct { noCopy noCopy //标识不可复制对象 local

Golang中的内置函数

  Go中存在着不少内置函数,此类函数并不需要引入相关Package就可以直接使用该类函数。在Go的源码builtin包的builtin.go中定义Go所有的内置函数;但该文件仅仅是定义描述出了所有内置函数,并不包含函数的任何实现代码,该文件除了定义了内置函数还定义了部分内置类型; 内置函数使用 l

golang单元测试简述

  Golang中内置了对单元测试的支持,不需要像Java一样引入第三方Jar才能进行测试,下面将分别介绍Golang所支持的几种测试; 一、测试类型   Golang中单元测试有功能测试、基准测试、示例测试或称示例函数三种;   功能测试必须以TestXXX函数名出现,基准测试必须以Benchma

Spark Streaming数据限流简述

  Spark Streaming对实时数据流进行分析处理,源源不断的从数据源接收数据切割成一个个时间间隔进行处理;   流处理与批处理有明显区别,批处理中的数据有明显的边界、数据规模已知;而流处理数据流并没有边界,也未知数据规模;   由于流处理的数据流特征,使之数据流具有不可预测性,而且数据处理

Golang中类面向对象特性

一、类型方法的实例成员复制与类型方法的实例成员引用   在Go中可以类似Java等面向对象语言一定为某个对象定义方法,但是Go中并没有类的存在,可以不严格的将Go中的struct类型理解为面向对象中的类; type demoObject struct { id int }   类的概念有了

在Docker中跑Hadoop与镜像制作

  重复造轮子,这里使用重新打包生成一个基于Docker的Hadoop镜像;   Hadoop集群依赖的软件分别为:jdk、ssh等,所以只要这两项还有Hadoop相关打包进镜像中去即可; 配置文件准备 1、Hadoop相关配置文件:core-site.xml、hdfs-site.xml、mapr
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×