# 扫描目录下的微博原始文件，报告其中格式有问题的微博条数

# 微博数据文件的格式：
#  用户ID 地址 微博ID unix时间戳 月数 周数 微博文本

import os 
import time 

# ===================== 参数设置 =====================

inpath = "../data/weibo2209-samples/"

# ===================== 参数设置 =====================

#从数据文件中读入，解析每行内容，统计格式有误的微博条数
def scanner(fname):
    num_lines = 0
    err_lines = 0
    single_lines = 0
    more_lines = 0
   
    with open(fname, encoding='utf-8') as freader:
        for fline in freader:
            
            line_content = fline.rstrip('\r\n')
            seg = line_content.split('\t')
            col_num = len(seg)

            if(col_num != 7):
                if(col_num == 1):
                    single_lines += 1
                elif(col_num > 7):
                    more_lines += 1
                err_lines += 1
                
            num_lines += 1

    print()
    print(fname, ': ', single_lines, ' / ', more_lines, ' / ', err_lines, ' / ', num_lines)

    return

#读入目录下每个文件，扫描检查每个文件的数据格式
for f in os.listdir(inpath):
    st = time.time()
    infile = inpath + f 
    print(f)
    print(infile)
    scanner(infile)
           
    et = time.time()
    print(f,":",(et-st),"s")
    
    