有没有办法直接拆分一个DataTable 十万火急 在线等

yjlbukn 2005-08-02 07:19:37
现在有一个dataset包含表一个 50万行的数据,需要拆分成5个等大的数据表存放在另外一个dataset里面。
前提:不能从新从数据库读取!因为这50万行是经过处理过后的具有关系的数据!还有就是数据源是3个类型的以上,所以了没有办法,劳诸位大虾帮忙!
已经知道的方式有:
逐行浏览,添加到另外一个dataset里面
但是效率十分低下,求另外的解决办法!
已经知道的有:
int i,j;
DataSet dsSource;
DataSet dsResult;
for(i=0;i<5;i++){
DataTable dtTemp=new DataTable();
dtTemp=dsSource.Tables[0].Clone();
for(j=0;j<100000;j++){
dtTemp.Rows.Add(dsSource.Tables[0].Rows[j+i*100000].ItemArray);
}
dsResult.Tables.Add(dtTemp);
}
...全文
742 32 打赏 收藏 转发到动态 举报
写回复
用AI写文章
32 条回复
切换为时间正序
请发表友善的回复…
发表回复
yjlbukn 2005-08-05
  • 打赏
  • 举报
回复
Stream
的read方法是否有效还有待证实,因为stream是按照字节的方式,而不是按照xmlnode的方式,所以还要一个检验方法,有大虾可以帮忙写一个么?
tiaoci 2005-08-04
  • 打赏
  • 举报
回复
上面这个过程应当可以在瞬间完成,虽然我没试过
tiaoci 2005-08-04
  • 打赏
  • 举报
回复
首先 为什么需要分成5个表,

既然数据在了,直接使用那个大表就可以了

如果要分,那么下面的应当是最快速的方法了

DataTable [] dts = new DataTable[5];
int i;
for(i = 0; i < 5; i++)
dts[i] = src.Clone();
i = 0;
foreach(DataRow r in src.Rows)
{
dts[i/ 100000].Rows.Add(r);
i++;
}

另外转成XML肯定慢,50万条说不定运行半天都装不进来

panjf 2005-08-04
  • 打赏
  • 举报
回复
ReadXml可以接受Stream类型的参数,如果数据源是XML可以把它用流的方式一次100000的读出来,再把流读到DataTable里,不知道这样能不能快些。
liuguihua 2005-08-04
  • 打赏
  • 举报
回复
顶~!
yjlbukn 2005-08-04
  • 打赏
  • 举报
回复
看来是没有什么其他的建议了,谢谢诸位的参与,明天下午结帖
yjlbukn 2005-08-04
  • 打赏
  • 举报
回复
dts[i/ 100000].Rows.Add(r);

应该:
dts[i/ 100000].Rows.Add(r.ItemArry);
但是这样会造成一个dr的副本,所以可以这样

int i=0;
for(i=src.Rows.Count-1;i>-1 ,i--)
{
dts[i/ 100000].Rows.Add(src.Rows[i].ItemArry);
src.Rows[i].Remove;
src.AcceptChange();
}
这样就没有副本哈
yjlbukn 2005-08-04
  • 打赏
  • 举报
回复
呵呵
谢谢,不过还是慢
始终有一个遍历
还有就是你的程序有一个bug
那就是不能直接将dr添加到另外的dt
KingSeaMountain 2005-08-03
  • 打赏
  • 举报
回复
如果非要把数据复制到另一个表的话,好象没什么可以以块的方式一次拷贝多条记录的方法。对了,你在创建新表之后,执行一下dtTemp.MinimumnCapacity = 100000,还会有一些性能优化。

如果只是使用表中的数据,不需要在物理上将数据分开,直接创建视图就可以了。
怎么会有40000万次循环?你的表中有800个字段吗,如果真是这样,慢是必然的
dukejx 2005-08-03
  • 打赏
  • 举报
回复
噢,三种数据源,那就不行了,算我白说
dukejx 2005-08-03
  • 打赏
  • 举报
回复
你可以把50W的数据分为5个视图存放,然后每个视图对应一个dataset不就行了,需要什么循环呀!
视图保存你处理后的数据是没问题的吧!你不要说不行呀!只是将处理关系的代码移到数据库中而已(如果你处理关系的代码在C#中)!
如果真的不行,但你先分完视图(也就是说你已经有了5个dataset了),在用C#做处理应该也没问题了吧!
或者一个视图保存你处理后的所有数据,然后写5个sql子句,对应5个dataset也行呀
使用where子句,where rowno between 1 and 10W-1,自己改值就行了
panjf 2005-08-03
  • 打赏
  • 举报
回复
还有你说的那个读XML文件的方法,数据都已经在内存里了为什么还要存到硬盘再读到内存里处理呢?
panjf 2005-08-03
  • 打赏
  • 举报
回复
好像没有办法把获得的DataRow[]加到DataTable中,因为这些DataRow是属于源DataTable的,必须复制它们,形成新的实例再加到DataTable中。
另外不太清楚Select内部是如何处理的,如果也是做遍历的话用这个方法就比较慢了,Select循环一次,Import循环一次,所以还不如遍历一次,根据行号决定加到哪个DataTable中。
yjlbukn 2005-08-03
  • 打赏
  • 举报
回复
呵呵
我也想呀
对于遗留系统+新系统的一个中间插件,如果这么简单我就没有必要问了
,这里使用的是来自sqlserver,orcl,xml三种数据源
还有就是在线的,数据库服务器的压力本来就大了,还频繁的写数据库,读数据库,老总不把我吃了才怪
winfisher2002 2005-08-03
  • 打赏
  • 举报
回复
我觉得在从关系数据库读取数据时就分拆出来是最好的。不要在后期处理想办法了,无论怎么处理都要大量的资源。
yjlbukn 2005-08-03
  • 打赏
  • 举报
回复
DataWiew 也不能直接返回一个datatable
yjlbukn 2005-08-03
  • 打赏
  • 举报
回复
关键是使用datatable.Select方法是返回一个datarow[]哈
cdo 2005-08-03
  • 打赏
  • 举报
回复
你转化成dataview,然后做过滤,不知道能不能分成几个dataset出来.没试过.
yjlbukn 2005-08-03
  • 打赏
  • 举报
回复
有一个intid编号
但不连续
不过没有什么,都是排序了的
可以用
DataTable.Select("intid<" + DataTable.Rows[100001]["Intid"]);
获取前100000行数据哈
yjlbukn 2005-08-03
  • 打赏
  • 举报
回复
如果有方式直接添加一个datarow[]就好了
加载更多回复(12)
本课程是PowerBI系列课程之DAX函数专题讲解,包含以下内容 1.  DAX函数基础知识什么是DAX函数数学函数:ABS、DIVIDE、MOD、RAND、ROUND、FIXED等日期和时间函数: CALENDAR、CALENDARAUTO、MONTH、YEAR、DATE、DT等信息函数:USERNAME、USERPRINCIPALNAME、HASONEFILTER、HASONEVALUE、ISFILTERED、ISCROSSFILTERED、ISINSCOPE、ISBLANK、SELECTEDMEASURE、SELECTEDMEASURENAME等逻辑函数:AND、OR、IF、IFERROR、SWITCH、TRUE、FALSE、COALESCE(官方文档含糊不清-结合实例)等关系函数:CROSSFILTER、RELATED、RELATEDTABLE等筛选器函数:FILTER、CALCULATE、ALL、ALLEXCEPT、ALLSELECTED、EARLIER、KEEPFILTERS、REMOVEFILTERS、SELECTEDVALUE、LOOKUPVALUE等父子函数:PATH、PATHCONTAINS、PATHITEM、PATHLENGTH等统计函数:AVERAGE、COUNT、MAX、MIN、SUM等迭代统计函数:AVERAGEX、COUNTX、MAXX、MINX、SUMX、RANKX等表函数: FILTERS 、ADDCOLUMNS、 SELECTCOLUMNS、 CROSSJOIN、 EXCEPT、 GENERATE、 GROUPBY、 SUMMARIZE、 SUMMARIZECOLUMNS、 TOPN、 TREATAS、 UNION、 VALUES、DISTINCT、DATATABLE、NATUALINNERJOIN、NATRUALLEFTOUTERJOIN等文本函数: EXACT、MID、 FIND、 LEN、 REPT、 LOWER、 UPPER、 UNICHAR等时间智能函数:DATEADD、DATESMTD、FIRSTDATE、LASTDATE、SAMEPERIODLASTYEAR等财务函数:2020.7之后发布的,和Excel中财务函数相似,网页和demo pbix简单介绍其他函数:BLANK、ERROR、IFERROR等 DAX函数初体验:Max、Sum、Divide、if、Values等值函数表函数以及表和列的概念DAX函数术语、语法、运算符DAX运算符和引擎中字母大小写问题DAX编程注释和快捷键DAX与Excel函数的共同点和区别(PPT)DAX、xmSQL与SQL表达式的区别(PPT)DAX函数的自学途径 2.  PowerBI中数据建模知识维度建模关系传递和交叉筛选器方向-理解表关系(1v1, 1vM, Mv1,MvM)两个方向上应用安全筛选器关闭关系自动检测新建计算列新建度量值新建计算表:辅助表(五种方式)、日历表数据类型讲解数据格式控制:%、$、千位分隔符、小数位、日期格式Format函数自定义数据格式Convert函数做数据类型转换解决中文数字单位 万 的显示问题Date和DT函数定义固定日期值显示和隐藏列DAX代码分析器阅读DAX表达式方法:从上至下、由内到外(注意Calculate的计算顺序)调试DAX表达式方法:分布输出或VAR输出3.  DAX函数原理 Vertipaq列式数据库原理理解度量值和计算列理解行上下文和筛选上下文:Calculate示意图行上下文中使用VAR替代EARLIERVAR变量在定义时的上下文中计算VAR变量是采用惰性计算(使用时计算)理解扩展表和RELATED函数理解数据沿袭Lineage 4.  开始感知DAX函数的强大DAX函数实现特殊符号的使用DAX函数实现切片器默认当前月或天DAX函数使切片器默认代表无任何选择DAX函数使切片器仅显示有数据的选项DAX函数使切片器反向筛选和计算DAX函数使切片器之间取并集DAX函数使关系中多端的切片器筛选一端的切片器 DAX函数实现年月共同决定数据排序DAX函数实现动态图表标题DAX函数实现动态图表配色和图标DAX函数实现动态纵坐标DAX函数实现动态横坐标5.  理解重点DAX函数重中之重FILTER 和 CALCULATE和CALCULATETABLE详解调节器REMOVEFILTERS和ALL、ALLEXCEPT函数调节器ALL、ALLSELECTED和ISINSCOPE占比分析调节器AllSELECTED和KEEPFILTERS的比较调节器USERELATIONSHIP激活关系调节器TREATAS动态建立关系调节器CROSSFILTER改变筛选器方向重点之ISFILTERED和ISCROSSFILTERED重点之HASONEVALUE和ISINSCOPE的区别重点之表函数SELECTEDCOLUMNS和ADDCOLUMNS重点之表函数NATUALINNERJOIN和NATRUALLEFTOUTERJOIN重点之表函数FILTERS和VALUES比较重点之VALUES和DISTINCT的区别重点之分组函数SUMMARIZECOLUMNS详解重点之函数LOOKUPVALUE vs RELATED vs VLOOKUP 重点之集合函数UNION、INTERSECT、EXCEPT重点之集合函数CROSSJOIN和GENERATE 笛卡尔积重点之值合并、列合并、表合并CONCATENATEX重点之BLANK行产生的原因和BLANK相关函数重点之COALESCE函数处理空重点之FIRSTNOBLANK和FIRSTNOBLANKVALUE函数重点之使用VAR变量表中的列重点之Error和IfError函数6.  实际案例-日期时间和时间智能相关关键点-日期表和事实表关联问题时间智能-同比环比分析时间智能-累计聚合、滚动聚合、移动平均时间智能-期初期末库存分析日期分析-计算任意所选月份的环比日期分析-周的同比环比和周聚合日期分析-指定月份的同比环比和季度环比日期分析-计算季末或季末月份的数据日期分析-趋势图中根据最近月份取TopN日期分析-动态指定某个日期区间分析日期分析-动态任意区间段做数据对比日期分析-实现两个日期列的范围筛选日期分析-按工作日计算日期差日期分析-计算最近两次购买日期差日期分析-根据历史数据做销售预测日期时间函数和时间智能函数使用总结7.  实际案例-DAX函数进阶进阶-解决列排序对计算的影响进阶-实现切片器筛选之间的OR逻辑进阶-矩阵Matrix中高亮显示最大值最小值进阶-DAX列转行 vs 矩阵列转行和逆透视进阶-非日期类型的累计聚合进阶-排名逻辑的4种实现-RANKX详解进阶-分组内排名的实现和理解迭代函数进阶-TopN/BottomN和Others的实现进阶-TopN中实现动态指标进阶-TopN中实现N的动态进阶-分组内动态TopN和Others 进阶-商品折上折-迭代函数SUMX详解 进阶-分析客户购买行为进阶-找出无购买行为的客户进阶-客户购买商品关联度分析 进阶-新客户分析进阶-流失客户分析进阶-回流客户分析进阶-客户购买频次和区间分析进阶-RFM客户价值分析进阶-帕累托分析进阶-盈亏平衡分析报表性能优化思路(PPT)  

110,536

社区成员

发帖
与我相关
我的任务
社区描述
.NET技术 C#
社区管理员
  • C#
  • Web++
  • by_封爱
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧