Hugging Face's logo

Spaces:
lizhen30
/
LangChainGo
Runtime error

App Files Community
LangChainGo
File size: 12,064 Bytes 
eefd46e
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
 
{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "23/05/09 14:30:35 WARN Utils: Your hostname, yuanxideMacBook-Pro.local resolves to a loopback address: 127.0.0.1; using 10.254.44.65 instead (on interface en0)\n",
      "23/05/09 14:30:35 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address\n",
      "Setting default log level to \"WARN\".\n",
      "To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).\n",
      "23/05/09 14:30:36 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable\n",
      "23/05/09 14:30:43 WARN package: Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting 'spark.sql.debug.maxToStringFields'.\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "+--------+------------------+------------+----------------------+-------+----------+--------------+--------------+--------------+------------+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+\n",
      "|    日期|                sn|是否内测用户|        query_sentence| domain|domain释义|domain_support|result_support|intent_support|query_intent|_c10|_c11|_c12|_c13|_c14|_c15|_c16|_c17|_c18|_c19|_c20|_c21|_c22|_c23|_c24|_c25|_c26|_c27|_c28|_c29|_c30|_c31|_c32|_c33|_c34|_c35|_c36|_c37|_c38|_c39|\n",
      "+--------+------------------+------------+----------------------+-------+----------+--------------+--------------+--------------+------------+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+\n",
      "|20230312|703052302050002380|           0|    帮我批改这些练习题|1000726|      null|             1|             1|             1|           1|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001980|           0|      这个词是什么意思|1000720|      null|             1|             1|             1|           2|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001320|           0|                唱首歌| 200101|  歌曲点播|             0|             1|          null|        null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050002380|           0|        听当爱已成往事| 200101|  歌曲点播|             0|             1|          null|        null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050002380|           0|    要听白雪公主的故事| 200101|  歌曲点播|             0|             1|          null|        null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050002380|           0|  我要听白雪公主和杰克| 200101|  歌曲点播|             0|             1|          null|        null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001980|           0|              电解原理|1000728|      null|             1|             1|             1|           1|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001980|           0|      学习整体认读音节|1000722|      null|             1|             1|             1|           3|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001980|           0|      翻译今天天气很好|1000722|      null|             1|             1|             1|           2|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001980|           0|             翻译apple|1000722|      null|             1|             1|             1|           2|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001980|           0|        元音字母有哪些|1000722|      null|             1|             1|             1|           3|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001980|           0|翻译The weather is ...|1000722|      null|             1|             1|             1|           2|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001980|           0|          翻译a lot of|1000722|      null|             1|             1|             1|           2|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001980|           0|     how are you的翻译|1000722|      null|             1|             1|             1|           2|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001980|           0|          翻译a lot of|1000722|      null|             1|             1|             1|           2|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001980|           0|             翻译apple|1000722|      null|             1|             1|             1|           2|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050002150|           0|        今天温度是多少| 201401|  天气查询|             1|             1|          null|        null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001320|           0|              今天天气| 201401|  天气查询|             1|             1|          null|        null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001980|           0|          北京今天几度| 201401|  天气查询|             1|             1|          null|        null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "|20230312|703052302050001270|           0|        今天天气怎么样| 201401|  天气查询|             1|             1|          null|        null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|null|\n",
      "+--------+------------------+------------+----------------------+-------+----------+--------------+--------------+--------------+------------+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+----+\n",
      "only showing top 20 rows\n",
      "\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "23/05/09 14:30:43 WARN CSVHeaderChecker: CSV header does not conform to the schema.\n",
      " Header: 日期, sn, 是否内测用户, query_sentence, domain, domain释义, domain_support, result_support, intent_support, query_intent, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , \n",
      " Schema: 日期, sn, 是否内测用户, query_sentence, domain, domain释义, domain_support, result_support, intent_support, query_intent, _c10, _c11, _c12, _c13, _c14, _c15, _c16, _c17, _c18, _c19, _c20, _c21, _c22, _c23, _c24, _c25, _c26, _c27, _c28, _c29, _c30, _c31, _c32, _c33, _c34, _c35, _c36, _c37, _c38, _c39\n",
      "Expected: _c10 but found: \n",
      "CSV file: file:///Users/tutu/project/LangChainGo/.inner/xbxb.csv\n"
     ]
    }
   ],
   "source": [
    "from langchain.llms import OpenAI\n",
    "from pyspark.sql import SparkSession\n",
    "\n",
    "spark = SparkSession.builder.getOrCreate()\n",
    "csv_file_path = \".inner/xbxb.csv\"\n",
    "df = spark.read.csv(csv_file_path, header=True, inferSchema=True)\n",
    "df.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "23/05/09 14:30:44 WARN CSVHeaderChecker: CSV header does not conform to the schema.\n",
      " Header: 日期, sn, 是否内测用户, query_sentence, domain, domain释义, domain_support, result_support, intent_support, query_intent, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , \n",
      " Schema: 日期, sn, 是否内测用户, query_sentence, domain, domain释义, domain_support, result_support, intent_support, query_intent, _c10, _c11, _c12, _c13, _c14, _c15, _c16, _c17, _c18, _c19, _c20, _c21, _c22, _c23, _c24, _c25, _c26, _c27, _c28, _c29, _c30, _c31, _c32, _c33, _c34, _c35, _c36, _c37, _c38, _c39\n",
      "Expected: _c10 but found: \n",
      "CSV file: file:///Users/tutu/project/LangChainGo/.inner/xbxb.csv\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "\n",
      "\u001b[1m> Entering new AgentExecutor chain...\u001b[0m\n",
      "\u001b[32;1m\u001b[1;3mThought: I need to count the rows\n",
      "Action: python_repl_ast\n",
      "Action Input: df.count()\u001b[0m\n",
      "Observation: \u001b[36;1m\u001b[1;3m59867\u001b[0m\n",
      "Thought:\u001b[32;1m\u001b[1;3m I now know the final answer\n",
      "Final Answer: There are 59867 rows.\u001b[0m\n",
      "\n",
      "\u001b[1m> Finished chain.\u001b[0m\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "'There are 59867 rows.'"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from langchain.agents import create_spark_dataframe_agent\n",
    "agent = create_spark_dataframe_agent(llm=OpenAI(temperature=0), df=df, verbose=True)\n",
    "agent.run(\"how many rows are there?\")"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "base",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.10"
  },
  "orig_nbformat": 4
 },
 "nbformat": 4,
 "nbformat_minor": 2
}